access 做网站 出现问题,全球最好的黄页网站,怎么搭建一个网站教程,车险保险网站2019独角兽企业重金招聘Python工程师标准 Redis插件参数配置详解 工作流程 logstash启动redis插件redis插件获取参数#xff0c;进行校验工作判断监听模式(list,channel,pattern_channel等)#xff0c;根据不同的监听模式创建监听任务创建redis实例#xff0c… 2019独角兽企业重金招聘Python工程师标准 Redis插件参数配置详解 工作流程 logstash启动redis插件redis插件获取参数进行校验工作判断监听模式(list,channel,pattern_channel等)根据不同的监听模式创建监听任务创建redis实例绑定EVAL脚本通过指定的redis模式发送请求监听数据redis返回指定内容的数(可能是列表list也可能是某个特定的频道中的数据)得到的数据进行处理返回给logstash如果发送了停止信号则根据不同的模式发送不同的命令退出redis。最小化配置 input {redis {data_type list #logstash redis插件工作方式key logstash-test-list #监听的键值host 127.0.0.1 #redis地址port 6379 #redis端口号}}output {stdout{}} 详细配置 input {redis {batch_count 1 #EVAL命令返回的事件数目data_type list #logstash redis插件工作方式key logstash-test-list #监听的键值host 127.0.0.1 #redis地址port 6379 #redis端口号password 123qwe #如果有安全认证此项为密码db 0 #redis数据库的编号threads 1 #启用线程数量}}output {stdout{}} 参数详解 threads 开启多少个线程读取redis数据也就是从redis输入到logstash的速度线程越多读取速度越快但是根据接收节点的接收速度来设置如果输入过快接收速度不够则会出现丢数据的情况设置一个最佳的threads值需要和接收节点做反复测试才能得出。单个logstash启动后如果配置多个threads那么最后打印出的信息与队列中的信息顺序是不一样的。 db Redis里面有数据库的概念一般是16个默认登录后是0可以通过命令选择。如果应用系统选择使用了不同的数据库那么可以通过配置这个参数从指定的数据库中读取信息。 key Redis中的数据都是通过键值来索引的不管是字符串还是列表所以这个key相当于数据库中的表。 如果是list或者channel模式key都是指定的键值而如果是pattern_channel那么key可以通过glob通配的方式来指定。 password 有的Redis为了安全是需要进行验证的。只有设置了password才能正确的读取信息。相反如果redis没有设置密码而logstash中配置了密码也会报错 batch_count 这个属性设置了服务器端返回的事件数目比如设置了5条那么每次请求最多会直接获取5条日志返回。 data_type logstash工作的类型 logstash中的redis插件指定了三种方式来读取redis队列中的信息。 listBLPOPchannelSUBSCRIBEpattern_channelPSUBSCRIBE其中list相当于队列channel相当于发布订阅的某个特定的频道pattern_channel相当于发布订阅某组频道。 扩展 logstash 成多节点集群的时候频道会出现一个问题通过频道发布的一条信息会被所有订阅了该频道的 logstash 进程同时接收到然后输出重复内容两个终端同时启动 logstash -f redis-input.conf 进程结果会是两个终端都输出消息。 这种时候就需要用 list 类型。在这种类型下数据输入到 redis 服务器上暂存logstash 则连上 redis 服务器取走 (BLPOP 命令所以只要 logstash 不堵塞redis 服务器上也不会有数据堆积占用空间)数据。 转载于:https://my.oschina.net/u/2000675/blog/893313
