logstash-5.1.1版本input是否可以写两个或以上的kafka?
想问下大家有没有在logstash 5.1.1或更高的版本中做过input 多个kafka收集?我现在有这样的需求,但是看完官网和网络的其他方法中没有找到写两个kafk…
怎样通过 logstash 采集 docker daemon 的日志
docker daemon 的日志是输出到标准输出和标准出错的.为管理方便, 决定用 systemd 做 dockerd 的启停, 这样日志就被 systemd 的 journal 模块收集去了…
flume 监听nginx日志丢失问题
flume监听nginx日志是否是增量监听? 场景: nginx日志不断产生,flume agent一直监听,但由于网络原因,网断了。channel为memary类型此时nginx日志…
如何用log4j或者sfl4j接管tomcat的catalina.out日志
java程序日志通过https://github.com/logstash/l... 已经直接发送到logstash成功了目前想让tomcat的日志也通过log4j或者slf4j发送给logstash参考了htt…
关于logstash插件logstash-filter-elasticsearch的问题
其实我本意是想要实现如下需求: logstash的插入数据到elasticsearch的时候,先从elasticsearch里去查数据,查的时候,字段都是固定,字段值从grok拆…
elasticsearch写入去重的问题
我有一些数据,可能有很多重复的,比如username,ip,UA等等,这些数据是实时产生的,也就是说可能是产生的时间是不一样的。 目前是用logstash来实时写…
elasticsearch which: no java in (/sbin:/bin:/usr/sbin:/usr/bin)
机器:centos7.2 javahome:export JAVA_HOME=/root/jdk1.8.0_60export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_…
启动两个elasticsearch节点后,通过logstash写入数据,es集群状态显示红色?
我在一台机器部署了两个es节点,两个es节点的部署配置分别如下: node1 cluster.name: escluster node.name: "node1" node2 cluster.name: escluster…
logstash时间过滤
ue.log,这个ue.log是用的monolog的LogstashFormatter类输出的,所以格式如下了 {"@timestamp":"2016-08-08T00:00:14.003614+08:00","@source":"i-lz…
Logstash中output怎样使用JSON的字段值?
JSON文件中有多条记录,每条记录包含一个IP字段。 想在利用logstash输出数据到elasticsearch时,使用JSON中的IP字段值作为elasticsearch的id,应该怎…
logstash占用cpu过高
之前用logstash读取文件然后入库,占用cpu平均在20%左右,最近加了一个监控目录,cpu平均就飙到80%多了 下面是logstash的配置文件,之前file都是监控…
logstash不写数据到elasticsearch
现象是,起来logstahs和elasticsearch后,elasticsearch无数据 其中logstash的debug日志如下: Pushing flush onto pipeline {:level=>:debug, :fi…