filebeat 重复输入数据到 logstash
使用filebeat采集日志,输入到logstash,发现如果日志文件新增一条记录,filebeat会将所有的记录输入到logstash(全量采集),而不是最新的一条(增量采集)
filebeat版本:
filebeat version 6.1.1 (amd64), libbeat 6.1.1
filebeat配置:
filebeat.prospectors:
- type: log
paths:
- /Users/king/max/logs/test.log
tail_files: true
output.logstash:
hosts: ["localhost:5044"]
logstash版本:
logstash 6.1.1
logstash配置:
input {
beats {
port => "5044"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}"}
}
}
output {
stdout { codec => rubydebug }
}
日志格式:
83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77
我手动往log文件里插一条数据,filebeat总是会采集所有的日志记录输入到logstash,网上查了半天,也没啥结论,求大神支招,谢谢~
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
已解决:https://discuss.elastic.co/t/...
大概意思是vim 会修改文件的inode,使用echo >>代替
怎么解决的?老哥