filebeat 重复输入数据到 logstash

发布于 2022-09-06 11:51:45 字数 1091 浏览 33 评论 0

使用filebeat采集日志,输入到logstash,发现如果日志文件新增一条记录,filebeat会将所有的记录输入到logstash(全量采集),而不是最新的一条(增量采集)

filebeat版本:

filebeat version 6.1.1 (amd64), libbeat 6.1.1

filebeat配置:

filebeat.prospectors:
- type: log
  paths:
    - /Users/king/max/logs/test.log
  tail_files: true
output.logstash:
  hosts: ["localhost:5044"]

logstash版本:

logstash 6.1.1

logstash配置:

input {
    beats {
        port => "5044"
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
}
output {
    stdout { codec => rubydebug }
}

日志格式:

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77

我手动往log文件里插一条数据,filebeat总是会采集所有的日志记录输入到logstash,网上查了半天,也没啥结论,求大神支招,谢谢~

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

五里雾 2022-09-13 11:51:45

大概意思是vim 会修改文件的inode,使用echo >>代替

阪姬 2022-09-13 11:51:45

怎么解决的?老哥

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文