logstash中filter是否可设置字典匹配?（类似GeoIP）
问题描述 现有一个这样的需求，从日志中获取到访问的域名/IP，想在filter中匹配出网站的类型和中文名称。网站的类型和中文名称存储在一个数据库文件…
使用 logstash-input-jdbc 同步 mysql 数据 至 ES 最后一条数据未能保存
问题描述 我在使用 logstash-input-jdbc 插件 同步 MySQL 数据至 ES 的时候 SQL 查询满足的条件的数据有 13 条但是保存至 ES 时 只有 12 条了 我在表…
ELK，kibana给定匹配模式会出现另一个索引的数据。
初学elk，搭建了个日志收集的样子，展现数据的时候遇到疑问。 我logstash设置了两个pipeline，rabbitmq和http两个input： input { rabbitmq { host =…
ElasticSearch 关于使用 Logstash-input-jdbc 导入MySQL 一对多关系JSON结构
问题描述 用logstash-input-jdbc 将 mysql 一对多结构 数据导入 ElasticSearch 时出现连表查询的数据丢失没有正确存入数组的的现象，且偶尔正常； 问…
关于logstash的filter的问题
logstash分析日志。日志如下： 2018-07-19 14:02:12.577|INFO |[164acb702b5-12] - crmlog|1234567890|118|0|操作成功!|263|xxxx logstash配置如下 i…
elasticsearch+logstash+jdbc
logstash配置： output { elasticsearch { hosts => ["192.168.8.8:9200"] index => "jdbc_index" document_id => "%{id}" } stdout { codec => json…
nginx日志中有\x09\x09\x09这种字符串，导致logstash不能收集，有没有人遇到过并解决了的?
nginx日志中有x09x09x09Version/这种字符串，导致logstash收集过滤的时候报错，有没有人遇到过同样的问题并解决的。nginx日志内容： {"http_host": "…
logstash能撑得住多少filebeat节点的输入
请问一下， 4核8G的机器，上面部署了logstash，大概能撑得住几个filebeat的日志输入节点，不加消息队列做缓冲的话，有这方面经验的同学吗？ 同样，4…
为什么logstash日志中某个字段设定了geo_point的type不生效？
架构很简单： filebeat收集nginx日志，output到logstash logstash格式化后再output到elasticsearch filebeat的配置没啥可说的就是直接发nginx的acces…
logstash同步mysql数据到elasticsearch时，子对象出现数据重复如何解决？
在用logstash将mysql数据同步到es的时候出现了数据重复的问题不知道该怎么去重了，其中attachments/tag/types这三个属性都是数组大家帮忙看一下： 其…
filebeat 重复输入数据到 logstash
使用filebeat采集日志，输入到logstash，发现如果日志文件新增一条记录，filebeat会将所有的记录输入到logstash（全量采集），而不是最新的一条（增…
logstash 不能读取windows 文件
我想配置logstash读取日志文件，并存储到 Elasticsearch中，但是这个文件读取不到？logstash配置 input { stdin { codec => plain{ charset => "GBK"…
如何在logstash中对uri进行赋值
现在的需求是：对nginx log中的uri请求部分单独拆出来统计： 比如 nginx log _format my_json 中有个得到字段如下 "request":"GET /apis/apis_cmp_da…
logstash 接收不到logbak的日志是什么情况？
logback配置： 127.0.0.1:4560 {"appname":"my-service"} logstash 配置： input { tcp { port => 4560 codec => "json_lines" } } #json_lines outp…
