logstash输出到ElasticSearch服务端自定义配置模板,部分字段映射类型重复
软件版本 logstash版本6.7.1elasticsearch版本6.6.0 问题描述 es服务端创建索引模板 PUT /_template/xgservice-seaslog { "index_patterns":"xgservi…
logstash输出数据到elasticsearch,日期分割无效!
软件版本 logstash版本6.7.1elasticsearch版本6.6.0 问题描述 手动指定日期分割 使用默认的日期分割格式 logstash-2019-04-09 …
logstash配置了grok,但是kibana查看没有生效
各位大虾好! 我现在要用logstash去匹配日志,日志内容如下: 100.97.73.229 - - [19/Feb/2019:17:43:11 +0800] "GET /news-spread_index-138.html H…
logstash中filter是否可设置字典匹配?(类似GeoIP)
问题描述 现有一个这样的需求,从日志中获取到访问的域名/IP,想在filter中匹配出网站的类型和中文名称。网站的类型和中文名称存储在一个数据库文件…
使用 logstash-input-jdbc 同步 mysql 数据 至 ES 最后一条数据未能保存
问题描述 我在使用 logstash-input-jdbc 插件 同步 MySQL 数据至 ES 的时候 SQL 查询满足的条件的数据有 13 条但是保存至 ES 时 只有 12 条了 我在表…
ELK,kibana给定匹配模式会出现另一个索引的数据。
初学elk,搭建了个日志收集的样子,展现数据的时候遇到疑问。 我logstash设置了两个pipeline,rabbitmq和http两个input: input { rabbitmq { host =…
ElasticSearch 关于使用 Logstash-input-jdbc 导入MySQL 一对多关系JSON结构
问题描述 用logstash-input-jdbc 将 mysql 一对多结构 数据导入 ElasticSearch 时出现连表查询的数据丢失没有正确存入数组的的现象,且偶尔正常; 问…
关于logstash的filter的问题
logstash分析日志。日志如下: 2018-07-19 14:02:12.577|INFO |[164acb702b5-12] - crmlog|1234567890|118|0|操作成功!|263|xxxx logstash配置如下 i…
elasticsearch+logstash+jdbc
logstash配置: output { elasticsearch { hosts => ["192.168.8.8:9200"] index => "jdbc_index" document_id => "%{id}" } stdout { codec => json…
nginx日志中有\x09\x09\x09这种字符串,导致logstash不能收集,有没有人遇到过并解决了的?
nginx日志中有x09x09x09Version/这种字符串,导致logstash收集过滤的时候报错,有没有人遇到过同样的问题并解决的。nginx日志内容: {"http_host": "…
logstash能撑得住多少filebeat节点的输入
请问一下, 4核8G的机器,上面部署了logstash,大概能撑得住几个filebeat的日志输入节点,不加消息队列做缓冲的话,有这方面经验的同学吗? 同样,4…
为什么logstash日志中某个字段设定了geo_point的type不生效?
架构很简单: filebeat收集nginx日志,output到logstash logstash格式化后再output到elasticsearch filebeat的配置没啥可说的就是直接发nginx的acces…
logstash同步mysql数据到elasticsearch时,子对象出现数据重复如何解决?
在用logstash将mysql数据同步到es的时候出现了数据重复的问题不知道该怎么去重了,其中attachments/tag/types这三个属性都是数组大家帮忙看一下: 其…
filebeat 重复输入数据到 logstash
使用filebeat采集日志,输入到logstash,发现如果日志文件新增一条记录,filebeat会将所有的记录输入到logstash(全量采集),而不是最新的一条(增…