logstash

logstash

文章 123 浏览 251

logstash输出到ElasticSearch服务端自定义配置模板,部分字段映射类型重复

软件版本 logstash版本6.7.1elasticsearch版本6.6.0 问题描述 es服务端创建索引模板 PUT /_template/xgservice-seaslog { "index_patterns":"xgservi…

你是年少的欢喜 2022-09-11 19:03:38 29 0

logstash输出数据到elasticsearch,日期分割无效!

软件版本 logstash版本6.7.1elasticsearch版本6.6.0 问题描述 手动指定日期分割 使用默认的日期分割格式 logstash-2019-04-09 …

紙鸢 2022-09-11 19:00:47 23 0

logstash配置了grok,但是kibana查看没有生效

各位大虾好! 我现在要用logstash去匹配日志,日志内容如下: 100.97.73.229 - - [19/Feb/2019:17:43:11 +0800] "GET /news-spread_index-138.html H…

乞讨 2022-09-11 17:49:29 42 0

logstash中filter是否可设置字典匹配?(类似GeoIP)

问题描述 现有一个这样的需求,从日志中获取到访问的域名/IP,想在filter中匹配出网站的类型和中文名称。网站的类型和中文名称存储在一个数据库文件…

不气馁 2022-09-11 16:53:49 33 0

使用 logstash-input-jdbc 同步 mysql 数据 至 ES 最后一条数据未能保存

问题描述 我在使用 logstash-input-jdbc 插件 同步 MySQL 数据至 ES 的时候 SQL 查询满足的条件的数据有 13 条但是保存至 ES 时 只有 12 条了 我在表…

ぺ禁宫浮华殁 2022-09-11 14:54:32 17 0

ELK,kibana给定匹配模式会出现另一个索引的数据。

初学elk,搭建了个日志收集的样子,展现数据的时候遇到疑问。 我logstash设置了两个pipeline,rabbitmq和http两个input: input { rabbitmq { host =…

恍梦境° 2022-09-11 14:43:18 32 0

ElasticSearch 关于使用 Logstash-input-jdbc 导入MySQL 一对多关系JSON结构

问题描述 用logstash-input-jdbc 将 mysql 一对多结构 数据导入 ElasticSearch 时出现连表查询的数据丢失没有正确存入数组的的现象,且偶尔正常; 问…

草莓酥 2022-09-11 14:28:30 18 0

关于logstash的filter的问题

logstash分析日志。日志如下: 2018-07-19 14:02:12.577|INFO |[164acb702b5-12] - crmlog|1234567890|118|0|操作成功!|263|xxxx logstash配置如下 i…

压抑⊿情绪 2022-09-07 19:29:06 28 0

elasticsearch+logstash+jdbc

logstash配置: output { elasticsearch { hosts => ["192.168.8.8:9200"] index => "jdbc_index" document_id => "%{id}" } stdout { codec => json…

一场春暖 2022-09-07 16:53:02 60 0

nginx日志中有\x09\x09\x09这种字符串,导致logstash不能收集,有没有人遇到过并解决了的?

nginx日志中有x09x09x09Version/这种字符串,导致logstash收集过滤的时候报错,有没有人遇到过同样的问题并解决的。nginx日志内容: {"http_host": "…

滿滿的愛 2022-09-07 16:13:11 27 0

logstash能撑得住多少filebeat节点的输入

请问一下, 4核8G的机器,上面部署了logstash,大概能撑得住几个filebeat的日志输入节点,不加消息队列做缓冲的话,有这方面经验的同学吗? 同样,4…

千寻… 2022-09-07 15:35:12 22 0

logstash-6.2.2启动失败

1.ES 9200端口已启动2.logstash设置host为192.168.33.10 启动失败 请教大家 错误原因是什么呢?怎么解决? …

咆哮 2022-09-07 08:57:18 18 0

为什么logstash日志中某个字段设定了geo_point的type不生效?

架构很简单: filebeat收集nginx日志,output到logstash logstash格式化后再output到elasticsearch filebeat的配置没啥可说的就是直接发nginx的acces…

习惯那些不曾习惯的习惯 2022-09-06 22:21:15 26 0

logstash同步mysql数据到elasticsearch时,子对象出现数据重复如何解决?

在用logstash将mysql数据同步到es的时候出现了数据重复的问题不知道该怎么去重了,其中attachments/tag/types这三个属性都是数组大家帮忙看一下: 其…

鲸落 2022-09-06 13:17:00 20 0

filebeat 重复输入数据到 logstash

使用filebeat采集日志,输入到logstash,发现如果日志文件新增一条记录,filebeat会将所有的记录输入到logstash(全量采集),而不是最新的一条(增…

聆听风音 2022-09-06 11:51:45 33 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文