JDBC logstash弹性基巴纳

Question

我正在使用JDBC输入插件从MongoDB摄入到Elasticsearch的数据中。 我的配置是：

`input {
  jdbc {
    jdbc_driver_class => "mongodb.jdbc.MongoDriver"
    jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/mongodb_unityjdbc_free.jar"
    jdbc_user => ""
    jdbc_password => ""
    jdbc_connection_string => "jdbc:mongodb://localhost:27017/pritunl"
    schedule => "* * * * *"
    jdbc_page_size => 100000
    jdbc_paging_enabled => true
    statement => "select * from servers_output"
  }
}
filter {
mutate {
copy => { "_id" => "[@metadata][id]"}
remove_field => ["_id"]
}
}
output {

     elasticsearch {
        hosts => "localhost:9200"
        index => "pritunl"
        document_id => "%{[@metadata][_id]}"
}
        stdout {}
}`

在Kibana中，我只看到一个命中在此处输入image Descriage ，但是在Stdout I中请参阅MongoDB Collection的许多记录。我应该怎么做，看到他们全部？

Answer 1

问题是，您所有的文档都以相同的“ _id”保存，因此，即使您向ES发送不同的记录，也只有一个文档在内部被覆盖 - 因此您在Kibana中获得了1次命中。

您的配置中有一个错别字来引起此问题。

您正在将“ _id”复制到“ [@metadata] [ id ]”中，

但您正在尝试阅读“ [@metadata] [ _id ]” 。

阅读Document_ID值时，请删除下划线，应解决您的问题。

output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "pritunl"
    document_id => "%{[@metadata][id]}"
  }
  stdout {}
}`