如何在elasticsearch中查看Logstash打到elasticsearch的数据

Question

简单说下我的环境

• ubuntu 14.04 64bit

• elasticsearch 2.0.0

• logstash 2.0.0

操作

权限问题

没错！读取日志首先要给日志能被其它用户读取的权限！

cd /varlog/
sudo chmod o+r *.log

读取日志

将/var/log/下的*.log文件通过logstash传到elasticsearch。下面是我的logstash配置文件：

filename:test-system.conf
  1input{
  2     file{
  3         path => ["/var/log/*.log"]
  4     }
  5 }
  6 
  7 output{
  8     elasticsearch{
  9         hosts => ["192.168.10.166:9200"]
 10     }
 14 }

配置文件通过logstash -f test-system.conf --configtest测试配置上没有问题。然后在logstash下运行：

vagrant@dev:logstash-2.0.0$ ./bin/logstash -f test-syslog.conf --configtest
Configuration OK
vagrant@dev:logstash-2.0.0$ ./bin/logstash -f test-syslog.conf
Default settings used: Filter workers: 1
Logstash startup completed

下面问题来了！

• 如何确认日志是否被读取到elasticsearch中

• 如何查看存储到elasticsearch中的日志文件

• elasticsearch中提供了很多REST API来查看数据，但是我没有创建index，而是通过logstash直接打到elasticsearch中的，改怎么查看这些数据？

• elastic中的文档都浏览了，但是关于elk整合的细节没有详细介绍，回答的小伙伴是否可以提供一个简单的介绍 elk整合在一起完整分析一个日志的Demo呢？

Answer 1

在output->elasticsearch下增加一个index配置

output {
    elasticsearch {
        hosts => ["192.168.10.166:9200"]
        index => "test_system_log"
    }
}

查看的的话，就装kibana好了，在kibana的settings->indices页面，在页面里面的输入框输入test_system_log，如果下面的按钮文字不是unable to fetch mapping xxxx，就说明日志收集成功了，点create按钮就创建好了

Answer 2

安装一个mozila的head插件,然后访问 http://localhost:9200/_plugin/head/,剩下的你就都明白了。

$path/es/bin/plugin -install mobz/elasticsearch-head

logstash 的es插件文档说明还是听清楚的：
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

Answer 3

有用的plugin. Thanks a lot