kafka在日志监控平台使用
@卢禹 你好，想跟你请教个问题：我现在有个需求，用logstash抓取日志到kafka以后，同时做实时日志监控，和日志静态分析，实时日志监控用ELK实现，日志静态分析用HADOOP，现在有两个问题：
一：kafka消息到hdfs我知道有的方法有kafka-connector-hdfs和camus，这两个是否可以完成我的kafka到hadoop实现静态分析的需求，这两个方法是属于消费消息，还是直接将数据导入到hdfs，如果是数据直接导入到hdfs，那我不是不能再用ELK拉取日志了么。
二：因为日志要到ELK和HADOOP两个不同的地方，不知道topic如何设计。
zookeeper+kafka 3+3集群。ELK（elasticsearch+logstash+kibana）。
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（8）
想问下，kafka-connector-hdfs和camus该选择哪一个来使用，这两个有什么区别么，一直没有找到合适的例子
回复
camus官方已经不推荐使用，是一个过期的项目，未来可能会被移除，官方推荐使用这个：http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart
@Small雀 好了，吗
一、1、都可以导入到hadoop，但分析和他们无关，要分析可以写mapreduce或者直接用hive。2、都属于消费消息，3、上面的回答很对，kafka是可以很多消费端的 互相不影响。
二、既然消费端互相不影响，topic不需要特别的设计。
我知道可以由不同的消费者消费，主要看camus说明说是传输data的而不是消息，所以产生了疑问
回复
不要被他疑惑了，他所谓传输data，其实就是封装了消费msg到hdfs的过程。
回复
好的，谢谢(*^__^*) 嘻嘻
少年 你要明白 kafka作为生产者消费者模型 可以同时有多个消费者，他们之间互不影响。
kafka的topic是针对数据业务设计的和他消费到哪没有关系，不管你有多少consumer 都是消费一个topic啊