kafka如何实时采集http请求

Question

@FrankHui 你好，想跟你请教个问题：
我现在想实时采集Nginx收到的http请求
打算使用kafka来缓存采集到的数据
但是现在的问题就是如何才能将Nignx的请求实时采集到Kafka中
你有遇到过类似的问题吗？
非常感谢

Answer 1

目前是用flume做了个转发程序：用embeded的jetty来接收nginx转发的请求，然后再输出到kafka中。但是测试发现转发的性能堪忧，所以想看看有没有什么其它的方式。

Answer 2

我还是觉得他现在的处理方式更简单灵活，找到性能瓶颈优化下

Answer 3

回复
问题就是用什么来转发的问题。目前的写的flume程序，单独用ab 测试能达到10000/s的量，但是前边加个nginx转发，瞬间就不行了。所以在想有没有什么更好的东西。

Answer 4

现在kafka已经提供了c的模块，可以修改nginx的log module，比较方便 https://cwiki.apache.org/confluence/display/KAFKA/Clients#Clients-C

Answer 5

kafka 现在好像只有java的客户端  nginx本身就有日志模块的啊  如果你非要用kafka的话  就按照kafka的协议 写个客户端好了  producer不是很难写的