分布式-请教实时的分布式日志系统方案
在统计项目中，最难实施的就是日志数据的收集。由于日志分布在全球各个机房，而且数据量比较大，像rsync+inotify这种方式显然不能满足快速日志同步的要求。大家有什么比较好的方案吗？几点要求：1.快速 2.实时 3.增量 4.完整（不丢数）
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（3）
distribute log 属于互联网一个很普遍的应用，早就有现成的解决方案。系统自带的syslog已经有这个功能，可以将本地的日志，route到一个远端的一台机器。写syslog日志的方式就跟我们普通写文件日志的方式一样。在操作系统这一层配置日志由哪台机器汇总
现在有个比syslog更NB的方案. syslog-nt。见下链接
http://www.balabit.com/network-security/syslog-ng/opensource-logging-system
我们正在尝试使用Flume采集日志数据，它是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
OpenTSDB就可以，客户机运行一个进程，把数据提交到tsd上，多个tsd写入到同一个hbase数据库。
btw，OpneTSDB有自己web绘制统计图标功能。