查看/分析/过滤大量跟踪/日志文件的最佳方法是什么？
这似乎是一个反复出现的问题： 我们收到了软件的错误报告以及大量的跟踪或日志文件。
由于随着时间的推移可视化日志消息/事件，发现错误会容易得多，因此使用可以在图表等中显示事件进展的工具会很方便。 （例如用于分析网络流量的wireshark（http://www.wireshark.org））
您使用什么工具为了这样的目的？
到目前为止，我使用的大多数工具的问题是，当您向它们提供大量数据跟踪（> 1GB）时，它们会无情地崩溃。 因此，此类工具的一些标准是：
- 可以处理巨大的输入文件（> 1 GB）
- 速度非常快（因此您不必在加载文件时喝咖啡）
- 有某种过滤机制
this seems to be a reoccurring issue:
we receive a bug report for our software and with it tons of traces or logfiles.
since finding errors is much easier when having a visualization of the log messages/events over time it is convenient to use a tool that can display the progression of events in a graph etc.
(e.g. wireshark (http://www.wireshark.org) for analyzing network traffic)
what tool do you use for such a purpose?
the problem with most tools i used so far is that they mercilessly break down when you feed them huge data traces (> 1GB)
so some criteria for such a tool would be:
- can deal with huge input files (> 1 GB)
- is really fast (so you don't have to get coffee while a file is loading)
- has some sort of filtering mechanism
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
很好的线索。 Tim Bray（以前在 Sun 公司，现在在 Google）几年前举办了一场竞赛，内容是编写脚本来处理大量日志文件：
http://www.tbray.org/ongoing/ When/200x/2007/09/20/Wide-Finder
恕我直言，mpi4py 现在将是实现时间、运行时间、可扩展性方面的最佳解决方案。
另外，考虑使用 AWK 进行 oldskool。在最近的一场比赛中它击败了 C/C++/Java，
http://anyall.org/blog/2009/09/dont-mawk-awk-the-fastest-and-most-elegant-big-data-munging-language/
Good thread for this. Tim Bray (formerly at Sun now at Google) had a contest a few years back on writing scripts to munge gigs of log files:
http://www.tbray.org/ongoing/When/200x/2007/09/20/Wide-Finder
IMHO mpi4py would now be the optimum solution in terms of implementation time, run time, scalability.
Also, think about going oldskool with AWK. In a recent contest it beat out C/C++/Java,
http://anyall.org/blog/2009/09/dont-mawk-awk-the-fastest-and-most-elegant-big-data-munging-language/
由于每个日志文件都有自己的格式，恐怕没有现成的组件可以满足您的需求；你必须编写自己的可视化工具。
Since every log files have their own format, I afraid there is no off-the-shelf components that fulfill your needs; you have to write your own visualizer.