如何将多组日志文件合并成一组
现在有个需求,将多组日志(每组日志文件包含多个日志,每个日志20M)合并成一个,按照日志内容中的时间戳排序后,生成一组日志文件(每个日志100m)。
原有数据格式为:
[URL][时间戳]
我目前的想法有两种,一种是将所有日志都存到内存里 然后排序。另外一种是读一段排一段,咨询了下别人,说有相关的多文件排序算法,所以想请教下。有没有简单的框架或者排序算法。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
空间换时间吧。
是不是可以读取后,保存到数据库啊,然后再操作排序。是不是更快速点。只是一开始要写一个小程序操作读取,写入。第一次麻烦点,以后就省事多了。
如果源日志个数不多可以用方法一,简单粗暴有效,还可以用其他工具现成的排序方法。(比如我自己的应用就是1-4个日志文件合并之后展示,我就直接一个一个读出来追加到QT的表里,然后展示的时候按时间列排序)
如果源文件个数多,而且本身已经是按时间排序的,那就用方法二,归并排序。