ruby如何去处理 20G的大文件？
现在要分析一个日志文件，大小约20G.机器内存只有8G，无法全部读到内存中。
现在一行一行读取，但是速度很慢。
试过多线程等方式，反而更慢。
求解。。。
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
现在要分析一个日志文件，大小约20G.机器内存只有8G，无法全部读到内存中。
现在一行一行读取，但是速度很慢。
试过多线程等方式，反而更慢。
求解。。。
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（8）
时间是必须的，你不能指望20g很快就完成，你得想想为啥要等到20g？欠考虑就是要付出代价的。
想办法把文件分割成若干个小文件吧，然后处理。
是什么分析需求，需要把全部日志放到内存里？
简单的需求一般可以line by line。
日志按照天分割，一天差不多20G.
分割小一点吧。
按照小时分割日志吧，或者按照分钟。。。
欢迎新人加入。
谢分享
用hadoop