如何处理大文本文件?
我有一个文件,其中包含大约 1000 万行,大小约为 400mb,我的系统无法处理它。当我尝试使用 gedit 打开文件时,它就卡住了。有什么办法可以处理这么大的数据文件吗?
I have a file which contains around 10 million rows and size is around 400mb , my system is just not able to handle it . when i try opening the file using gedit , it just gets stuck . Is there any way to handle such large files of data.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
Google Refine Tool 是一个基于网络的强大实用程序,可以处理大文件。
您可以找到 https://code.google.com/p/google-refine/ wiki/FaqAllocateMoreMemory [内存分配详情]
A web based great utility that can handle large file is Google Refine Tool.
You can find https://code.google.com/p/google-refine/wiki/FaqAllocateMoreMemory [details for memory allocation]
Windows 的一个很棒的实用程序是大文本查看器
我能够在尺寸。
A great utility for Windows is Large Text Viewer
I was able to open a file over 4GB in size.
使用 gnu(Windows 上的 cygwin)head、tail 或 cut 实用程序分割它们。然后处理文件部分。
Split them using the gnu (cygwin on Windows) head, tail or cut utilities. Then do work on the file parts.