Wolfram Mathematica 中处理大数据文件的方法
我想知道 Mathematica 中是否存在处理大文件的方法? 目前我有一个大约 500Mb 的包含表数据的文件。
Import["data.txt","Table"];
什么是替代方式?
I wonder if there exists way to work with large files in Mathematica ?
Currently I have a file about 500Mb with table data.
Import["data.txt","Table"];
What is alternate way?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
使用
OpenRead["file"]
为您提供一个InputStream
对象,您可以在其上使用Read[stream ]
。根据数据文件的格式,您可能需要在Read 中设置自定义选项值[]
用于RecordSeparators
。例子:
Use
OpenRead["file"]
which gives you anInputStream
object on which you can useRead[stream]
. Depending on the formatting of the data file you may need to set custom option values inRead[]
forRecordSeparators
.Example:
您还可以将数据加载到数据库(例如 MySQL)中,并使用 DatabaseLink
You could also load your data into a database (for example MySQL) and access it from Mathematica using DatabaseLink
函数
DumpSave
也有助于保存大型数据集。它以 Mathematica 的内部格式保存数据,因此在时间和文件大小方面都更加高效。The function
DumpSave
can also be helpful for saving large datasets. It saves data in Mathematica's internal format, so it's more efficient in both time and file size.