Wolfram Mathematica 中处理大数据文件的方法

发布于 2024-08-23 09:49:55 字数 135 浏览 1 评论 0原文

我想知道 Mathematica 中是否存在处理大文件的方法? 目前我有一个大约 500Mb 的包含表数据的文件。

Import["data.txt","Table"];

什么是替代方式?

I wonder if there exists way to work with large files in Mathematica ?
Currently I have a file about 500Mb with table data.

Import["data.txt","Table"];

What is alternate way?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

千年*琉璃梦 2024-08-30 09:49:55

使用 OpenRead["file"] 为您提供一个 InputStream 对象,您可以在其上使用 Read[stream ]。根据数据文件的格式,您可能需要在 Read 中设置自定义选项值[] 用于 RecordSeparators

例子:

In[1]:= str = OpenRead["ExampleData/USConstitution.txt"]    
Out[1]= InputStream["ExampleData/USConstitution.txt", 24]   

In[2]:= Read[str, Word]    
Out[2]= "We"    
In[3]:= Read[str, Word]
Out[3]= "the"    
In[4]:= Read[str, Record]
Out[4]= "People of the United States, in Order to form a more perfect Union,"

Use OpenRead["file"] which gives you an InputStream object on which you can use Read[stream]. Depending on the formatting of the data file you may need to set custom option values in Read[] for RecordSeparators.

Example:

In[1]:= str = OpenRead["ExampleData/USConstitution.txt"]    
Out[1]= InputStream["ExampleData/USConstitution.txt", 24]   

In[2]:= Read[str, Word]    
Out[2]= "We"    
In[3]:= Read[str, Word]
Out[3]= "the"    
In[4]:= Read[str, Record]
Out[4]= "People of the United States, in Order to form a more perfect Union,"
听,心雨的声音 2024-08-30 09:49:55

您还可以将数据加载到数据库(例如 MySQL)中,并使用 DatabaseLink

You could also load your data into a database (for example MySQL) and access it from Mathematica using DatabaseLink

旧城空念 2024-08-30 09:49:55

函数 DumpSave 也有助于保存大型数据集。它以 Mathematica 的内部格式保存数据,因此在时间和文件大小方面都更加高效。

The function DumpSave can also be helpful for saving large datasets. It saves data in Mathematica's internal format, so it's more efficient in both time and file size.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文