在 MATLAB 中处理大型 CSV 文件

发布于 2024-11-02 08:18:43 字数 159 浏览 3 评论 0原文

我必须处理一个最大 2GB 的大 CSV 文件。更具体地说，我必须将所有这些数据上传到 mySQL 数据库，但在我必须对此进行一些计算之前，所以我需要在 MATLAB 中完成所有这些操作（我的主管也想在 MATLAB 中完成，因为他熟悉MATLAB :( )。

知道如何处理这些大文件吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

牵你手 2024-11-09 08:18:43

您可能应该使用 textscan 分块读取数据，然后过程。这可能比一次读取一行更有效。例如，如果您有 3 列数据，您可以执行以下操作：

filename = 'fname.csv';
[fh, errMsg] = fopen( filename, 'rt' );
if fh == -1, error( 'couldn''t open file: %s: %s', filename, errMsg ); end
N  = 100; % read 100 rows at a time
while ~feof( fh )
  c  = textscan( fh, '%f %f %f', N, 'Delimiter', ',' );
  doStuff(c);
end

编辑

如今（R2014b 及更高版本），使用 数据存储。

You should probably use textscan to read the data in in chunks and then process. This will probably be more efficient than reading a single line at a time. For example, if you have 3 columns of data, you could do:

filename = 'fname.csv';
[fh, errMsg] = fopen( filename, 'rt' );
if fh == -1, error( 'couldn''t open file: %s: %s', filename, errMsg ); end
N  = 100; % read 100 rows at a time
while ~feof( fh )
  c  = textscan( fh, '%f %f %f', N, 'Delimiter', ',' );
  doStuff(c);
end

EDIT

These days (R2014b and later), it's easier and probably more efficient to use a datastore.

回复收藏 0 原文