当前位置：文江博客话题详情

在文件中转置数据网格的最佳方法

发布于 2024-08-08 06:45:13 字数 201 浏览 5 评论 0原文

我在二维网格上有大量值的数据文件。它们的组织方式使得网格中的后续数据行是文件中的后续行。每列由制表符分隔。本质上，这是一个 CSV 文件，但带有选项卡而不是列。

我需要转置数据（第一行变成第一列）并将其输出到另一个文件。最好的方法是什么？任何语言都可以（我更喜欢使用 Perl 或 C/C++）。目前，我的 Perl 脚本只是将整个文件读入内存，但我的文件非常巨大。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

二智少女 2024-08-15 06:45:13

最简单的方法是对输入进行多次传递，在每次传递中提取列的子集。列数将取决于您想要使用多少内存以及输入文件中有多少行。

例如：

在第 1 遍中，您读取整个输入文件并仅处理前 10 列。如果输入有 100 万行，输出将是一个有 100 万列和 10 行的文件。在下一次传递中，您将再次读取输入，并处理第 11 列到第 20 列，将结果附加到原始输出文件中。等等....

回复收藏 0 原文

_畞蕅 2024-08-15 06:45:13

如果您安装了安装了 NumPy 的 Python，那么就像这样简单：

#!/usr/bin/env python

import numpy, csv

with open('/path/to/data.csv', 'rb') as file:
    csvdata = csv.reader()

data = numpy.array(csvdata)
transpose = data.T

... csv 模块是 Python 标准库的一部分。

If you have Python with NumPy installed, it's as easy as this:

#!/usr/bin/env python

import numpy, csv

with open('/path/to/data.csv', 'rb') as file:
    csvdata = csv.reader()

data = numpy.array(csvdata)
transpose = data.T

... the csv module is part of Python's standard library.

回复收藏 0 原文

~没有更多了~