使用 scipy/numpy 在 Python 中解析字母数字 CSV 的最终方法

Question

我一直在尝试找到一种良好且灵活的方法来在 Python 中解析 CSV 文件，但似乎没有一个标准选项符合要求。我很想自己写一个，但我认为 numpy/scipy 和 csv 模块中存在的某种组合可以满足我的需要，所以我不想重新发明轮子。

我想要能够指定分隔符、指定是否有标题、要跳过多少行、注释分隔符、要忽略哪些列等的标准功能。我缺少的核心功能是能够解析 CSV以优雅地处理字符串数据和数字数据的方式处理文件。我的许多 CSV 文件都包含包含字符串（长度不一定相同）和数字数据的列。我希望能够拥有此数字数据的 numpy 数组功能，但也能够访问字符串。例如，假设我的文件如下所示（想象列是用制表符分隔的）：

# my file
name  favorite_integer  favorite_float1  favorite_float2  short_description
johnny  5  60.2  0.52  johnny likes fruitflies
bob 1  17.52  0.001  bob, bobby, robert

data = loadcsv('myfile.csv', delimiter='\t', parse_header=True, comment='#')

我希望能够以两种方式访问​​数据：

1. 作为值矩阵：对我来说获得 numpy.txt 文件很重要。数组，以便我可以轻松转置和访问数字列。在这种情况下，我希望能够执行以下操作：

   floats_and_ints = data.matrix

   floats_and_ints[:, 0] # 访问整数

   floats_and_ints[:, 1:3] # 访问一些浮点数 transpose(floats_and_ints) # 等..

2. 作为一个类似字典的对象，我不必知道标题的顺序：我还想通过标题访问数据命令。例如，我想做：

   data['favorite_float1'] # 获取带标题的列的所有值 “favorite_float1”

   data['name'] # 获取行的所有名称

我不想知道 favorite_float1 是表中的第二列，因为这可能改变。

对我来说，能够迭代行并按名称访问字段也很重要。例如：

for row in data:
  # print names and favorite integers of all 
  print "Name: ", row["name"], row["favorite_int"]

（1）中的表示建议使用 numpy.array，但据我所知，这不能很好地处理字符串，并且需要我提前指定数据类型以及标题标签。

(2) 中的表示建议了一个字典列表，这就是我一直在使用的。但是，这对于具有两个字符串字段但其余列都是数字的 csv 文件来说确实很糟糕。对于数值，您确实希望有时能够访问矩阵表示形式并将其作为 numpy.array 进行操作。

是否有 csv/numpy/scipy 功能的组合可以实现两个世界的灵活性？对此的任何建议将不胜感激。

总之，主要功能是：

1. 指定分隔符、要跳过的行数、要忽略的列等的标准能力。
2. 获取数据的 numpy.array/matrix 表示形式的能力，以便可以操作数值
3. 。能够按标题名称提取列和行（如上例所示）

Answer 1

看一下pandas，它是在numpy之上构建的。
这是一个小例子：

In [7]: df = pd.read_csv('data.csv', sep='\t', index_col='name')
In [8]: df
Out[8]: 
        favorite_integer  favorite_float1  favorite_float2        short_description
name                                                                               
johnny                 5            60.20            0.520  johnny likes fruitflies
bob                    1            17.52            0.001       bob, bobby, robert
In [9]: df.describe()
Out[9]: 
       favorite_integer  favorite_float1  favorite_float2
count          2.000000         2.000000         2.000000
mean           3.000000        38.860000         0.260500
std            2.828427        30.179317         0.366988
min            1.000000        17.520000         0.001000
25%            2.000000        28.190000         0.130750
50%            3.000000        38.860000         0.260500
75%            4.000000        49.530000         0.390250
max            5.000000        60.200000         0.520000
In [13]: df.ix['johnny', 'favorite_integer']
Out[13]: 5
In [15]: df['favorite_float1'] # or attribute: df.favorite_float1
Out[15]: 
name
johnny    60.20
bob       17.52
Name: favorite_float1
In [16]: df['mean_favorite'] = df.mean(axis=1)
In [17]: df.ix[:, 3:]
Out[17]: 
              short_description  mean_favorite
name                                          
johnny  johnny likes fruitflies      21.906667
bob          bob, bobby, robert       6.173667

Answer 2

matplotlib.mlab.csv2rec 返回numpy recarray，因此您可以对任何 numpy 数组执行所有出色的 numpy 操作。各个行，为 record 实例，可以作为元组索引，但也具有为数据中的列自动命名的属性：

rows = matplotlib.mlab.csv2rec('data.csv')
row = rows[0]

print row[0]
print row.name
print row['name']

与 numpy.genfromtext 不同，csv2rec 还可以理解“引用的字符串”。

总的来说，我发现 csv2rec 结合了 csv.reader 和 numpy.genfromtext 的一些最佳功能。

Answer 3

numpy.genfromtxt()

Answer 4

为什么不直接使用 stdlib csv.DictReader 呢？