使用 python 编写具有精确格式参数的 csv 文件

Question

我在处理项目的一些 csv 数据文件时遇到问题。有人建议使用 python/csv reader 来帮助分解文件，我已经取得了一些成功，但不是我可以使用的方式。

这段代码与我之前尝试的有点不同。我本质上是在尝试创建一个数组。在原始数据格式中，前7行不包含数据，然后每列包含50个实验，每个实验4000行，总共200000行。我想要做的是获取每一列，并使其成为一个单独的 csv 文件，每个实验都在其自己的列中。因此，对于每种数据类型来说，这将是一个包含 50 列和 4000 行的数组。这里的代码确实分解了正确的值，我认为逻辑是好的，但它分解的方式与我想要的相反。我想要不带引号的分隔符（逗号和空格），并且我想要引号中的元素值。现在，它对不带引号的元素值和带引号的分隔符执行相反的操作。我花了几个小时试图弄清楚如何做到这一点，但无济于事，

import csv  

ifile  = open('00_follow_maverick.csv')  
epistemicfile = open('00_follower_maverick_EP.csv', 'w')  

reader = csv.reader(ifile)  

colnum = 0  
rownum = 0  
y = 0  
z = 8   
for column in reader:  
    rownum = 4000 * y + z  
    for element in column:  
        writer = csv.writer(epistemicfile)  
        if y <= 50:  
            y = y + 1  
            writer.writerow([element])  
            writer.writerow(',')  
            rownum = x * y + z  
        if y > 50:  
            y = 0  
            z = z + 1  
            writer.writerow(' ')  
            rownum = x * y + z  
        if z >= 4008:  
            break  

发生了什么事：我以 4000 次迭代的方式获取原始数据文件中的每一行，以便我可以在 50 个实验中用逗号分隔它们。当这里的实验指标 y 达到 50 时，它会重置回实验 0，并在 z 上加 1，通过 4000 * y + z 的公式告诉它要查看哪一行。当它完成所有 50 个实验的行时，它就完成了。这里的问题是我不知道如何让 python 将实际值写在引号中，并将分隔符写在引号之外。

任何帮助将不胜感激。如果这看起来是一个愚蠢的问题，我很抱歉，我没有编程经验，这是我的第一次尝试。谢谢。

抱歉，我会尽力让这一点更清楚。原始 csv 文件有几列，每一列都是不同的数据集。

原始文件的一个微型示例如下所示：

column1             column2            column3
exp1data1time1      exp1data2time1     exp1data3time1
exp1data1time2      exp1data2time2     exp1data3time2
exp2data1time1      exp2data2time1     exp2data3time1
exp2data1time2      exp2data2time2     exp2data3time2
exp3data1time1      exp3data2time1     exp3data3time1
exp3data1time2      exp3data2time2     exp3data3time2

因此，实际版本的每个新实验有 4000 行，而不是 2 行。实际版本中有 40 列，但基本上原始文件中的数据类型与列号匹配。我想将每个数据类型或列分成单独的 csv 文件。

这看起来像：

csv file1

exp1data1time1   exp2data1time1   exp3data1time1   
exp1data1time2   exp2data1time2   exp3data1time2

csv file2

exp1data2time1   exp2data2time1   exp3data2time1   
exp1data2time2   exp2data2time2   exp3data2time2

csv file3

exp1data3time1   exp2data3time1   exp3data3time1   
exp1data3time2   exp2data3time2   exp3data3time2

因此，我将文件中的原始数据移动到新列，并将每种数据类型移动到其自己的文件中。现在我只想做一个文件，直到我可以将单独的实验移至新文件中的单独列。所以，在代码中，上面的代码会将 4000 变成 2。我希望这更有意义，但如果没有，我会再试一次。

Answer 1

如果我每次看到这种状态的生物、心理或化学数据库时都有一只猫：

“每列包含 50 个实验，
每个有 4000 行，大约 200000
总行数。我想做的是采取
每一列，并使其成为一个单独的列
csv 文件，每个实验都在其
自己的专栏。所以这将是一个数组
每个数据 50 列和 4000 行
类型”

我有太多的猫。

我什至没有看你的代码，因为你提出的重新修改只是另一个必须解决的问题。我不会责怪你，你声称作为一个新手，你的所有同行都会犯同样的错误，那些尚未了解如何使用数组的初学者常常会遇到这样的变量声明：

integer response01, response02, response03, response04, ...

然后当他们尝试查看是否每个响应都是 - 时，会遇到非常非常冗余的代码。 ，纸质模型并不是建模数据的最佳方法。

说 - 1.我认为这是生物信息学中的一个诱人的错误，因为它实际上很好地模拟了它们来自的纸质符号，不幸的是 阅读并理解为什么数据库规范化被开发、编纂并开始主导人们对结构化的思考一篇维基百科文章可能还不够，让我尝试解释一下我的想法。您的数据由观察结果组成；换句话说，主要数据是单一的观察结果。不过，该观察结果有一个背景：它是一组 4000 个观察结果之一，其中每组观察结果属于 50 个实验之一。如果您必须为每个观察附加一个上下文，您最终会得到一个如下所示的寻址方案：

<experiment_number, observation_number, value>

用数据库术语来说，这是一个元组，它能够毫无歧义且完美对称地表示整个数据。我不确定我是否理解您数据的确切结构，所以也许它更像是：

<experiment_number, protocol_number, observation_number, value>

其中协议可能是某种形式的变量处理类型 - 比如说 pH 值。但请注意，我没有将该协议称为 pH，也没有将其记录在数据库中。然后我需要的是一个显示协议相关参数的辅助表，例如：

<protocol_number, acidity, temperature, pressure>

现在我们刚刚构建了一个那些数据库人员喜欢谈论的“关系”；我们还开始对数据进行标准化。如果您需要了解给定方案的 pH 值，只有一个地方可以找到它，那就是方案表的正确行。请注意，我已经将数据表上非常适合的数据分开，并且从观察表中我看不到特定数据的 pH 值。但这没关系，因为如果需要，我可以在协议表中查找它。这是一个“关系连接”，如果需要，我可以合并所有不同表中的所有不同参数，并以原始的、非结构化的方式重建原始数据表。

我希望这个答案对你有一些用处。我确信我什至不知道您的数据来自哪个研究领域，但这些原则适用于从药物试验到采购申请处理的各个领域。请理解，我试图根据您的要求告知您，并且没有任何居高临下的意思。我欢迎就此事提出进一步问题。

Answer 2

数据集标准化

感谢您提供示例。你已经了解了我所描述的背景，也许我可以说得更清楚。

column1             column2            column3
exp1data1time1      exp1data2time1     exp1data3time1
exp1data1time2      exp1data2time2     exp1data3time2

这些柱子是最后一个人设计的。也就是说，它们不携带任何相关信息。当解析为正常形式时，您的数据看起来就像我第一个提出的元组：

<experiment_number, time, response_number, response>

我怀疑 time 实际上可能意味着“subject_id”或“Trial_number”。将所有不同的响应值连接到同一个数据集中可能看起来很不协调；事实上，根据您想要的输出，我怀疑它确实如此。乍一看，反对意见“但是主体对椅子认知属性问题的回答与他们关于颜色的元认知信念没有联系”，但这是错误的。数据相关是因为它们有共同的实验对象，而自相关是社会学分析中的一个重要概念。

例如，您可能会发现受访者 A 给出了与受访者 B 相同的答案，但由于受试者对标准的理解方式，A 的所有答案都偏向较高。这会对数据的绝对值产生非常实际的影响，但我希望你能看到这个问题：“A 和 B 实际上有不同的认知模型吗？”是突出且有效的。一种数据建模方法可以轻松回答这个问题，但您想要的方法却不能。

很快就会开始工作解析代码。

Answer 3

规范化代码

#!/usr/bin/python

"""parses a csv file containing a particular data layout and normalizes

    The raw data set is a csv file of the form::

        column1                column2               column3
        exp01data01time01      exp01data02time01     exp01data03time01
        exp01data01time02      exp01data02time02     exp01data03time02

    where there are 40 such columns and the literal column title
    is added as context to the output row

    it is assumed that the columns are comma separated but
    the lexical form of the subcolumns is unspecified.

    Output will consist of a single CSV output stream
    on stdout of the form::

        exp01, time01, data01, column1

    for varying actual values of each field.
"""

import csv
import sys

def split_subfields(s):
    """returns a list of subfields of s
       this function is expected to be re-written to match the actual,
       unspecified lexical structure of s."""
    return [s[0:5], s[5:11], s[11:17]]


def normalise_data(reader, writer):
    """returns a list of the column headings from the reader"""

    # obtain the headings for use in normalization
    names = reader.next()

    # get the data rows, split them out by column, add the column name
    for row in reader:
        for column, datum in enumerate(row):
            fields = split_subfields(datum)
            fields.append(names[column])
            writer.writerow(fields)

def main():
    if len(sys.argv) != 2:
        print  >> sys.stderr,  ('usage: %s input.csv' % sys.argv[0])
        sys.exit(1)

    in_file = sys.argv[1]

    reader = csv.reader(open(in_file))
    writer = csv.writer(sys.stdout)
    normalise_data(reader, writer)

if __name__ == '__main__': main()

使得命令python epistem.py raw_data.csv > Cooked_data.csv 产生如下所示的摘录输出：

exp01,data01,time01,column1
...
exp01,data40,time01,column40
exp01,data01,time02,column1
exp01,data01,time03,column1
...
exp02,data40,time15,column40