使用 python 比较/提取矩阵中的数据 (2.6.1)

Question

我有两个 .csv 文件，其中包含从 R 导出的相关矩阵。一个文件包含 P 值，另一个文件包含 r 值。两个文件之间的行标题和列标题完全匹配。

仅当 P 值 < 时，我才尝试提取成对的 r 值以及相应的行和列标题。 0.05。以下是 r 值输入文件中数据的示例（我有 1700 多个相关项目，而不仅仅是显示的两个）：

            Species1                 Species2
Species1      1                       0.9
Species2      0.9                     1

P 值输入文件是相同的，除了包含 P 值代替r 值。

我对 Python 比较陌生，不知道如何处理这种类型的文件。我尝试了一些策略，包括使用 csv 库来迭代文件。我研究过使用 numpy，但它似乎对我不起作用（？）。我还研究了使用 scipy 在 Python 中计算 r 值和 P 值（Pearson），但这似乎只适用于比较两个一维数组（我有 1700 多列数据需要关联）。

我首先使用代码向您展示我导入的内容：

import csv
infileP = open('AllcorrP.csv', 'rU')
infileR = open('AllcorrR.csv', 'rU')

问题 任何人都可以帮助我根据 p 值文件中的显着 (< 0.05) P 值从 r 值文件中提取列标题和行标题以及 r 值吗？

或

直接使用 Python 计算多列数据之间所有可能相关性的 r 值和 P 值，并仅提取具有显着 P 值的结果？

最后，我想在两个文件中输出。
第一个文件：

Species1   Species2   Species4  ...
Species2   Species1   Species7  ...

等...（其中“Species1”是第一个具有显着相关性的物种，行中的下一项是与其显着相关的物种（Species2、Species4 等）

第二个文件：

Species1 (corr) Species2 = 0.87
Species2 (corr) Species7 = 0.72
...

等，显示每个成对的物种相关性和随之而来的 r 值

此时，我很高兴能够提取我想要的 r 值和物种列表，并稍后找出最后两个文件格式，谢谢！

Answer 1

要读取数据，您应该能够使用 numpy.genfromtext。请参阅文档，该函数中有大量功能。要阅读上面的示例，您可能会这样做：

from numpy import genfromtxt
rdata = genfromtxt('AllcorrR.csv', skip_header=1)[:,1:]
Pdata = genfromtxt('AllcorrP.csv', skip_header=1)[:,1:]

[:,1:] 是在读入时忽略数据的第一列。该函数没有像行那样的“忽略前 x 列”的输入（通过skip_header）。不知道为什么他们不实施这个，它总是困扰着我。

这只会读取 P 的数据（也可以对 r 执行此操作）。然后你就可以很容易地过滤数据。您可以阅读分开的第一行和第一列来获取标题。或者，如果您看到 genfromtxt 文档，您也可以为它们命名（创建一个记录）。

要找到 r 小于 0.50 的索引（值），您可以简单地进行比较，numpy 会自动为您创建一个布尔数组：

print Pdata < 0.05

这可以用作 rdata 的索引（确保有相同的行数/列）：

print rdata[Pdata < 0.05]

Answer 2

您可以执行类似的操作来获取元组列表，其中包含行标题和列标题以及您感兴趣的数据元素的 r 和 P 值：

infile_r = open('AllcorrR.csv', 'r')
infile_p = open('AllcorrP.csv', 'r')

# Read the first line of each file.
line_r = infile_r.readline()
line_p = infile_p.readline()

# Set the separator depending on the file format.
SEPARATOR = None  # Elements separated by whitespace.
column_headers = line_r.split(SEPARATOR)

significant = []

# Read the rest of the lines.
for line_r in infile_r:
    line_p = infile_p.readline()
    tokens_r = line_r.split(SEPARATOR)
    tokens_p = line_p.split(SEPARATOR)
    row_header = tokens_r[0]
    values_r = [float(v) for v in tokens_r[1:]]
    values_p = [float(v) for v in tokens_p[1:]]
    significant.extend([(row_header, column_header, r, p) for column_header, r, p in zip(column_headers, values_r, values_p) if p < 0.05])

print significant