使用 numpy 读取 txt 文件时跳过包含字符串的结尾行以生成数字数组

Question

我正在尝试生成一个从互联网读取文本文件的数组。

我的目标是使用 Python 而不是 MATLAB，来替换 MATLAB 中的这一步：

url=['http://www.cdc.noaa.gov/Correlation/amon.us.long.data'];
urlwrite(url,'file.txt');

我正在使用以下代码：

urllib.urlretrieve('http://www.cdc.noaa.gov/Correlation/amon.us.long.data', '/Users/epy/file2.txt')
a = np.loadtxt('/Users/epy/file2.txt', skiprows=1, dtype=None)

但由于文件末尾的文本描述而失败。

你知道是否存在一种方法可以跳过末尾的 X 行，或者我必须使用某种字符串操作（readlines？）？

Answer 1

对于更复杂的文本加载，请查看 numpy.genfromtxt 。

它比 numpy.loadtxt 慢，但更灵活。

在你的情况下（我避免在这里保存临时文件......）：

import numpy as np
import urllib2

url = 'http://www.cdc.noaa.gov/Correlation/amon.us.long.data'
data = np.genfromtxt(urllib2.urlopen(url), skip_header=1, skip_footer=4)

Answer 2

对于那些曾经来这里的人来说，它更容易（np.loadtxt也可以得到生成器）：

而不是

a = np.loadtxt('/Users/epy/file2.txt', skiprows=1, dtype=None)

仅仅写入

a = np.loadtxt(open('/Users/epy/file2.txt','rt').readlines()[:-1]), skiprows=1, dtype=None)

也会跳过最后一行

Answer 3

这确实应该是回答riddleculous 评论的评论。但我还没有赢得这个特权。

截至今天，使用 jackonsl 的解决方案

a = np.loadtxt(open(file,'rt').readlines()[:-1],skiprows=1,dtype=None)

np.genfromtext 快约 30%

比使用 137 个文件，每个文件约 500 行。

Answer 4

我想指出 @jackonsl 答案中的一个拼写错误。
删除 [:-1] 之后的一个多余的括号会产生：

a = np.loadtxt(open('/Users/epy/file2.txt','rt').readlines()[:-1], skiprows=1, dtype=None)

否则，我可以确认这在 numpy 版本 1.21.5 中有效。