将 HTML 行解析为 CSV

Question

首先，html 行看起来像这样：

<tr class="evenColor"> blahblah TheTextIneed blahblah and ends with </tr>

我会显示真正的 html，但很遗憾，我不知道如何阻止它。 感到羞耻

使用 BeautifulSoup (Python) 或任何其他推荐的屏幕抓取/解析方法，我想将同一目录中的大约 1200 个 .htm 文件输出为 CSV 格式。 这最终将进入 SQL 数据库。 每个目录代表一年，我计划至少做5年。

根据一些建议，我一直在闲逛 glob 作为实现此目的的最佳方法。 这就是我到目前为止所拥有的并且被困住了。

import glob
from BeautifulSoup import BeautifulSoup

for filename in glob.glob('/home/phi/data/NHL/pl0708/pl02*.htm'):
#these files go from pl020001.htm to pl021230.htm sequentially
    soup = BeautifulSoup(open(filename["r"]))
    for row in soup.findAll("tr", attrs={ "class" : "evenColor" })

我意识到这很丑陋，但这是我第一次尝试这样的事情。 在意识到我不必手动将数千个文件复制并粘贴到 Excel 中后，我花了几个月的时间才解决这个问题。 我还意识到，我可以出于沮丧而反复踢计算机，但它仍然可以工作（不推荐）。 我已经很接近了，我需要知道下一步要做什么来制作这些 CSV 文件。 请帮忙，否则我的显示器最终会被锤子敲击。

Answer 1

您需要通过添加 import csv 来导入 csv 模块到文件的顶部。

然后，您需要在行循环之外创建一个 csv 文件，如下所示：

writer = csv.writer(open("%s.csv" % filename, "wb"))

然后您需要实际从循环中的 html 行中提取数据，类似于

values = (td.fetchText() for td in row)
writer.writerow(values)

Answer 2

你并没有真正解释为什么你被困住了——到底是什么不起作用？

以下行很可能是您的问题：

soup = BeautifulSoup(open(filename["r"]))

在我看来应该是：

soup = BeautifulSoup(open(filename, "r"))

以下行：

for row in soup.findAll("tr", attrs={ "class" : "evenColor" })

看起来它只会挑选出偶数行（假设您的偶数行具有“evenColor”类，奇数行具有“oddColor”类） 。 假设您希望所有行的类为 EvenColor 或 oddColor，则可以使用正则表达式来匹配类值：

for row in soup.findAll("tr", attrs={ "class" : re.compile(r"evenColor|oddColor") })

Answer 3

看起来不错，BeautifulSoup 对此很有用（尽管我个人倾向于使用 lxml）。 您应该能够获取您获得的数据，并使用 csv 模块制作一个 csv 文件，而不会出现任何明显的问题...

我认为您需要实际告诉我们问题是什么。 “还是不行”并不是问题描述。