将多个 html 文件抓取到 CSV

Question

我正在尝试从硬盘驱动器上的 1200 多个 .htm 文件中删除行。 在我的计算机上，它们位于“file:///home/phi/Data/NHL/pl07-08/PL020001.HTM”。 这些.htm 文件从*20001.htm 到*21230.htm 是连续的。 我的计划是最终通过电子表格应用程序将我的数据放入 MySQL 或 SQLite，或者如果我能从此过程中获得干净的 .csv 文件，则直接放入。

这是我第一次尝试代码（Python）、抓取，我刚刚在我蹩脚的奔腾 IV 上安装了 Ubuntu 9.04。 不用说我是新手并且有一些障碍。

如何让 mechanize 按顺序浏览目录中的所有文件。 机械化能做到这一点吗？ 机械化/Python/BeautifulSoup可以读取'file:///'样式的url还是有其他方法将其指向/home/phi/Data/NHL/pl07-08/PL020001.HTM？ 以 100 或 250 个文件增量执行此操作还是仅发送所有 1230 个文件是否明智？

我只需要以“”开头并以“”结尾的行。 理想情况下，我只想要其中包含“SHOT”|“MISS”|“GOAL”的行，但我想要整行（每一列）。 请注意，“目标”是粗体的，所以我必须指定它吗？ 每个 htm 文件有 3 个表。

另外，我希望父文件（pl020001.htm）的名称包含在我抓取的行中，以便我可以在最终数据库中自己的列中对它们进行标识。 我什至不知道从哪里开始。 这就是我到目前为止所拥有的：

#/usr/bin/python
from BeautifulSoup import BeautifulSoup
import re
from mechanize import Browser

mech = Browser()
url = "file:///home/phi/Data/NHL/pl07-08/PL020001.HTM"
##but how do I do multiple urls/files? PL02*.HTM?
page = mech.open(url)

html = page.read()
soup = BeautifulSoup(html)
##this confuses me and seems redundant
pl = open("input_file.html","r")
chances = open("chancesforsql.csv,"w")

table = soup.find("table", border=0)
for row in table.findAll 'tr class="evenColor"'
#should I do this instead of before?
outfile = open("shooting.csv", "w")

##how do I end it?

我应该使用 IDLE 还是类似的东西？ Ubuntu 9.04 中只有终端吗？

Answer 1

你不需要机械化。 由于我不太了解 HTML 内容，因此我首先尝试查看匹配的内容。 像这样：

import glob
from BeautifulSoup import BeautifulSoup

for filename in glob.glob('/home/phi/Data/*.htm'):
    soup = BeautifulSoup(open(filename, "r").read()) # assuming some HTML
    for a_tr in soup.findAll("tr", attrs={ "class" : "evenColor" }):
        print a_tr

然后选择你想要的东西并用逗号将其写入标准输出（并将其重定向到文件）。 或者通过 python 写入 csv。

Answer 2

MYYN 的回答对我来说似乎是一个很好的开始。 我要指出的是，我很幸运的一件事是：

import glob
    for file_name in glob.glob('/home/phi/Data/*.htm'):
        #read the file and then parse with BeautifulSoup

我发现 os 和 glob 导入对于运行文件中的文件非常有用。目录。

此外，一旦您以这种方式使用 for 循环，您就拥有了 file_name ，您可以修改它以在输出文件中使用，以便输出文件名与输入文件名匹配。