python、lxml 和 xpath - html 表解析

Question

我是 lxml 新手，对 python 很陌生，无法找到以下问题的解决方案：

我需要导入一些具有 3 列和从第 3 行开始的未定义行数的表。

当任何行的第二列是为空，该行将被丢弃，并且表的处理将中止。

以下代码可以很好地打印表的数据（但之后我无法重用这些数据）：

from lxml.html import parse

def process_row(row):  
    for cell in row.xpath('./td'):  
        print cell.text_content()  
        yield cell.text_content()  

def process_table(table):  
    return [process_row(row) for row in table.xpath('./tr')]

doc = parse(url).getroot()  
tbl = doc.xpath("/html//table[2]")[0]  
data = process_table(tbl)  

这仅打印第一列:(

for i in data:  
    print i.next()

以下代码仅导入第三行，而不是后续

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0]

任何人都知道一个奇特的解决方案来获取所有将第 3 行的数据复制到 tbl 中并将其复制到数组中，以便可以将其处理到没有 lxml 依赖项的模块中？

提前感谢您的帮助，Alex

Answer 1

这是一个生成器：

def process_row(row):  
     for cell in row.xpath('./td'):  
         print cell.text_content()  
         yield cell.text_content() 

您调用它就好像您认为它返回一个列表一样。事实并非如此。在某些情况下，它的行为类似于列表：

print [r for r in process_row(row)]

但这只是因为生成器和列表都向 for 循环公开相同的接口。在仅评估一次的上下文中使用它，例如：

return [process_row(row) for row in table.xpath('./tr')]

只需为 row 的每个新值调用一次生成器的新实例，返回产生的第一个结果。

所以这是你的第一个问题。您的第二个是您所期望的：

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0]

为您提供第三行和所有后续行，并且它仅将 tbl 设置为第三行。嗯，对 xpath 的调用返回第三行和所有后续行。是最后的 [0] 搞乱了你。

Answer 2

您需要使用循环来访问该行的数据，如下所示：

for row in data:  
    for col in row:
        print col

像您一样调用一次 next() 将仅访问第一项，这就是您看到一列的原因。

请注意，由于生成器的性质，您只能访问它们一次。如果您将 process_row(row) 调用更改为 list(process_row(row))，则生成器将转换为可以重用的列表。

更新：如果您只需要第三行及以上，请使用 data[2:]