当 XPath 相同时提取数据

Question

我是 jython 和 scrapy 的新手，但它们的功能给我留下了深刻的印象。我的问题是，当 XPath 相同时提取数据的最佳方法是什么？

例如：

<tr>
  <td>
    <a href="/user/Bob">Bob Job</a>
  </td>
  <td>hi</td>
  <td>280.0</td>
</tr>

我需要从所有 3 个 td 字段中抓取信息。我使用 firebug 提取 XPath，它将我的 XPath 显示为

/html/body/table[2]/tbody/tr/td[2]/div/table/tbody/tr[2]/td[3]

最好的是什么当 XPath 相同时提取数据的方法？我可能只需要 td[1] 和 td[3] 的数据。

Answer 1

您必须确定一个标准来提取值并将它们放入相应的项目字段中。例如

link     = hxs.select('//td/a/href').extract()[0]
linktext = hxs.select('//td/a/text()').extract()[0]
number   = hxs.select('//td').re('\d+\.\d+')

Answer 2

Firebugs 复制 xpath 并不总是最佳的。

抓取表格时，首先找到一种方法来迭代 字段，例如 //table[@id='results']/tr，然后再执行另一个查询获取每行所需的 td 字段。 //td 这样更简单。