lxml - 解析 stackexchange rss feed 时遇到困难

Question

嗨，

我在用 python 解析 stackexchange 的 rss feed 时遇到问题。 当我尝试获取摘要节点时，返回一个空列表

我一直在尝试解决这个问题，但无法理解。

有人可以帮忙吗？ 谢谢 一个

<代码> 在[3o]中：导入lxml.etree，urllib2

In [31]: url_cooking = 'http://cooking.stackexchange.com/feeds' 

In [32]: cooking_content = urllib2.urlopen(url_cooking)

In [33]: cooking_parsed = lxml.etree.parse(cooking_content)

In [34]: cooking_texts = cooking_parsed.xpath('.//feed/entry/summary')

In [35]: cooking_texts
Out[35]: []

Answer 1

看一下这两个版本

import lxml.html, lxml.etree

url_cooking = 'http://cooking.stackexchange.com/feeds'

#lxml.etree version
data = lxml.etree.parse(url_cooking)
summary_nodes = data.xpath('.//feed/entry/summary')
print('Found ' + str(len(summary_nodes)) + ' summary nodes')

#lxml.html version
data = lxml.html.parse(url_cooking)
summary_nodes = data.xpath('.//feed/entry/summary')
print('Found ' + str(len(summary_nodes)) + ' summary nodes')

正如您所发现的，第二个版本不返回任何节点，但 lxml.html 版本工作正常。 etree 版本无法工作，因为它需要命名空间，而 html 版本则可以工作，因为它忽略命名空间。 http://lxml.de/lxmlhtml.html 的一部分，它说“HTML 解析器明显忽略了命名空间和其他一些 XMLism ”。

请注意，当您打印 etree 版本的根节点 (print(data.getroot())) 时，您会得到类似 。这意味着它是一个命名空间为 http://www.w3.org/2005/Atom 的 feed 元素。这是 etree 代码的更正版本。

import lxml.html, lxml.etree

url_cooking = 'http://cooking.stackexchange.com/feeds'

ns = 'http://www.w3.org/2005/Atom'
ns_map = {'ns': ns}

data = lxml.etree.parse(url_cooking)
summary_nodes = data.xpath('//ns:feed/ns:entry/ns:summary', namespaces=ns_map)
print('Found ' + str(len(summary_nodes)) + ' summary nodes')

Answer 2

问题是命名空间。

运行此命令：

 cooking_parsed.getroot().tag

您将看到该元素的命名空间为

{http://www.w3.org/2005/Atom}feed

如果您导航到提要条目之一，

“类似”。这意味着 lxml 中正确的 xpath 是：

print cooking_parsed.xpath(
  "//a:feed/a:entry",
  namespaces={ 'a':'http://www.w3.org/2005/Atom' })

Answer 3

尝试使用 beautifulsoup 导入中的 BeautifulStoneSoup。
它可能会起作用。