我可以使用 lxml 仅下载 Internet 网页的部分内容吗？

Question

我不确定这是否可行，并且 lxml 文档对我来说不是很好。

例如，我可以使用类似：

import lxml.html as lx
x = lx.parse('http://web.info/page.html')
y = x.xpath('\\something\interesting'[2])

或类似的内容，这样我就不会下载整个页面吗？

如果不使用lxml，是否有一些Python模块可以做到这一点？

Answer 1

您可以尝试 增量解析：

import urllib2
import lxml.html as LH

# request a partial download
url='http://www.python.org/'
req = urllib2.Request(url)
req.headers['Range'] = 'bytes=%s-%s' % (0, 1024)
f = urllib2.urlopen(req)
content=f.read()
# print(content)

# incremental parsing
parser=LH.HTMLParser()
parser.feed(content)
x = parser.close()
y = x.xpath('//link')
print(y)

产量

[<Element link at 9dc5aac>, <Element link at 9dc5adc>, <Element link at 9dc5b0c>]

Answer 2

否：lxml 必须先解析整个页面，然后才能保证找到其中的单个位，并且要解析整个页面，显然必须下载整个页面。 （但另请参阅 unutbu 的答案，了解潜在的部分下载/解析方法。）

虽然我相信可以对文件的一部分发出 HTTP 请求（我认为通过 range 标头？），但这并不能保证在服务器端得到支持。

令人遗憾的是，HTTP 不包含将 XPath 查询与页面请求一起发送到服务器的方法，并且在发回的页面上运行该查询的结果。