使用 lxml 解析文件后无法正确显示 unicode 字符串，但可以正常读取简单的文件

Question

我正在尝试使用 lxml 模块来解析 HTML 文件，但正在努力让它处理一些 UTF-8 编码的数据。我在 Windows 上使用 Python 2.7。例如，考虑一个没有字节顺序标记的 UTF-8 编码文件，该文件只包含文本字符串 Québec。如果我只是使用常规文件处理程序读取文件内容并解码生成的字符串对象，我会得到一个长度为 6 的 unicode 字符串，当写回文件时该字符串看起来不错。但是，如果我使用 lxml 解析该文件，我会看到一个长度为 7 的 unicode 字符串，当写回文件时，该字符串看起来很奇怪。有人可以解释 lxml 发生的不同情况以及如何获取原始的漂亮字符串吗？

例如：

import lxml.html as html
from lxml import etree

f = open("output.txt", "w")

text = open("input.txt").read().decode("utf-8")
f.write("String of type '%s' with length %d: %s\n" % (type(text), len(text), text.encode("utf-8")))

root = html.parse("input.txt")
text = root.xpath(".//p")[0].text.strip()
f.write("String of type '%s' with length %d: %s\n" % (type(text), len(text), text.encode("utf-8")))

在 output.txt 中生成输出：

String of type '<type 'unicode'>' with length 6: Québec
String of type '<type 'unicode'>' with length 7: Québec

EDIT

这里的部分解决方法似乎是使用以下方法解析文件：

etree.parse("input.txt", etree.HTMLParser(encoding="utf-8"))

或

html.parse("input.txt", etree.HTMLParser(encoding="utf-8"))

但是，据我所知基本 etree库缺少一些诸如选择器之类的便利类，因此允许我在没有 etree.HTMLParser() 的情况下使用 lxml.html 的解决方案仍然有用。

Answer 1

函数 lxml.html.parse already 使用 lxml.html.HTMLParser 的实例，因此您不应该反对使用它

html.parse("input.txt", html.HTMLParser(encoding="utf-8"))

来处理 utf-8 数据