urllib2/lxml 编码问题

Question

我是 python 新手，尝试使用 urllib2/lxml 来获取和解析页面。一切似乎都工作正常，除了解析的页面在我的浏览器中打开时似乎嵌入了奇怪的字符。我猜这是一个 unicode/lxml 解析问题。当我使用 .text_content() 获取元素的文本内容并打印它时，我在原始页面中得到如下内容：“sometext \342\200\223 moretext”，这显示为“sometext - moretext

”告诉我：
1.发生什么事了？
2.如何解决？
3. 我在哪里可以阅读此类编码问题？

谢谢！

Answer 1

发生的事情是，该网站正在使用“endash”，这是一个稍长的破折号（您应该在范围内使用破折号，例如 40-56，真的。是的，破折号本身就是一门完整的科学）。

在 Unicode 中，endash 的代码点为 U+2013。您得到的数字 \342\200\223 是该代码点的 UTF-8 编码的八进制表示形式。为什么你得到八进制我不知道，我得到十六进制，所以在我的计算机上它看起来像'\xe2\x80\x93'。但这没有什么区别，这只是表示形式。数字是相同的。

您可能应该做的是尽早将获得的 HTML 字符串解码为 un​​icode。获取页面时返回的标头应该告诉您它使用的编码（尽管这里显然是 UTF8），从标头中提取该数据相当容易，当您打印标头时您会看到它。

然后解码 html 数据：

htmldata = htmldata.decode(<the encoding you found in the headers>)

Answer 2

您主要需要注意在此过程中两个点上的 unicode 问题：

1. 将响应获取到 unicode 字符串中，很好地解释了这里
2. 输出字符串时指定合适的编码

--

#  from an lxml etree
etree.tostring(root, encoding='utf-8', xml_declaration=False)

# from a unicode string
x.encode('utf-8')