如何在 beautifulsoup 中打开带有 windows-1252 编码的 HTML 页面

Question

我尝试用 beautifulsoup 解析 HTML 文档，但遇到了麻烦。打开使用 windows-1252 编码的 HTML 文档的最佳方法是什么？

我尝试使用 iconv 转换为 utf-8 但这也不起作用。

doc = open("e.html").read()

soup = BeautifulSoup(doc)

soup.findAll('p')

UnicodeEncodeError: 'ascii' 编解码器无法对位置 103 中的字符 u'\xfc' 进行编码：序数不在范围内(128)

当我在没有 iconv 的情况下打开它时，我收到相同的错误。

完整回溯：

>>> soup.findAll('p')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfc' in position 103: ordinal not in range(128)

Answer 1

我遇到了类似的错误：

UnicodeDecodeError：“utf-8”编解码器无法在位置解码字节 0xe9
723617：无效的连续字节

对我有用的是指定输入编码，如下所示：

page = open("page.html", encoding="windows-1252")

soup = BeautifulSoup(page.read(), "html.parser")

Answer 2

尝试这样的事情：

doc = open("e.html").read()

doc = doc.decode('cp1252')

soup = BeautifulSoup(doc)

soup.findAll('p')