“ascii” beautifulsoup 中的编解码器错误

Question

我正在使用 beautifulsoup 从 html 页面抓取数据。直到昨天一切都很好。但是现在我收到错误：

'ascii' codec can't encode character u'\xa9' in position 86700: ordinal not in range(128)

我正在使用代码：

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page)

这给了我错误。

Answer 1

一个疯狂的猜测：

尝试指定页面的编码？

soup = BeautifulSoup(page, fromEncoding=<encoding of the page>)

这也可能是Python安装的问题。如果您在没有 BeautifulSoup 的情况下打印非 ASCII 字符，您是否面临同样的问题？如果是，则需要设置编码：

import sys
sys.setdefaultencoding("utf-8") # or whatever you want the default encoding to be.

Answer 2

黑暗中的疯狂刺探：您正在阅读的页面没有明确声明编码，但不是 7 位 ASCII？