使用 BeautifulSoup 从 HTML 页面获取内容类型

Question

我试图获取我抓取的页面的字符编码，但在某些情况下它会失败。这就是我正在做的事情：

resp = urllib2.urlopen(request)
self.COOKIE_JAR.extract_cookies(resp, request)
content = resp.read()
encodeType= resp.headers.getparam('charset')
resp.close()

这是我的第一次尝试。但是，如果字符集以 None 类型返回，我会这样做：

soup = BeautifulSoup(html)
if encodeType == None:
    try:
        encodeType = soup.findAll('meta', {'http-equiv':lambda v:v.lower()=='content-type'})
    except AttributeError, e:
        print e
        try:
            encodeType = soup.findAll('meta', {'charset':lambda v:v.lower() != None})
        except AttributeError, e:
            print e
            if encodeType == '':
                encodeType = 'iso-8859-1'

我正在测试的页面在标题中包含以下内容：

我希望第一个 try 语句返回一个空字符串，但是我在两个 try 语句上都收到此错误（这就是第二个语句的原因）现在是嵌套的）：

'NoneType' 对象没有属性 'lower'

第二个 try 语句有什么问题？我猜第一个也是不正确的，因为它抛出了一个错误，而不仅仅是返回空白。

或者更好是否有一种更优雅的方法来从页面中删除任何特殊字符编码？我想要实现的最终结果是我不关心任何特殊编码的字符。我想删除编码字符并保留原始文本。我可以跳过上述所有内容并告诉 BeautifulSoup 只删除任何编码的内容吗？

Answer 1

我决定只接受 BeautifulSoup 吐出的任何东西。然后，当我解析文档中的每个单词时，如果无法将其转换为字符串，我就会忽略它。

for word in doc.lower().split(): 
        try:
            word = str(word)
            word = self.handlePunctuation(word)
            if word == False:
                continue
        except UnicodeEncodeError, e:
            #word couldn't be converted to string; most likely encoding garbage we can toss anyways
            continue 

Answer 2

当尝试确定页面的字符编码时，我认为应该尝试的顺序是：

1. 通过元标记从 HTML 页面本身确定（例如 )
2. 通过 HTTP 标头确定编码（例如 Content-Type: text/html; charset=ISO-8859-1
3. ）如果以上没有产生任何事情，您都可以做一些事情，例如使用算法来使用页面中字节的分布来确定页面的字符编码（请注意，不能保证找到正确的编码）。查看 chardet 库以了解此选项。