默认的内容类型/字符集是什么？

Question

根据这个答案： urllib2 read to Unicode

我有获取内容类型以便更改为 Unicode。但是，有些网站没有“字符集”。

例如，此页面是“text/html”。我无法将其转换为 Unicode。

encoding=urlResponse.headers['content-type'].split('charset=')[-1]
htmlSource = unicode(htmlSource, encoding)
TypeError: 'int' object is not callable

是否有默认的“编码”（当然是英语）...这样，如果没有找到任何内容，我就可以使用它？

Answer 1

是否有默认的“编码”（当然是英语）...这样，如果没有找到任何内容，我就可以使用它？

不，没有。你一定猜到了。

简单的方法：尝试解码为 UTF-8。如果有效，那就太好了，它可能是 UTF-8。如果没有，请为您正在浏览的页面类型选择最可能的编码。对于英语页面，它是 cp1252，即 Windows 西欧编码。 （就像 ISO-8859-1；事实上，即使您指定了该字符集，大多数浏览器也会使用 cp1252 而不是 iso-8859-1，因此值得复制行为。）

如果你需要猜测其他语言，那就会变得非常棘手。有现有的模块可以帮助您在这些情况下进行猜测。参见例如。 chardet。

Answer 2

好吧，我刚刚浏览了给定的 URL，该 URL 重定向到

http://www.engadget.com/2009/11/23/apple-hits-back-at-verizon-in-new-iphone-ads-video

然后在 Firefox 中点击 Ctrl + U （查看源代码），它显示

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

@Konrad：你的意思是“似乎虽然......使用ISO-8859-1”？

@alex：是什么让你认为它没有“字符集”？

查看您的代码（我们猜测是导致错误的行（请始终显示完整回溯和错误消息！））：

htmlSource = unicode(htmlSource, encoding)

错误消息：

TypeError: 'int' object is not callable

以及 意味着 unicode 不是指内置函数，而是指 int。我记得在你的其他问题中，你有类似的建议，

if unicode == 1:

我建议你为该变量使用其他名称——比如 use_unicode。

更多建议：（1）始终显示足够的代码来重现错误（2）始终阅读错误消息。

Answer 3

htmlSource=htmlSource.decode("utf8") 应该适用于大多数情况，除非您正在抓取非英语编码网站。

或者你可以像这样编写强制解码函数：

def forcedecode(text):
    for x in ["utf8","sjis","cp1252","utf16"]:
        try:return text.decode(x)
        except:pass
    return "Unknown Encoding"

Answer 4

如果没有明确的内容类型，则应为 ISO-8859-1，如答案中前面所述。不幸的是，情况并非总是如此，这就是为什么浏览器开发人员花了一些时间来让算法尝试根据页面内容猜测内容类型。

幸运的是，Mark Pilgrim 完成了将 Firefox 实现移植到 Python 的所有艰苦工作， chardet 模块 的形式。他的关于其工作原理的介绍 深入了解 Python 3 的其中一章是也非常值得一读。