有日语的阅读网站

Question

UnicodeDecodeCharacter 'ascii' cocec 无法解码位置 348 处的字节 0xe3：序号不在范围（128）

我有 urllib.urlopen-ing 一个网站，并且我有一个.readlines() 逐段浏览它，搜索某些文本。

我从一个网站上阅读，上面有一些日语字符（我想跳过这一部分），但是我的代码在读取它时崩溃了。

或者更简单地说，我可以将整个 urllib.urlopen 转换为 unicode，这样我就不会收到此 ASCII 错误，如果是这样，我该如何搜索它？

Answer 1

您可以读取原始字节，将它们转换为 ascii（同时忽略非 ascii），然后分割行：

import urllib

url = 'http://www.asahi.com/'
u = urllib.urlopen(url)
rawdata = u.read()
u.close()
asciidata = rawdata.decode('ascii', 'ignore')
asciilines = asciidata.splitlines(False)

for line in asciilines[:40]:
    print line

这段代码应该是您开始的。技术上更正确的方法包括读取标题或正文的前几行以找到正确的字符集，然后使用该字符集进行解码。