Python 无法打开路径中包含非英文字符的文件

Question

我有一个具有以下路径的文件：D:/bar/kureeiジー・ヒッツ！/foo.abc

我正在解析 XML 文件中的路径并将其以以下形式存储在名为 path 的变量中file://localhost/D:/bar/kureeiジー・ヒッツ！/foo.abc 然后，正在执行以下操作：

path=path.strip()
path=path[17:] #to remove the file://localhost/  part
path=urllib.url2pathname(path)
path=urllib.unquote(path)

错误是：

IOError: [Errno 2] No such file or directory: 'D:\\bar\\\xe3\x82\xaf\xe3\x83\xac\xe3\x82\xa4\xe3\x82\xb8\xe3\x83\xbc\xe3\x83\xbb\xe3\x83\x92\xe3\x83\x83\xe3\x83\x84\xef\xbc\x81\\foo.abc'

I am using Python 2.7 on Windows 7

Answer 1

您的错误中的路径是：

'\xe3\x82\xaf\xe3\x83\xac\xe3\x82\xa4\xe3\x82\xb8\xe3\x83\xbc\xe3\x83\xbb\xe3\x83\x92\xe3\x83\x83\xe3\x83\x84\xef\xbc\x81'

我认为这是您的文件名的 UTF8 编码版本。

我在 Windows7 上创建了一个同名的文件夹，并在其中放置了一个名为“abc.txt”的文件：

>>> a = '\xe3\x82\xaf\xe3\x83\xac\xe3\x82\xa4\xe3\x82\xb8\xe3\x83\xbc\xe3\x83\xbb\xe3\x83\x92\xe3\x83\x83\xe3\x83\x84\xef\xbc\x81'
>>> os.listdir('.')
['?????\xb7???!']
>>> os.listdir(u'.') # Pass unicode to have unicode returned to you
[u'\u30af\u30ec\u30a4\u30b8\u30fc\u30fb\u30d2\u30c3\u30c4\uff01']
>>> 
>>> a.decode('utf8') # UTF8 decoding your string matches the listdir output
u'\u30af\u30ec\u30a4\u30b8\u30fc\u30fb\u30d2\u30c3\u30c4\uff01'
>>> os.listdir(a.decode('utf8'))
[u'abc.txt']

所以看来 Duncan 的 path.decode('utf8') 建议可以解决问题。

---

更新

我无法为您测试这一点，但我建议您在执行.decode('utf8')之前尝试检查路径是否包含非ascii。这有点hacky...

ASCII_TRANS = '_'*32 + ''.join([chr(x) for x in range(32,126)]) + '_'*130
path=path.strip()
path=path[17:] #to remove the file://localhost/  part
path=urllib.unquote(path)
if path.translate(ASCII_TRANS) != path: # Contains non-ascii
  path = path.decode('utf8')
path=urllib.url2pathname(path)

Answer 2

将文件名作为 unicode 字符串提供给 open 调用。

你如何产生文件名？

如果您提供为常量，则

在脚本开头附近添加一行：

# -*- coding: utf8 -*-

然后，在支持 UTF-8 的编辑器中，将 path 设置为 unicode 文件名：

path = u"D:/bar/クレイジー・ヒッツ！/foo.abc"

从目录内容列表

使用 unicode dirspec 检索目录内容：

dir_files= os.listdir(u'.')

从文本文件中读取

使用 codecs.open 打开包含文件名的文件来读取 unicode 数据来自 它。您需要指定文件的编码（因为您知道计算机上非 Unicode 应用程序的“默认 Windows 字符集”是什么）。

无论如何，

请执行以下操作：

path= path.decode("utf8")

在打开文件之前；如果不是“utf8”，请替换正确的编码。

Answer 3

以下是文档中的一些有趣内容：

sys.getfilesystemencoding()

返回所用编码的名称
将 Unicode 文件名转换为
系统文件名，或者 None 如果
使用系统默认编码。这
结果值取决于操作
系统：在 Mac OS X 上，编码为
'utf-8'。在 Unix 上，编码是
根据用户的偏好
nl_langinfo(CODESET) 的结果，或
如果 nl_langinfo(CODESET) 则无
失败的。在 Windows NT+ 上，文件名是
原生 Unicode，因此无需转换
执行。获取文件系统编码()
仍然返回“mbcs”，因为这是
应用程序应使用的编码
当他们明确想要转换时
Unicode 字符串到字节字符串
用作文件时是等效的
名称。在 Windows 9x 上，编码为
“mbc”。

2.3 版本中的新增功能。

如果我理解正确，您应该将文件名作为 unicode 传递：

f = open(unicode(path, encoding))