Python 的 os.path 被希伯来文件名阻塞

Question

我正在编写一个必须移动一些文件的脚本，但不幸的是，它似乎不太适合国际化。 当我有以希伯来语命名的文件时，就会出现问题。 以下是目录内容的屏幕截图：

_{（来源：thegreenplace.net）}

现在考虑此代码遍历此目录中的文件：

files = os.listdir('test_source')

for f in files:
    pf = os.path.join('test_source', f)
    print pf, os.path.exists(pf)

输出为：

test_source\ex True
test_source\joe True
test_source\mie.txt True
test_source\__()'''.txt True
test_source\????.txt False

请注意 os.path.exists 是如何认为希伯来语命名的文件根本不存在的？ 我怎样才能解决这个问题？

Windows XP Home SP2 上的 ActivePython 2.5.2

Answer 1

嗯，经过一些挖掘后，似乎在向 os.listdir 提供 unicode 字符串时，这有点作品：

files = os.listdir(u'test_source')

for f in files:

    pf = os.path.join(u'test_source', f)
    print pf.encode('ascii', 'replace'), os.path.exists(pf)

===>

test_source\ex True
test_source\joe True
test_source\mie.txt True
test_source\__()'''.txt True
test_source\????.txt True

这里有一些重要的观察结果：

• Windows XP（像所有 NT 衍生品一样）将所有 文件名存储在 unicode
• os.listdir 中（以及类似的函数，例如 os.walk) 应传递一个 unicode 字符串，以便正确使用 unicode 路径。 这是上述链接的引用：

os.listdir()，返回文件名，
提出了一个问题：它是否应该返回
文件名的 Unicode 版本，或
它应该返回 8 位字符串吗
包含编码版本？
os.listdir() 会同时执行这两项操作，具体取决于
关于您是否提供了目录
8 位字符串或 Unicode 形式的路径
细绳。 如果你传递一个 Unicode 字符串
作为路径，文件名将被解码
使用文件系统的编码和
Unicode 字符串列表将是
返回，同时传递 8 位路径
将返回 8 位版本
文件名。

• 最后，print 需要一个 ascii 字符串，而不是 unicode，因此路径必须编码为 ascii。

Answer 2

它看起来像是 Unicode 与 ASCII 问题 - os.listdir 返回 ASCII 字符串列表。

编辑：我在 Python 3.0 和 XP SP2 上尝试过，os.listdir 只是省略了希伯来语文件名，而不是完全列出它们。

根据文档，这意味着它无法解码：

请注意，当 os.listdir() 返回一个
不能的字符串、文件名列表
正确解码被省略
而不是引发 UnicodeError。

Answer 3

它在 OS X 上使用 Python 2.5.1 的效果就像一个魅力：

subdir/bar.txt True
subdir/foo.txt True
subdir/עִבְרִית.txt True

也许这意味着这与 Windows XP 有某种关系？

编辑：我还尝试使用 unicode 字符串来更好地模仿 Windows 行为：

for f in os.listdir(u'subdir'):
  pf = os.path.join(u'subdir', f)
  print pf, os.path.exists(pf)

subdir/bar.txt True
subdir/foo.txt True
subdir/עִבְרִית.txt True

在终端（os x stock 命令提示符应用程序）中。 使用IDLE它仍然可以工作，但没有正确打印文件名。 为了确保它确实是 unicode，我检查了：

>>>os.listdir(u'listdir')[2]
u'\u05e2\u05b4\u05d1\u05b0\u05e8\u05b4\u05d9\u05ea.txt'

Answer 4

问号是当 Unicode 字符无法用特定编码表示时显示的或多或少通用的符号。 Windows 下的终端或交互式会话可能使用 ASCII 或 ISO-8859-1 等。 所以实际的字符串是 unicode，但它被翻译成 ???? 当打印到终端时。 这就是它适用于使用 OSX 的 PEZ 的原因。