PDFtotext - 命令行上显示为 aacute 的空格

Question

我正在使用 python 从使用 pdftotext 从 pdf 创建的文本文件中提取文本。它是 2000 个文件之一，在这个特定的文件中，一行关键字以 EU 结尾。该行的其余部分肉眼是空白的，下面的行也是空白的。

程序通常会去掉行尾的所有尾随空白，并忽略后续的空白行。

在本例中，它保存了在“EU.”之间的文本文件中打印时看到的空白，在 html 中也类似（Simile Exhibit）。

我还打印到命令行，在这里我看到一串 aacute。 [？]

我认为处理这个问题的明显方法是搜索并替换accute。我尝试使用编译语句来做到这一点，并且尝试了解码传入文本的排列。

但奇怪的是，当我打印“\255”时，我没有得到aacute，而是得到了ograve。

由于这些奇怪的错误组合，我似乎误解了一些基本的东西。关于如何开始解开这个问题有什么建议吗？

非常感谢。

Answer 1

第一个技巧是不要使用各种未声明的编码疯狂地打印到所有可能的输出机制。确切地找出您拥有什么。执行以下操作：

print repr(the_line_with_the_problem) # Python 2.x
print(ascii(the_line_with_the_problem)) # Python 3.x

编辑您的问题并复制/粘贴结果。

第二个技巧：在寻求帮助时，请提供有关您的环境的信息：

Python 的版本是什么？什么版本什么操作系统？

还显示区域设置相关信息；以下示例来自我在 Windows 7 命令提示符窗口中运行 Python 2.7 的计算机::

>>> import sys, locale
>>> sys.getdefaultencoding()
'ascii'
>>> sys.stdout.encoding
'cp850'
>>> locale.getdefaultlocale()
('en_AU', 'cp1252')
>>>

第三个提示：不要使用自己的行话...概念“Simile Exhibit”、“打印到命令行”和“编译语句” “需要解释。

"\255" 有何相关性？你从哪里得到的？

在等待一些事实出现时疯狂猜测：

(1) 有问题的字符是 U+00A0 NO-BREAK SPACE 又名 NBSP，它在您的文本中显示为 "\xA0"当使用命令提示符窗口发送到 Windows 上西欧语言环境中的 stdout 时，将被视为以 cp850 编码，因此显示为 a-acute。这如何转变为o-grave是一个谜。

(2) "\255" == \xAD 暗示有问题的字符是 U+00AD SOFT HYPHEN 但为什么这会被视为 o-grave 是一个谜，并且这不是“空白”；它根本不应该显示，并且显示它应该作为连字符/减号，而不是空格。