UnicodeDecodeError: 'charmap'编解码器无法解码位置 Y 中的字节 X：字符映射到<未定义>

Question

我正在尝试让 Python 3 程序对填充信息的文本文件进行一些操作。但是，当尝试读取该文件时，出现以下错误：

Traceback (most recent call last):  
  File "SCRIPT LOCATION", line NUMBER, in <module>  
    text = file.read()
  File "C:\Python31\lib\encodings\cp1252.py", line 23, in decode  
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 2907500: character maps to `<undefined>`  

---

_{阅读此问答后，请参阅如何确定文本的编码 如果您需要帮助确定您尝试打开的文件的编码。}

Answer 1

有问题的文件未使用 CP1252 编码。它使用另一种编码。哪一种你得自己弄清楚。常见的是Latin-1和UTF-8。由于 0x90 实际上在 Latin-1 中没有任何含义，因此 UTF-8（其中 0x90 是连续字节）更有可能。

您在打开文件时指定编码：

file = open(filename, encoding="utf8")

Answer 2

如果 file = open(filename,encoding="utf-8") 不起作用，请尝试
file = open(filename,errors="ignore")，如果您想删除不需要的字符。 （文档）

Answer 3

或者，如果您不需要解码文件，例如将文件上传到网站，请使用：

open(filename, 'rb')

where r = reading, b = 二进制

Answer 4

TLDR：尝试：file = open(filename,encoding='cp437')

为什么？当使用时：

file = open(filename)
text = file.read()

Python 假定文件使用与当前环境相同的代码页（在开篇文章的情况下为 cp1252），并尝试将其解码为自己的默认 UTF-8 。如果文件包含此代码页中未定义的值的字符（例如 0x90），我们会收到 UnicodeDecodeError。有时我们不知道文件的编码，有时Python可能无法处理文件的编码（例如cp790），有时文件可能包含混合编码。

如果不需要这些字符，可以决定用问号替换它们，方法是：

file = open(filename, errors='replace')

另一种解决方法是使用：

file = open(filename, errors='ignore')

然后字符保持不变，但其他错误也将被屏蔽。

一个非常好的解决方案是指定编码，但不是任何编码（如cp1252），而是将每个单字节值（0..255）映射到的编码字符（如 cp437 或 latin1）：

file = open(filename, encoding='cp437')

代码页 437 只是一个示例。它是原始的 DOS 编码。所有代码都被映射，因此读取文件时不会出现错误，不会屏蔽任何错误，字符会被保留（未完全保留，但仍可区分），并且可以检查它们的 ord() 值。

请注意，此建议只是解决棘手问题的快速解决方法。正确的解决方案是使用二进制模式，尽管它不是那么快。

Answer 5

作为 @LennartRegebro 的答案的扩展：

如果您无法判断文件使用的编码并且上述解决方案不起作用（它不是 utf8），您发现自己只是猜测 - 有 在线工具，您可以使用它来识别是什么编码。它们并不完美，但通常工作得很好。弄清楚编码后，您应该能够使用上面的解决方案。

编辑：（从评论复制）

一个非常流行的文本编辑器Sublime Text有一个命令来显示编码（如果已设置）...

1. 转到查看-> 显示控制台（或Ctrl+`）

2. 在底部字段中输入 view.encoding() 和希望一切顺利（除了 Undefined 之外，我无法得到任何东西，但也许你会有更好的运气......）

Answer 6

别再浪费时间了，只需在读取和写入代码中添加以下 encoding="cp437" 和 errors='ignore' 即可：

open('filename.csv', encoding="cp437", errors='ignore')
open(file_name, 'w', newline='', encoding="cp437", errors='ignore')

Godspeed

Answer 7

下面的代码将对 utf8 符号进行编码。

with open("./website.html", encoding="utf8") as file:
    contents = file.read()

Answer 8

def read_files(file_path):

    with open(file_path, encoding='utf8') as f:
        text = f.read()
        return text

或（与）

def read_files(text, file_path):

    with open(file_path, 'rb') as f:
        f.write(text.encode('utf8', 'ignore'))

或

document = Document()
document.add_heading(file_path.name, 0)
    file_path.read_text(encoding='UTF-8'))
        file_content = file_path.read_text(encoding='UTF-8')
        document.add_paragraph(file_content)

或

def read_text_from_file(cale_fisier):
    text = cale_fisier.read_text(encoding='UTF-8')
    print("what I read: ", text)
    return text # return written text

def save_text_into_file(cale_fisier, text):
    f = open(cale_fisier, "w", encoding = 'utf-8') # open file
    print("Ce am scris: ", text)
    f.write(text) # write the content to the file

或

def read_text_from_file(file_path):
    with open(file_path, encoding='utf8', errors='ignore') as f:
        text = f.read()
        return text # return written text


def write_to_file(text, file_path):
    with open(file_path, 'wb') as f:
        f.write(text.encode('utf8', 'ignore')) # write the content to the file

或

import os
import glob

def change_encoding(fname, from_encoding, to_encoding='utf-8') -> None:
    '''
    Read the file at path fname with its original encoding (from_encoding)
    and rewrites it with to_encoding.
    '''
    with open(fname, encoding=from_encoding) as f:
        text = f.read()

    with open(fname, 'w', encoding=to_encoding) as f:
        f.write(text)

Answer 9

在应用建议的解决方案之前，您可以检查文件（以及错误日志）中出现的 Unicode 字符是什么，在本例中为 0x90：https://unicodelookup.com/#0x90/1（或直接访问 Unicode 联盟网站 http://www.unicode.org/charts/ 通过搜索 0x0090）

和然后考虑将其从文件中删除。

Answer 10

对我来说使用 utf16 编码有效

file = open('filename.csv', encoding="utf16")

Answer 11

在较新版本的 Python（从 3.7 开始）中，您可以添加解释器选项 -Xutf8，这应该可以解决您的问题。如果您使用 Pycharm，只需运行 > > 编辑配置（在“配置”选项卡中，将“解释器选项”字段中的值更改为 -Xutf8）。

或者，等效地，您可以将环境变量 PYTHONUTF8 设置为 1。

Answer 12

对于那些在 Windows 中使用 Anaconda 的人来说，我也遇到了同样的问题。 Notepad++帮我解决这个问题。

在 Notepad++ 中打开该文件。在右下角它会告诉您当前的文件编码。
在顶部菜单中，“查看”旁边找到“编码”。在“编码”中，转到“字符集”，然后耐心地查找您需要的编码。就我而言，编码“Windows-1252”在“西欧”下找到

Answer 13

如果您使用的是 Windows，该文件可能以 UTF-8 BOM 开头，表明它肯定是一个 UTF-8 文件。根据 https://bugs.python.org/issue44510，我使用了 encoding=" utf-8-sig"，csv文件读取成功。

Answer 14

对我来说，更改与我的代码相同的 Mysql 字符编码有助于解决问题。 photo=open('pic3.png',encoding=latin1)

Answer 15

这是我如何使用 UTF-8 打开和关闭文件的示例，从最近的代码中提取：

def traducere_v1_txt(translator, file):
  data = []
  with open(f"{base_path}/{file}" , "r" ,encoding='utf8', errors='ignore') as open_file:
    data = open_file.readlines()
    
    
file_name = file.replace(".html","")
        with open(f"Translated_Folder/{file_name}_{input_lang}.html","w", encoding='utf8') as htmlfile:
          htmlfile.write(lxml1)

Answer 16

这项检查帮助我解决了这个问题：

with open(input_file, 'rb') as rawdata:
    result = chardet.detect(rawdata.read(10000))
encoding = result['encoding']

print(f"Detected encoding: {encoding}")

with open(input_file, 'r', newline='', encoding=encoding, errors='replace') as csvfile:
 reader = csv.reader(csvfile)
 # read the file...