字符编码介绍

发布于 2021-05-18 08:44:49 字数 3718 浏览 1484 评论 0

中文编码问题一直是程序员头疼的问题,而 Python 2 中的字符编码足矣令新手抓狂。本文将尽量用通俗的语言带大家彻底的了解字符编码以及 Python 2 和 3 中的各种编码问题。

一、什么是字符编码

要彻底解决字符编码的问题就不能不去了解到底什么是字符编码。计算机从本质上来说只认识二进制中的0和1,可以说任何数据在计算机中实际的物理表现 形式也就是0和1,如果你将硬盘拆开,你是看不到所谓的数字0和1的,你能看到的只是一块光滑闪亮的磁盘,如果你用足够大的放大镜你就能看到磁盘的表 面有着无数的凹凸不平的元件,凹下去的代表0,突出的代表1,这就是计算机用来表现二进制的方式。

二、ASCII

现在我们面临了第一个问题:如何让人类语言,比如英文被计算机理解?我们以英文为例,英文中有英文字母(大小写)、标点符号、特殊符号。如果我们将这些字母与符号给予固定的编号,然后将这些编号转变为二进制,那么计算机明显就能够正确读取这些符号,同时通过这些编号,计算机也能够将二进制转化为编号对应的字符再显示给人类去阅读。由此产生了我们最熟知的ASCII码。ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。这样在大部分情况下,英文与二进制的转换就变得容易多了。

ASCII 编码是由美国国家标准委员会制定的一种包括数字、字母、通用符号、控制符号在内的字符编码集。
它是一种7位编码,但它存放时必须占全一个字节,也即占用8位。

三、GB2312

然而,虽然计算机是美国人发明的,但是全世界的人都在使用计算机。现在出现了另一个问题:如何让中文被计算机理解?这下麻烦了,中文不像拉丁语系 是由固定的字母排列组成的。ASCII 码显然没办法解决这个问题,为了解决这个问题中国国家标准总局1980年发布《信息交换用汉字编码字符集》提出了 GB2312编码,用于解决汉字处理的问题。1995年又颁布了《汉字编码扩展规范》(GBK)。GBK与GB 2312—1980国家标准所对应的内码标准兼容,同时 在字汇一级支持ISO/IEC10646—1和GB 13000—1的全部中、日、韩(CJK)汉字,共计20902字。这样我们就解决了计算机处理汉字的问题了。

GBK 编码,一个汉字占两个字节。英文占一个字节。

四、Unicode

现在英文和中文问题被解决了,但新的问题又出现了。全球有那么多的国家不仅有英文、中文还有阿拉伯语、西班牙语、日语、韩语等等。难不成每种语言 都做一种编码?基于这种情况一种新的编码诞生了:Unicode。Unicode又被称为统一码、万国码;它为每种语言中的每个字符设定了统一并且唯一的二进 制编码,以满足跨语言、跨平台进行文本转换、处理的要求。Unicode支持欧洲、非洲、中东、亚洲(包括统一标准的东亚象形汉字和韩国表音文字)。这 样不管你使用的是英文或者中文,日语或者韩语,在Unicode编码中都有收录,且对应唯一的二进制编码。这样大家都开心了,只要大家都用Unicode编 码,那就不存在这些转码的问题了,什么样的字符都能够解析了。

Unicode 每个字符占用2个字节。

五、UTF-8

但是由于 Unicode 收录了更多的字符,可想而知它的解析效率相比ASCII码和GB2312的速度要大大降低,而且由于Unicode通过增加一个高字节对ISO Latin-1字符集进行扩展,当这些高字节位为0时,低字节就是 ISO Latin-1字符。对可以用 ASCII 表示的字符使用Unicode并不高效,因为Unicode比 ASCII占用大一倍的空间,而对ASCII来说高字节的0对他毫无用处。为了解决这个问题,就出现了一些中间格式的字符集,他们被称为通用转换格式,即 UTF(Unicode Transformation Format)。而我们最常用的UTF-8就是这些转换格式中的一种。在这里我们不去研究UTF-8到底是如何提高效率的, 你只需要知道他们之间的关系即可。

utf-8 中文3个字节,英文1个字节

六、总结

为了处理英文字符,产生了ASCII码。
为了处理中文字符,产生了GB2312
为了处理各国字符,产生了Unicode

为了提高 Unicode 存储和传输性能,产生了 UTF-8,它是 Unicode 的一种实现形式

七、Python2 中的字符编码

Python2 中默认的字符编码是 ASCII 码,也就是说 Python 在处理数据时,只要数据没有指定它的编码类型,Python默认将其当做ASCII码来进行处 理。这个问题最直接的表现在当我们编写的python文件中包含有中文字符时,在运行时会提示出错。

#!/usr/bin/python

name = '小明';
print name;

File "test.py", line 1 SyntaxError: Non-ASCII character '\xe5' in file test.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

这个问题出现的原因是:Python2会将整个python脚本中的内容当做ASCII码去处理,当脚本中出现了中文字符,比如这里的“小明”,我们知道ASCII码是 不能够处理中文字符的,所以出现了这个错误。解决的办法是:在文件头部加入一行编码声明:

#!/usr/bin/python
# -*- encoding:utf-8 -*-
name = '小明';
print name;

这样,Python在处理这个脚本时,会用UTF-8的编码去处理整个脚本,就能够正确的解析中文字符了。

Python2中字符串有str和unicode两种类型。

八、decode() 与 encode() 方法

在 python 中,编码解码其实是不同编码系统间的转换,默认情况下,转换目标是Unicode,即编码unicode→str,解码str→unicode,其中str指的是字节流,而str.decode是将字节流str按给定的解码方式解码,并转换成utf-8形式,u.encode是将unicode类按给定的编码方式转换成字节流str。注意调用encode方法的是unicode对象,生成的是字节流;调用decode方法的是str对象(字节流),生成的是unicode对象。若str对象调用encode会默认先按系统默认编码方式decode成unicode对象再encode,忽视了中间默认的decode往往导致报错。

decode() 方法将其他编码字符转化为 Unicode 编码字符。

str.decode('gbk'); // 将gbk编码转化为Unicode编码

encode() 方法将 Unicode 编码字符转化为其他编码字符。

str.encode('utf-8'); // 将Unicode编码转化为utf-8

九、乱码问题

所谓乱码本质上是系统编码与所提供字符的编码不一致导致的。

当我们需要操作系统正确的输出一个字符时,除了要知道该字符的字符编码,也要知道自己系统所使用的字符编码。如果系统使用的是UTF-8编码, 处理的却是gb2312的字符就会出现所谓“乱码”。

Python2 的对于字符编码的转换要以 unicode 作为“中间人”进行转化。

知道自己系统的字符编码(Linux 默认 utf-8,Windows 默认 GB2312),对症下药。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据

关于作者

JSmiles

生命进入颠沛而奔忙的本质状态,并将以不断告别和相遇的陈旧方式继续下去。

0 文章
0 评论
84960 人气
更多

推荐作者

漫雪独思

文章 0 评论 0

垂暮老矣

文章 0 评论 0

鹊巢

文章 0 评论 0

萌酱

文章 0 评论 0

雨说

文章 0 评论 0

冰葑

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文