python字符编码与转码

中文字符编码

为了处理汉字,程序员设计了用于简体中文的GB2312和用于繁体中文的big5。
GB2312(1980年)一共收录了7445个字符,包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。
GB2312 支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的 GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030,对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。
从ASCII、GB2312、GBK 到GB18030,这些编码方法是向下兼容的,即同一个字符在这些方案中总是有相同的编码,后面的标准支持更多的字符。在这些编码中,英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼,GB2312、GBK到GB18030都属于双字节字符集 (DBCS)。
有的中文Windows的缺省内码还是GBK,可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符,普通人是很难用到的,通常我们还是用GBK指代中文Windows内码。

python编码转换

在python2默认编码是ASCII, python3里默认是unicode
unicode 分为 utf-32(占4个字节),utf-16(占两个字节),utf-8(占1-4个字节), so utf-16就是现在最常用的unicode版本, 不过在文件里存的还是utf-8,因为utf8省空间
在py3中encode,在转码的同时还会把string 变成bytes类型,decode在解码的同时还会把bytes变回string

python2 实例

#!/usr/bin/env python
#coding:utf-8

test = '你好' #utf-8

#转换成unicode
test_to_unicode = test.decode("UTF-8")
print type(test_to_unicode)
print test_to_unicode

#转换成gbk,必须先转成unicode,再转成gbk
test_to_gbk = test.decode("UTF-8").encode("gbk")
print test_to_gbk

#从gbk转成utf-8,必须先转成unicode,再转成utf-8
gbk_to_utf8=test_to_gbk.decode("gbk").encode("utf-8")
print gbk_to_utf8

####
#前面加u,声明成unicode
s=u"他好我也好"
print s

python3 实例

#python3默认unicode
s = "你好"

#转换成gbk
s_to_gbk=s.encode("gbk")
print(s_to_gbk)

#括号里为空,默认转为utf-8
s_to_utf8 = s.encode()
print(s_to_utf8)

#gbk转成utf-8,和Python2一样先转成unicode,再转成utf-8
gbk_to_utf8=s_to_gbk.decode("gbk").encode("utf-8")
print(gbk_to_utf8)

发表评论

电子邮件地址不会被公开。 必填项已用*标注