Python 中的 bytes、str 以及 unicode 区别

feiry
发布于 2020-10-4 10:24
浏览
0收藏

Python 中的 bytes、str 以及 unicode 区别-鸿蒙开发者社区

从Python发展历史谈起


Python3和Python2表示字符序列的方式有所不同。

 

  • Python3字符序列的两种表示为byte和str。前者的实例包含原始的8位值,即原始的字节;后者的实例包括Unicode字符。
  • Python2字符序列的两种表示为str和unicode。与Python3不同的是,str实例包含原始的8位值;而unicode的实例,则包含Unicode字符。

 

类型转换


把Unicode字符表示为二进制数据有许多方法。做常见的编码方式是UTF-8。但是python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换为二进制数据,就必须使用encode方法。要想把二进制数据转换成Unicode字符,则必须使用decode方法。

 

因此,在编写大型复杂的Python程序的时候,一般把编码和解码的相关操作放到最外层来做。程序核心部分使用Unicode字符类型,也就是Python3的str以及Python2的unicode,而且不要对字符编码做任何假设。这种办法既可以让程序接受多种类型的文本编码,又可以保证输出的文本信息只采用一种编码形式(最好是UTF-8),灵活性很高。

 

所以,可以编写两个辅助函数,以便对序列进行转换,使得转换后的输入数据符合开发者预期。

 

对于Python3


在Python3中,我们需要编写一个接收str或bytes,并总是返回str的方法:

def to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes):
        return bytes_or_str.decode('utf-8')
    return bytes_or_str # instance of str

 

以及一个总是返回bytes的方法:

def to_bytes(bytes_or_str):
    if isinstance(bytes_or_str, str):
        return bytes_or_str.encode('utf-8')
    return bytes_or_str # instance of bytes

 

对于Python2


在Python2中,我们需要编写一个接收str或unicode,并总是返回unicode的方法:

def to_unicode(unicode_or_str):
    if isinstance(unicode_or_str, str):
        return unicode_or_str.decode('utf-8')
    return unicode_or_str # instance of unicode

 

以及一个总是返回str的方法:

def to_str(unicode_or_str):
    if isinstance(unicode_or_str, unicode):
        return unicode_or_str.encode('utf-8')
    return unicode_or_str # instance of str

 

面临的问题


在Python中使用原始8位值与Unicode字符时,通常有两个问题需要注意。

第一个问题

第一个问题通常出现在Python2中,如果你用的是Python3,可以暂且忽略这个问题。

如果str只包含7位的ASCII字符,那么unicode和str实例似乎就成了同一种类型。

  • 可以用+操作符把str与unicode连接起来
  • 可以进行比较操作比如, ==、!=、<、>
    这些行为一位着,只处理7位的ASCII的情况下,如果某个函数接受str,那么可以给它传入unicode;如果某个函数接收unicode,也可以传入str。而在Python3中,bytes和str实例绝对不会等价,更不能进行比较,即使是空字符串也不可以,因为这是完全不同的两个类型。所以,在传入字符序列的时候必须留意其类型。

 

第二个问题

第二个问题可能会出现在Python3上,也是经常遇到的一些问题。

如果通过内置的open函数获取讴歌文件句柄,那么需要注意的是,该句柄默认会采用UTF-8编码格式来操作文件。而在Python2中,文件操作的默认格式是二进制的,这可能会导致程序出现奇怪的错误。

 

例如,现在要向文件中随机写入二进制数据,下面这个写法在Python2中不会有什么问题,但在Python3中会有异常,提示TypeError: write() argument must be str, not bytes

with open('./random.bin', 'w') as f:
    f.write(os.urandom(10))

>>> TypeError: write() argument must be str, not bytes

发生上述问题的原因是Python3给open函数添加了encode参数,而这个新参数的默认值是UTF-8。这样一来,系统就会要求开发者必须传入包含Unicode字符的str实例,而不是包含二进制数据的bytes实例。

 

为了解决这个问题,我们必须用二进制写入模式,即将原来的'w'修改为'wb',这样一来就可以同时适配Python2和Python3。从文件中读取数据的时候也会有类似的问题,解决方法与写入类似,使用'rb'模式打开文件,而不是'r'模式。

 

总结

 

  1. 在Python3中,bytes是一种包含8位值的序列,str是一种包含Unicode字符的序列。开发者不用比较操作来混合处理。
  2. 在Python2中,str是一种包含8位值的序列,unicode是一种包含Unicode字符的序列。如果str只有7位ASCII字符,那么可以进行比较运算以及连接操作。
  3. 在对输入的数据操作之前,使用辅助函数来保证字符序列的类型与开发者的期望一致。
  4. 从文件中读取二进制数据,或向其中写入二进制数据时,总应该以'rb'或'wb'等二进制模式来开启文件。

 

几个例题供参考:

 

  1. 字符串编码格式 UTF8 使用__________个字节表示一个汉字。(3
  2. 字符串编码格式 GBK 使用________个字节表示一个汉字。(2
  3. 已知字符串编码格式 utf8 使用 3 个字节表示一个汉字、1 个字节表示英语字母,那么表达式 len(‘abc 你好’)的值为_____。(5
  4. 已知字符串编码格式 utf8 使用 3 个字节表示一个汉字、1 个字节表示英语字母,那么表达式 len(‘abc 你好’.encode())的值为_____。(9

414、 已知字符串编码格式 gbk 使用 2 个字节表示一个汉字、1 个字节表示英语字母,那么表达式 len(‘abc 你 好’.encode(‘gbk’))的值为_____。(7

 

参考阅读:

《Effective Python》

 

 

分类
标签
已于2020-10-4 10:24:44修改
收藏
回复
举报
回复
    相关推荐