1. 程式人生 > >Python 3 字串的編碼解碼,以及str型別、bytes型別

Python 3 字串的編碼解碼,以及str型別、bytes型別

____tz_zs

在Python 3版本中,把'xxx'和u'xxx'統一成Unicode編碼,即寫不寫字首u都是一樣的。

在Python 3版本中,所有的字串都是使用Unicode編碼的字串序列。

Python 3最重要的新特性之一是對字串和二進位制資料流做了明確的區分。文字總是 Unicode,由 str 型別表示,二進位制資料則由 bytes 型別表示。Python 3 不會以任意隱式的方式混用 str 和 bytes ,你不能拼接字串和位元組流,也無法在位元組流裡搜尋字串(反之亦然),也不能將字串傳入引數為位元組流的函式(反之亦然)。

·

# -*- coding: utf-8 -*-
"""
@author: tz_zs

"""
import sys

# 檢視預設編碼
print(sys.getdefaultencoding())  # utf-8

b = b'\xe4\xb8\xad\xe5\x9b\xbd'  # py3定義bytes使用 b = b'dfja'
print(b, type(b))  # b'\xe4\xb8\xad\xe5\x9b\xbd' <class 'bytes'>
b_decode = b.decode('utf-8')
print(b_decode, type(b_decode))  # 中國 <class 'str'>

s = '中國'  # Python3中定義的字串(str)預設就是 unicode字串
print(s, type(s))  # 中國 <class 'str'>
# s1 = s.decode("utf-8")  # AttributeError: 'str' object has no attribute 'decode' ← Python3中字串不再有decode方法

s2 = s.encode("gbk")  # 將字串(str)用 “gbk字元編碼” 編碼為 “gbk字元編碼的位元組”
print(s2, type(s2))  # b'\xd6\xd0\xb9\xfa' <class 'bytes'>
s22 = s2.decode('gbk')  # 將 “位元組串” 用 “gbk字元編碼” 解碼 為 “字串(str)”
print(s22, type(s22))  # 中國 <class 'str'>

s3 = s.encode("utf-8")
print(s3, type(s3))  # b'\xe4\xb8\xad\xe5\x9b\xbd' <class 'bytes'>
s33 = s.encode("utf-8").decode('utf-8')
print(s33, type(s33))  # 中國 <class 'str'>

·

轉載:bytes和str之間的異同

bytes和str之間的異同

回到bytesstr的身上。bytes是一種位元流,它的存在形式是01010001110這種。我們無論是在寫程式碼,還是閱讀文章的過程中,肯定不會有人直接閱讀這種位元流,它必須有一個編碼方式,使得它變成有意義的位元流,而不是一堆晦澀難懂的01組合。因為編碼方式的不同,對這個位元流的解讀也會不同,對實際使用造成了很大的困擾。下面讓我們看看Python是如何處理這一系列編碼問題的:

>>> s = "中文"
>>> s
'中文'
>>> type(s)
<class 'str'>
>>> b = bytes(s, encoding='utf-8')
>>> b
b'\xe4\xb8\xad\xe6\x96\x87'
>>> type(b)
<class 'bytes'>

從例子可以看出,s是個字串型別。Python有個內建函式bytes()可以將字串str型別轉換成bytes型別,b實際上是一串01的組合,但為了在ide環境中讓我們相對直觀的觀察,它被表現成了b'\xe4\xb8\xad\xe6\x96\x87'這種形式,開頭的b表示這是一個bytes型別。\xe4是十六進位制的表示方式,它佔用1個位元組的長度,因此”中文“被編碼成utf-8後,我們可以數得出一共用了6個位元組,每個漢字佔用3個,這印證了上面的論述。在使用內建函式bytes()的時候,必須明確encoding的引數,不可省略。

我們都知道,字串類str裡有一個encode()方法,它是從字串向位元流的編碼

過程。而bytes型別恰好有個decode()方法,它是從位元流向字串解碼的過程。除此之外,我們檢視Python原始碼會發現bytesstr擁有幾乎一模一樣的方法列表,最大的區別就是encodedecode

從實質上來說,字串在磁碟上的儲存形式也是01的組合,也需要編碼解碼。

如果,上面的闡述還不能讓你搞清楚兩者的區別,那麼記住下面兩幾句話:

  1. 在將字串存入磁碟和從磁碟讀取字串的過程中,Python自動地幫你完成了編碼和解碼的工作,你不需要關心它的過程。

  2. 使用bytes型別,實質上是告訴Python,不需要它幫你自動地完成編碼和解碼的工作,而是使用者自己手動進行,並指定編碼格式。

  3. Python已經嚴格區分了bytesstr兩種資料型別,你不能在需要bytes型別引數的時候使用str引數,反之亦然。這點在讀寫磁碟檔案時容易碰到。

在bytes和str的互相轉換過程中,實際就是編碼解碼的過程,必須顯式地指定編碼格式。

>>> b
b'\xe4\xb8\xad\xe6\x96\x87'
>>> type(b)
<class 'bytes'>
>>> s1 = str(b)
>>> s1
"b'\\xe4\\xb8\\xad\\xe6\\x96\\x87'"
>>> type(s1)
<class 'str'>
>>> s1 = str(b, encoding='utf-8')
>>> s1
'中文'
>>> type(s1)
<class 'str'>


我們再把字串s1,轉換成gbk編碼的bytes型別:

>>> s1
'中文'
>>> type(s1)
<class 'str'>
>>> b =  bytes(s1, encoding='gbk')
>>> b
b'\xd6\xd0\xce\xc4'

·

參考: