一、字元編碼（文字的編碼指的是字元如何使用位元組來表示組織方式）

1、ASCII

英文字母大小寫，特殊字元，數字，早期ASCII 字元編碼規定使用單位元組中低位的7個位元去編碼所有的字元（\x80以下），ASCII 擴充字符集利用了後128個字元。

2、Unicode（”\u”表示Unicode編碼）

Unicode 標準使用十六進位制數字表示（UCS-2和UCS-4），UCS-4用4個位元組（實際上只用了31位，最高位必須為0）。侷限性：對於一個位元組可以表示的字元用2個位元組浪費空間。

3、UTF-8/UTF-16

UTF-8作為 Unicode 一種實現方式，變長的字元編碼，一個字元最少用8位去表示（UTF-16同理）。
英文字元–1位元組，歐文字元–2位元組，中文–3位元組，生僻漢字4-6位元組

4、GBK/GB2312/ANSI

GB2312中國人設計的雙位元組編碼，後在GB2312的基礎上建立了GBK 編碼，GBK 收錄了27484個漢字相容 ASCII 編碼，對於英文字元用1個位元組來表示，漢字用兩個位元組來標識。

不同的國家和地區制定了不同的標準，由此產生了 GB2312、GBK、GB18030、Big5、Shift_JIS 等各自的編碼標準。這些使用多個位元組來代表一個字元的各種漢字延伸編碼方式，稱為 ANSI 編碼。在簡體中文Windows作業系統中ANSI 編碼代表 GBK 編碼，不同 ANSI 編碼之間互不相容，當資訊在國際間交流時，無法將屬於兩種語言的文字，儲存在同一段 ANSI 編碼的文字中【百度百科】。
二、編碼、解碼
編碼的過程是將字元轉換成位元組流，解碼的過程是將位元組流解析為字元

# Python 3.6預設編碼
# Python 3中字串型別是str，在記憶體中以Unicode表示一個字元對應若干個位元組。
# 如果要在網路上傳輸，或者儲存到磁碟上就需要把str變為以位元組為單位的bytes。
In [1]: import sys
In [2]: sys.getdefaultencoding()
Out[2]: 'utf-8'
# 中文編碼的範圍超過了ASCII編碼的範圍，含有中文的str可以用UTF-8編碼為bytes
# utf-8和gb系列的編碼是完全不相容的，要想互相轉換必須要通過Unicode作為媒介
In [3]: '中文'.encode('utf-8')
Out[4]: b'\xe4\xb8\xad\xe6\x96\x87'
In [4]: '中文'.encode('gb2312')
Out[4]: b'\xd6\xd0\xce\xc4'
 

標註:str和bytes的互相轉換應首選UTF-8編碼

原始碼有用到非ascii字元，-*- coding: utf-8 -*- (顯式指定指令碼字元編碼)即告訴Python直譯器按照UTF-8編碼讀取原始碼(解釋指令碼檔案時使用的編碼格式)，但不代表.py原始檔自身為UTF-8編碼，應在儲存時做選擇。

Ex1、
# 將含中文的Py原始檔儲存為ANSI格式
#-*- coding: utf-8 -*-
print("中文')
SyntaxError: (unicode error) 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte
#Py2不顯示指定utf-8編碼
SyntaxError: Non-ASCII character '\xe4' in file 1125.py on line 1

三、直譯器字元編碼
Python3 預設的直譯器字元編碼是 utf-8
Python2 在 Windows 平臺上，預設是使用 gbk 對字元進行 decode 輸出

# Py2.7
# -*- coding: utf-8 -*-
import sys
print('中文')
print('中文'.decode('utf-8'))
# 涓枃 中文
print('\xe4\xb8\xad\xe6\x96\x87')
print('\xd6\xd0\xce\xc4')
print('\xd6\xd0\xce\xc4'.decode('gbk'))
# 涓枃 中文 中文
************************
# 經編碼解碼格式不一致出現亂碼例項
>>> a="中文"
>>> a
'\xe4\xb8\xad\xe6\x96\x87'
>>> b = a.decode("utf-8")
>>> b
u'\u4e2d\u6587'
>>> c = b.encode("gbk")
>>> c
'\xd6\xd0\xce\xc4'
>>> print c
אτ
>>> print b
中文

補充：

1、Python2字串缺陷

Python2預設編碼ASCII，有兩種型別字串：str 和 unicode。
使用 ASCII 碼作為預設編碼方式，對中文處理很不友好。
把字串的牽強地分為 unicode 和 str 兩種型別，誤導開發者

# 修改Py2的預設編碼
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
>>> a = "測試"
>>> b = a.decode('GBK')
# 判斷字串否為Unicode
>>> isinstance(b,unicode)
True
>>> a
'\xe6\xb5\x8b\xe8\xaf\x95'
>>> b
u'\u5a34\u5b2d\u762f'
>>> b.decode("GBK")
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2:
# Python2對一個unicode物件執行解碼進行的隱式編碼 b.encode('ascii').decode('GBK')
# str 型別與 unicode 型別的字串混合使用時，str 型別的字串會隱式地將 str 轉換成 unicode字串

s.decode(“utf-8”, “ignore”) 忽略其中有異常的編碼，僅顯示有效的編碼
s.decode(“utf-8”, “replace”) 替換其中異常的編碼，這個相對來可能一眼就知道那些字元編碼出問題

2、Python3的改進

預設支援 unicode 字符集，文字字元和二進位制資料區分得更清晰分別用 str 和 bytes 表示
文字字元全部用 str 型別表示，str 能表示 Unicode 字符集中所有字元，
而二進位制位元組資料用一種全新的資料型別用 bytes 來表示【出處】b’字串’表示bytes物件

1. bytes 型別提供的操作和 str 一樣，支援分片、索引、基本數值運算等操作
2. str 物件擁有encode方法 bytes物件擁有decode方法，預設用 UTF-8轉換。
3. 從 bytes 到另一 bytes 必須先 decode 後才能 encode。

3、小結

"""
py3 中消除了py2中位元組碼和字串混亂的定義
str 就是字串 bytes 才是位元組碼
在 py2 中 str 是位元組碼 unicode 才是字串
"""
        py3        py2
位元組碼  bytes      str
字串  str       unicode

Python2 指令碼帶有中文字元時需要在指令碼開頭宣告能支援中文的指令碼檔案編碼；
Python2 中對同一個字串的 encode 和 decode 編碼格式需要保持一致；
Python3，bytes是位元組流bytes物件，字串是字串str物件。
Py3下獲得中文的Unicode編碼

>>> "中文".encode("unicode-escape")
b'\\u4e2d\\u6587'