徹底搞懂Python的字元編碼
前言：中文編碼問題一直是程式設計師頭疼的問題，而Python2中的字元編碼足矣令新手抓狂。本文將盡量用通俗的語言帶大家徹底的瞭解字元編碼以及Python2和3中的各種編碼問題。
一、什麼是字元編碼。
要徹底解決字元編碼的問題就不能不去了解到底什麼是字元編碼。計算機從本質上來說只認識二進位制中的0和1，可以說任何資料在計算機中實際的物理表現形式也就是0和1，如果你將硬碟拆開，你是看不到所謂的數字0和1的，你能看到的只是一塊光滑閃亮的磁碟，如果你用足夠大的放大鏡你就能看到磁碟的表面有著無數的凹凸不平的元件，凹下去的代表0，突出的代表1，這就是計算機用來表現二進位制的方式。
1.ASCII
現在我們面臨了第一個問題：如何讓人類語言，比如英文被計算機理解？
2.GB2312
然而，雖然計算機是美國人發明的，但是全世界的人都在使用計算機。現在出現了另一個問題：如何讓中文被計算機理解？這下麻煩了，中文不像拉丁語系是由固定的字母排列組成的。ASCII 碼顯然沒辦法解決這個問題，為了解決這個問題中國國家標準總局1980年釋出《資訊交換用漢字編碼字符集》提出了GB2312編碼，用於解決漢字處理的問題。1995年又頒佈了《漢字編碼擴充套件規範》（GBK）。GBK與GB 2312—1980國家標準所對應的內碼標準相容，同時在字彙一級支援ISO/IEC10646—1和GB 13000—1的全部中、日、韓（CJK）漢字，共計20902字。這樣我們就解決了計算機處理漢字的問題了。
3.Unicode
現在英文和中文問題被解決了，但新的問題又出現了。全球有那麼多的國家不僅有英文、中文還有阿拉伯語、西班牙語、日語、韓語等等。難不成每種語言都做一種編碼？基於這種情況一種新的編碼誕生了：Unicode。Unicode又被稱為統一碼、萬國碼；它為每種語言中的每個字元設定了統一併且唯一的二進位制編碼，以滿足跨語言、跨平臺進行文字轉換、處理的要求。Unicode支援歐洲、非洲、中東、亞洲（包括統一標準的東亞象形漢字和韓國表音文字）。這樣不管你使用的是英文或者中文，日語或者韓語，在Unicode編碼中都有收錄，且對應唯一的二進位制編碼。這樣大家都開心了，只要大家都用Unicode編碼，那就不存在這些轉碼的問題了，什麼樣的字元都能夠解析了。
4.UTF-8
但是，由於Unicode收錄了更多的字元，可想而知它的解析效率相比ASCII碼和GB2312的速度要大大降低，而且由於Unicode通過增加一個高位元組對ISO Latin-1字符集進行擴充套件，當這些高位元組位為0時，低位元組就是ISO Latin-1字元。對可以用ASCII表示的字元使用Unicode並不高效，因為Unicode比ASCII佔用大一倍的空間，而對ASCII來說高位元組的0對他毫無用處。為了解決這個問題，就出現了一些中間格式的字符集，他們被稱為通用轉換格式，即UTF（Unicode Transformation Format）。而我們最常用的UTF-8就是這些轉換格式中的一種。在這裡我們不去研究UTF-8到底是如何提高效率的，你只需要知道他們之間的關係即可。
總結：
**1.為了處理英文字元，產生了ASCII碼。 2.為了處理中文字元，產生了GB2312。 3.為了處理各國字元，產生了Unicode。 4.為了提高Unicode儲存和傳輸效能，產生了UTF-8，它是Unicode的一種實現形式。**
二、Python2中的字元編碼
1.Python2中預設的字元編碼是ASCII碼，也就是說Python在處理資料時，只要資料沒有指定它的編碼型別，Python預設將其當做ASCII碼來進行處理。這個問題最直接的表現在當我們編寫的python檔案中包含有中文字元時，在執行時會提示出錯。如圖：
這個問題出現的原因是：Python2會將整個python指令碼中的內容當做ASCII碼去處理，當指令碼中出現了中文字元，比如這裡的“小明”,我們知道ASCII碼是不能夠處理中文字元的，所以出現了這個錯誤。解決的辦法是：在檔案頭部加入一行編碼宣告，如圖：
這樣，Python在處理這個指令碼時，會用UTF-8的編碼去處理整個指令碼，就能夠正確的解析中文字元了。
2.Python2中字串有str和unicode兩種型別。
上圖中展現出了Python2中字串的兩種型別：
name變數被賦予了一個字串“小明”；
unicode_name是name變數的unicode格式，這裡我們使用了decode()方法，我們會在後面的內容中詳細講解；
兩者在終端中返回了不同的位元組串，type返回了不同的資料型別，但print打印出了相同的輸出。
這裡我們注意到一個“位元組串”的名稱，位元組串是指該字串在python中的標準形式，也就是說無論一個字串是什麼樣的編碼，在python中都會有一串位元組串來進行表示。位元組串是沒有編碼的，對應的最終交給計算機處理的資料形式。
3.Python2中可以直接檢視到unicode的位元組串。
在上圖中，輸入unicode_name的返回值，是一個unicode位元組串，我們能夠直接看到這個位元組串。而在python3中，我們將不能直接看到unicode位元組串，它會被顯示為中文的“小明”；因為python3預設使用unicode編碼，unicode位元組串將被直接處理為中文顯示出來。
總結：
**1.Python2中預設的字元編碼是ASCII碼。 2.Python2中字串有str和unicode兩種型別。str有各種編碼的區別，unicode是沒有編碼的標準形式。 3.Python2中可以直接檢視到unicode的位元組串。**
三、decode()與encode()方法
前面我們說了這麼多都是為了這一節做鋪墊，現在我們開始來處理Python2中的字元編碼問題。我們首先要學習Python為我們提供的兩個轉換編碼的方法decode()與encode()。
***decode()方法將其他編碼字元轉化為Unicode編碼字元。 encode()方法將Unicode編碼字元轉化為其他編碼字元。*
話不多說，直接上圖：
chardet模組可以檢測字串編碼，沒有該模組的可以用pip install chardet安裝。
首先解釋一下為什麼name=”小明” 這裡的小明是一個utf-8編碼的字元。因為我使用的是Ubuntu14.04作業系統，系統預設的字元編碼就是UTF-8，所以當我在終端將一箇中文輸入時，系統就會自動將這個中文字元以UTF-8的編碼傳遞給Python。所以如果你的系統是windows作業系統，而大多數情況下windows的系統編碼預設是gb2312，那麼在windows下做上圖的測試“小明”這個字元就是gb2312編碼。
上圖中我們將utf-8編碼的name通過decode()方法轉換為unicode_name,然後通過encode()方法將unicode_name轉換為gb2312_name。這時我們再用print去輸出gb2312編碼的字元時缺產生了一個奇怪的輸出。這是因為我的作業系統使用的是UTF-8編碼，對於gb2312編碼的字元自然不能夠正確解析，如果我們將該gb2312的位元組串放在windows下輸出就能夠得到我們想要的中文，如圖：
所謂亂碼本質上是系統編碼與所提供字元的編碼不一致導致的，我們舉一個例子：
小明的電腦中存了一個utf-8的字母A，儲存在計算機中是1100001；
小紅的電腦中也存了一個gb2312的字母A，儲存在計算機中是11000010；
當小明與小紅交換資訊時，各自的計算機就不會把對方傳遞過來的A識別為字母A，可能認為這是字母B。
所以當我們需要作業系統正確的輸出一個字元時，除了要知道該字元的字元編碼，也要知道自己系統所使用的字元編碼。如果系統使用的是UTF-8編碼，處理的卻是gb2312的字元就會出現所謂“亂碼”。
一個Tips：
decode()方法與在字串前加u的方法實現的效果相同比如u’小明’
總結：
1.Python2的對於字元編碼的轉換要以unicode作為“中間人”進行轉化。
2.知道自己系統的字元編碼（Linux預設utf-8，Windows預設GB2312），對症下藥。
四、一個字元編碼的例子
在Linux作業系統下使用python2下獲取網易首頁的title，並以正確的中文顯示出來。
163的首頁使用的字元編碼是gb2312，而我們前面提到過Linux下的預設字元編碼為UTF-8，我們測試一下直接提取會不會出現亂碼問題。
我們發現確實提取到的title並不能正確顯示，因為網頁中已經聲明瞭它是一個gb2312的字元編碼，而我的系統中預設的字元編碼為UTF-8顯然，我必須要將title轉換為UTF-8的字元。
其實由於utf-8屬於unicode字元編碼，在Linux中我們可以直接打印出unicode編碼的字元。如：
現在我們在Windows用Python2來做另一個實驗，這次我們換成百度首頁的title：
這次我們發現網頁上的字元編碼為utf-8，那麼我在Windows下會不會出現亂碼：
所以我們再次強調：亂碼本質上是系統編碼與所提供字元的編碼不一致導致的
在Pyhon3中字元編碼有了很大改善最主要的有以下幾點：
1.Python 3的原始碼.py檔案 的預設編碼方式為UTF-8，所以在Python3中你可以不用在py指令碼中寫coding宣告，並且系統傳遞給python的字元不再受系統預設編碼的影響，統一為unicode編碼。
2.將字串和位元組序列做了區別，字串str是字串標準形式與2.x中unicode類似，bytes類似2.x中的str有各種編碼區別。bytes通過解碼轉化成str,str通過編碼轉化成bytes。
PS：有一個小問題被許多新手所困擾，我們來看一下圖片:
我們看到當一箇中文字元出現在一個list(或tuple、dict)中時，它並不會被顯示為一箇中文而是位元組串。但當該字串從list中提取出來再print時就能夠正常顯示為中文。位元組串是所有字元在python中的“本質”形態，所以你可以簡單的理解為list中呈現出的位元組串是給計算機看的。