python2.x 預設編碼問題
python2.x中處理中文，是一件頭疼的事情。網上寫這方面的文章，測次不齊，而且都會有點錯誤，所以在這裡打算自己總結一篇文章。
我也會在以後學習中，不斷的修改此篇部落格。
這裡假設讀者已有與編碼相關的基礎知識,本文不再再次介紹，包括什麼是utf-8，什麼是unicode，它們之間有什麼關係。
str與位元組碼
首先，我們完全不談unicode。
| 1 |
|
s是個字串，它本身儲存的就是位元組碼。那麼這個位元組碼是什麼格式的？
如果這段程式碼是在直譯器上輸入的，那麼這個s的格式就是直譯器的編碼格式，對於windows的cmd而言，就是gbk。
如果將段程式碼是儲存後才執行的，比如儲存為utf-8，那麼在直譯器載入這段程式的時候，就會將s初始化為utf-8編碼。
unicode與str
我們知道unicode是一種編碼標準，具體的實現標準可能是utf-8，utf-16，gbk ……
python 在內部使用兩個位元組來儲存一個unicode，使用unicode物件而不是str的好處，就是unicode方便於跨平臺。
你可以用如下兩種方式定義一個unicode:
| 1 2 |
) |
encode與decode
在python中的編碼解碼是這樣的：
所以我們可以寫這樣的程式碼：
| 1 2 3 4 5 6 7 8 9 |
|
但是事實情況要比這個複雜，比如看如下程式碼：
| 1 2 |
|
看！str也能編碼，(事實上unicode物件也能解碼，但是意義不大)
這樣為什麼可以？看上圖的編碼流程的箭頭，你就能想到原理，當對str進行編碼時，會先用預設編碼將自己解碼為unicode，然後在將unicode編碼為你指定編碼。
這就引出了python2.x中在處理中文時，大多數出現錯誤的原因所在：python的預設編碼，defaultencoding是ascii
看這個例子：
| 1 2 3 |
|
上面的程式碼會報錯，錯誤資訊：UnicodeDecodeError: ‘ascii' codec can't decode byte ……
因為你沒有指定defaultencoding,所以它其實在做這樣的事情:
| 1 2 3 |
|
設定defaultencoding
設定defaultencoding的程式碼如下：
| 1 2 |
|
如果你在python中進行編碼和解碼的時候，不指定編碼方式，那麼python就會使用defaultencoding。
比如上一節例子中將str編碼為另一種格式，就會使用defaultencoding。
| 1 |
|
再比如你使用str建立unicode物件時，如果不說明這個str的編碼格式，那麼程式也會使用defaultencoding。
| 1 |
|
預設的defaultcoding：ascii是許多錯誤的原因，所以早早的設定defaultencoding是一個好習慣。
檔案頭宣告編碼的作用。
這要感謝這篇部落格關於python檔案頭部分知識的講解。
頂部的:# -*- coding: utf-8 -*-目前看來有三個作用。
如果程式碼中有中文註釋，就需要此宣告
比較高階的編輯器（比如我的emacs），會根據頭部宣告，將此作為程式碼檔案的格式。
程式會通過頭部宣告，解碼初始化 u”人生苦短”，這樣的unicode物件，（所以頭部宣告和程式碼的儲存格式要一致）
關於requests庫
requests是一個很實用的Python HTTP客戶端庫，編寫爬蟲和測試伺服器響應資料時經常會用到。
其中的Request物件在訪問伺服器後會返回一個Response物件，這個物件將返回的Http響應位元組碼儲存到content屬性中。
但是如果你訪問另一個屬性text時，會返回一個unicode物件，亂碼問題就會常常發成在這裡。
因為Response物件會通過另一個屬性encoding來將位元組碼編碼成unicode，而這個encoding屬性居然是responses自己猜出來的。
官方文件：
text
Content of the response, in unicode.
If Response.encoding is None, encoding will be guessed using chardet.
The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.
所以要麼你直接使用content(位元組碼)，要麼記得把encoding設定正確，比如我獲取了一段gbk編碼的網頁,就需要以下方法才能得到正確的unicode。
| 1 2 3 4 5 6 |
|
不僅僅要原理，更要使用方法！
如果是早期的我寫部落格，那麼我一定會寫這樣的例子：
如果現在的檔案編碼為gbk,然後檔案頭為：# -*- coding: utf-8 -*-，再將預設編碼設定為xxx，那麼如下程式的結果會是……
這就類似於，當年學c的時候，用各種優先順序，結合性，指標來展示自己水平的程式碼。
實際上這些根本就不實用，誰會在真正的工作中寫這樣的程式碼呢？我在這裡想談談實用的處理中文的python方法。
基本設定
主動設定defaultencoding。（預設的是ascii）
程式碼檔案的儲存格式要與檔案頭部的# coding:xxx一致
如果是中文，程式內部儘量使用unicode，而不用str
關於列印
你在列印str的時候，實際就是直接將位元組流傳送給shell。如果你的位元組流編碼格式與shell的編碼格式不相同，就會亂碼。
而你在列印unicode的時候，系統自動將其編碼為shell的編碼格式，是不會出現亂碼的。
程式內外要統一
如果說程式內部要保證只用unicode，那麼在從外部讀如位元組流的時候，一定要將這些位元組流轉化為unicode，在後面的程式碼中去處理unicode，而不是str。
| 1 2 3 4 5 |
|
如果把連線程式內外的這段資料流比喻成通道的的話，那麼與其將通道開為位元組流，讀入後進行解碼，不如直接將通道開為unicode的。
| 1 2 3 4 5 |
|
所以python處理中文編碼問題的關鍵是你要清晰的明白，自己在幹什麼，打算讀入什麼格式的編碼，宣告的的這些位元組是什麼格式的，str到unicode是如何轉換的，str的一種編碼到另一種編碼又是如何進行的。 還有，你不能把問題變得混亂，要自己主動去維護一種統一。
python 3和2很大區別就是python本身改為預設用unicode編碼。
字串不再區分"abc"和u"abc", 字串"abc"預設就是unicode，不再代表本地編碼、
由於有這種內部編碼，像c#和java類似，再沒有必要在語言環境內做類似設定編碼，比如“sys.setdefaultencoding”;
也因此也python 3的程式碼和包管理上打破了和2.x的相容。2.x的擴充套件包要適應這種情況改寫。
另一個問題是語言環境內只有unicode怎麼輸出gbk之類的本地編碼。
1.如果你在Python中進行編碼和解碼的時候，不指定編碼方式，那麼python就會使用defaultencoding。 而python2.x的的defaultencoding是ascii,
這也就是大多數python編碼報錯：“UnicodeDecodeError: 'ascii' codec can't decode byte ......”的原因。
2.關於頭部的# coding：utf-8,有以下幾個作用 2.1如果程式碼中有中文註釋，就需要此宣告 2.2比較高階的編輯器（比如我的emacs），會根據頭部宣告，將此作為程式碼檔案的格式。 2.3程式會通過頭部宣告，解碼初始化 u"人生苦短"，這樣的unicode物件，（所以頭部宣告和程式碼的儲存格式要一致）
python2.7以後不用setdefaultencoding了，這兩個是沒有區別的
這兩個作用不一樣, 1. # coding:utf-8 作用是定義原始碼的編碼. 如果沒有定義, 此原始碼中是不可以包含中文字串的. PEP 0263 -- Defining Python Source Code Encodings https://www.python.org/dev/peps/pep-0263/ 2. sys.getdefaultencoding() 是設定預設的string的編碼格式
答按慣例都在(序列化)輸出時才轉換成本地編碼。