python2.7 編碼問題整理
本文轉自:http://www.cnblogs.com/fnng/p/5008884.html。
不能不說,蟲師的blog文章質量非常值得借鑒,通篇讀下來,解決了許多的問題。
鑒於良好的收藏習慣,轉載到此。以後有什麽自己的體會,也可以直接修改編輯。
-------------------------------------------------------------------------------------------
0. 認識常見編碼
GB2312是中國規定的漢字編碼,也可以說是簡體中文的字符集編碼
GBK 是 GB2312的擴展 ,除了兼容GB2312外,它還能顯示繁體中文,還有日文的假名
cp936:中文本地系統是Windows中的cmd,默認codepage是CP936,cp936就是指系統裏第936號編碼格式,即GB2312的編碼。
(當然有其它編碼格式:cp950 繁體中文、cp932 日語、cp1250 中歐語言。。。)
Unicode是國際組織制定的可以容納世界上所有文字和符號的字符編碼方案。UTF-8、UTF-16、UTF-32都是將數字轉換到程序數據的編碼方案。
UTF-8 (8-bit Unicode Transformation Format)是最流行的一種對 Unicode 進行傳播和存儲的編碼方式。它用不同的 bytes 來表示每一個代碼點。ASCII 字符每個只需要用一個 byte ,與 ASCII 的編碼是一樣的。所以說 ASCII 是 UTF-8 的一個子集。
在開發Python程序的過程中,會涉及到三個方面的編碼:
- Python程序文件的編碼
- Python程序運行時環境(IDE)的編碼
- Python程序讀取外部文件、網頁的編碼
Python程序文件的編碼
例如:
Python2自帶的IDE,當創建了一個文件保存的時候提示:
這是因為Python2編輯器默認的編碼是ASCII,它是無法識別中文的,所以會彈出這樣的提示。這也是我們在大多情況下寫python2程序的時候習慣在程序的第一行加上:#coding=utf-8
其實,這裏的編碼文件是很容易解決的。
Python程序運行時環境(IDE)的編碼
執行下面的一段程序。
#coding=utf-8
from selenium import webdriver
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
# 返回百度頁面底部備案信息
text = driver.find_element_by_id("cp").text
print(text)
driver.close()
在windows cmd下執行:
我們要獲取的信息是:
?2015 Baidu 使用百度前必讀 意見反饋 京ICP證030173號
Windows cmd 用的是cp936,也就是中文的GB2312,在GBK的字符集裏沒有“?”,這就導致通過GBK解析的時候出現編碼問題。
這就像你在翻譯英文的時候,出現了一個單詞,這個單詞你查遍了牛津大詞典都沒找到對應的含義解釋,那麽自然是會有問題的。
那假設,我還就想在cmd下執行這個python程序了,那麽可以去修改cmd的默認編碼類型為utf-8,對應的編碼為CHCP 65001(utf-8)。在cmd 下輸入:chcp 65001 命令回車。
然後,修改cmd的字體為“Lucida Console”,再來執行程序就可以被正確輸出了。
Python程序讀取外部文件、網頁的編碼
#這一塊,暫時沒有找到合適的例子
查看Python系統編碼
查看Python2 或Python3的系統編碼。
Python2:
Python 2.7.10 (default, May 23 2015, 09:40:32) [MSC v.1500 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> import sys
>>> sys.getdefaultencoding()
‘ascii‘
Python3:
Python 3.5.0 (v3.5.0:374f501f4567, Sep 13 2015, 02:27:37) [MSC v.1900 64 bit (AMD64)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> import sys
>>> sys.getdefaultencoding()
‘utf-8‘
那麽如何修改Python2的系統編碼為urf-8呢?
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
所以,在你的程序執行的過程中,遇到下面的報錯信息時。
UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1....
可以將上面的三行代碼加到Python程序的頭部。
decode()與encode()
- decode 的作用是將其他編碼的字符串轉換成 Unicode 編碼,eg name.decode(“GB2312”),表示將GB2312編碼的字符串name轉換成Unicode編碼。
- encode 的作用是將Unicode編碼轉換成其他編碼的字符串,eg name.encode(”GB2312“),表示將GB2312編碼的字符串name轉換成GB2312編碼。
例如,前面獲取百度底部信息的例子。我還可以通過decode()與encode()來解決:
#coding=utf-8
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://www.baidu.com")
# 返回百度頁面底部備案信息
text = driver.find_element_by_id("cp").text
text2 = text.encode("gbk","ignore").decode("gbk")
print(text2)
這裏通過encode()將Unicode編碼轉換成gbk編碼,在轉換的過程中通過“ignore”忽略掉gbk不能識別的字符(?),然後再把gbk轉換成Unicode編碼。當然,這並不是一種完美的方式,畢竟犧牲部分字符串。
chardet模塊
chardet是一個非常優秀的編碼識別模塊。
通過pip 安裝:
>pip install chardet
使用:
>>> from chardet import detect
>>> a = "中文"
>>> detect(a)
{‘confidence‘: 0.682639754276994, ‘encoding‘: ‘KOI8-R‘}
大概有68%的把握為KOI8-R編碼類型。
python2.7 編碼問題整理