利用python urllib庫爬取網頁，有時獲得的網頁列印或寫檔案遇到編碼問題，找了許久終於知道為什麼了。

首先利用urlopen()函式獲取網頁物件，再利用info()函式列印網頁的相關資訊，確定網頁的編碼及是否壓縮。

import urllib.request

fp = urllib.request.urlopen('http://www.sina.com')
mybytes = fp.read()
text = mybytes.decode('utf8')
print(text)

顯示編碼錯誤，剛開始，傻傻地試各種編碼，utf-8，gbk，gb2312，都不行，心裡堵得慌，是在玩我嗎？

so，開始懷疑是bug，但是有的網頁又不會出錯，這就奇怪了，最後google找到了一個解釋，說是返回的網頁資料是壓縮格式，恍然大悟，先列印網頁資訊，看一眼

gzip，網頁是壓縮後的，所以要先解壓，上程式碼

import urllib.request
import zlib

fp = urllib.request.urlopen('http://www.sina.com')
mybytes = fp.read()
decompressed_data = zlib.decompress(mybytes ,16+zlib.MAX_WBITS)
text = decompressed_data.decode('utf8')
print(text)
print(fp.info())
 

Google問題原版