原理：

如果***type(text) is bytes***，
那麼text.decode('unicode_escape')

如果type(text) is str，
那麼text.encode(‘latin1’).decode(‘unicode_escape’)

1. 案例：

*

#coding=utf-8
import requests,re,json,traceback
from  bs4 import  BeautifulSoup

def qiushibaike():
    content = requests.get('http://baike.baidu.com/city/api/citylemmalist?type=0&cityId=360&offset=1&limit=60'
 
).content

    soup = BeautifulSoup(content, 'html.parser')
    print(soup.prettify())  #.decode("unicode_escape")
    #目前soup.prettify()為str
    new=soup.prettify().encode('latin-1').decode('unicode_escape')
    #.dencode('latin-1').encode('latin-1').decode('unicode_escape')

    print(new)


if __name__=='__main__'
 
:
    qiushibaike()

2. 結果對比：

案例2，\xe5\x8f\xa4\xe8\xbf\xb9編碼

\xe5\x8f\xa4\xe8\xbf\xb9編碼處理

userInputTag=["\xe5\x8f\xa4\xe8\xbf\xb9","\xe5\xbb\xba\xe7\xad\x91"]
print(userInputTag[0].encode('latin-1').decode('utf-8'))

結果：

古蹟

完成轉化

出現GBK無法編譯

另外爬取時，網站程式碼出現GBK無法編譯python3,如出現如下：

<h1
 
>ÖйúÉÙÊýÃñ×åÌØÉ«´åÕ¯[6]</h1>

示例：

#coding=utf-8
import requests
#共有6頁,首頁為空不為6
for i in range(6):
    if i==0:
        url='http://www.tcmap.com.cn/list/zhongguoshaoshuminzutesecunzhai.html'

    else:
        url='http://www.tcmap.com.cn/list/zhongguoshaoshuminzutesecunzhai'+str(i)+'.html'
    response=requests.get(url)
    print(type(response))
   #如需成功編譯，在.TEXT下面增加#號部分 
    html=response.text   #.encode('latin-1').decode('GBK')
    print(html)

檔案讀寫操作codecs.open

python 檔案讀寫時用open還是codecs.open
案例：當我們需要寫入到TXT中的過程中
代替這繁瑣的操作就是codecs.open，例如

import codecs
fw = codecs.open(‘test1.txt’,’a’,’utf-8’)
fw.write(line2)

不會報錯，說明寫入成功。這種方法可以指定一個編碼開啟檔案，使用這個方法開啟的檔案讀取返回的將是unicode。寫入時，如果引數 是unicode，則使用open()時指定的編碼進行編碼後寫入；如果是str，則先根據原始碼檔案宣告的字元編碼，解碼成unicode後再進行前述 操作。相對內建的open()來說，這個方法比較不容易在編碼上出現問題。