Python中轉碼錯誤遇到 illegal multibyte sequence
阿新 • • 發佈:2019-02-17
當呼叫如下語句:
re_data = re_data.decode('gbk') #re_data 是#-*- coding: cp936 -*-型別字串,即gbk編碼
如果字串中有非法字元,有時會報錯,丟擲如下異常:
'gbk' codec can't decode bytes in position 19566-19567: illegal multibyte sequence
解決思路,把相應的非法字元刪掉。一個字串中可能會多次遇到非法字元,所以用了遞迴。如下為轉碼函式:
def transformCodec(re_data):#ascii (gbk) 轉 unicode try: re_data = re_data.decode('gbk') except Exception as error: print error print 'delete illegal string,try again...' pos = re.findall(r'decodebytesinposition([\d]+)-([\d]+):illegal',str(error).replace(' ','')) if len(pos)==1: re_data = re_data[0:int(pos[0][0])]+re_data[int(pos[0][1]):] re_data = transformCodec(re_data) return re_data return re_data
呼叫:
re_data = transformCodec(re_data) #轉碼
可能方法比較笨,如果誰有更好的方法,歡迎留言告知。