【簡介】

　　最近我要解析一個數據庫中介軟體的日誌、這個中介軟體會在日誌中記錄SQL發往的後臺DB ,執行耗時，對應的SQL；中介軟體直接把SQL寫到

　　了日誌中去，並沒有對SQL進行適當的編碼轉換；理想情況下這個也不會有什麼問題，不幸的是我就面對著這種情況，client的發給中介軟體

　　的SQL有可能是"utf-8"，也有可能是"gbk",也有可能是"gb2132"；所以使用中介軟體的日誌檔案用任何一種編碼方式都不成正確的解碼它，

　　幸運的是我要做的工作只要解決出日誌中所涉及到的資料庫名和表名就行，所以我並不一定要完全解碼這個檔案。

【復現一下那個中介軟體寫日誌的大致邏輯】

以下我會用python程式碼來描述上面的情況,可以看到對於同一個檔案以不同的編碼寫入了內容

with open('proxy_backup_sql.log','bw') as user_log_hander:
    user_log_hander.write("192.186.100.10 | 0.012 | select id from tempdb.person where name='張三'; \n".encode('utf8'))
    user_log_hander.write("192.186.100.10 | 0.012 | select id from tempdb.person where name='楊白勞'; \n".encode('gbk'))

　　對於上面的情況不管你是用utf-8 還是用gbk開啟檔案它們會亂碼的、

【用什麼編碼都是不可能正常開啟這個檔案的】

 1、UTF8開啟

with open('proxy_backup_sql.log','r',encoding='utf8') as proxy_backup_log_handler:
    for line in proxy_backup_log_handler:
        print(line,end='')

Traceback (most recent call last):
  File "main.py", line 22, in <module>
    for line in proxy_backup_log_handler:
  File 
 
"/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/codecs.py", line 321, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd1 in position 142: invalid continuation byte

2、用gbk開啟

with open('proxy_backup_sql.log','r',encoding='gbk') as proxy_backup_log_handler:
    for line in proxy_backup_log_handler:
        print(line,end='')

192.186.100.10 | 0.012 | select id from tempdb.person where name='寮犱笁';
192.186.100.10 | 0.012 | select id from tempdb.person where name='楊白勞';

可以看到沒有報異常、但是這個只是巧合、gbk剛好能解碼utf8編碼下的“張三”並把它解碼成了“寮犱笁”

【latin-1 有的牛逼之處】

　　latin-1 這個字符集的牛逼之處、latin-1字符集是在ascii碼上的一個擴充套件，它把ascii碼沒有用到過的位元組碼都給編上了對應的字元，所以它能表示

　　的字元就更多了；針對單個位元組來說就沒有它不能解碼的，這個就是它的牛逼之處所在。也就是說當我們不在乎內容中多位元組碼的正確怕的情況

　　下使用latin-1字符集是不會出現解碼異常的

　　以下程式碼可以說明latin-1可以解碼任意的單個位元組

#!/usr/bin/env python3
#! -*- coding:utf8 -*-


ba = bytearray(256)
for i in range(256):
    ba[i]=i
    print("number = {0} char = {1}".format(i,ba[i:i+1].decode('latin-1'))  )

【在我們不在乎多位元組碼的情況性的情況下latin-1真的是無敵了】

　　latin-1可以解碼任意檔案如果你只是在意單位元組碼中的內容的話

#!/usr/bin/env python3
#! -*- coding:utf8 -*-

if __name__ == "__main__":
    with open('proxy_backup_sql.log','r',encoding='latin-1') as proxy_backup_log_handler:
        for line in proxy_backup_log_handler:
            print(line,end='')

　　可以看到如下的輸出

192.186.100.10 | 0.012 | select id from tempdb.person where name='å¼ ä¸';
192.186.100.10 | 0.012 | select id from tempdb.person where name='Ñî°×ÀÍ';

　　雖然是亂碼，但是絕對不會有異常發生。

---