使用python批量轉換檔案編碼為UTF-8的實現
由於這兩天換了IDE,在匯入以前的工程的時候發現了一個大問題,由於以前腦殘的我不知道改編碼方式,導致出現了大量的GBK,這就很難受,要是一個兩個還好說,可是這麼多要是一個一個的改我會覺得現在的我比以前還腦殘,於是乎,我就想用python批量的修改一下,然後就產生了這篇文章,其中好多不足的地方還請大佬指導
本來一開始的思路還是比較清晰,覺得也比較簡單,天真的認為用GBK的方式讀取出檔案內容,然後UTF8寫入就好了,可是在實際的操作中我發現我就是太天真了,出現了大量的問題,比如說:
怎麼檢視檔案的編碼方式
好吧我承認就出現了這一個問題。
那麼遇到問題我們該怎麼辦呢,沒錯,Google,果然功夫不負會Google人,我看到了一個函式,就是chardet.detect()函式,當然要匯入chardet模組,也就是pip,如果是Anaconda的環境當我沒說,pip了不要打我。言歸正傳,這個函式是幹嘛用的呢?
這個函式會返回一個含有三個鍵值對的字典型別
- ‘encoding': 編碼方式
- ‘confidence': 檢測的正確率
- ‘language' : 語言
是不是看到encoding後眼前一亮,這樣取出encoding的值然後比較不知道是啥了,然後我就在一邊感嘆python的強大的第三方庫的支援一邊開始了對這個函式的測試,先建兩個txt,然後臉滾鍵盤,儲存的時候一個是UTF-8,一個是GBK,值得竹注意的是讀取方式應該是二進位制,也就是'rb',接著就是興致勃勃地Ctrl Shift F10,出現了驚人的一幕:
{'encoding': 'utf-8','confidence': 0.99,'language': ''}
看看,看看這美麗的單引號,然後直接和”utf-8”比較不就結束了,萬萬沒想到,他竟然是False,我還以為我看錯了,就瘋狂Ctrl F5,等待奇蹟的出現,功夫不負有心人,果然,奇蹟沒有出現,於是我type了一下,嗯,果然是str型別的,又試了下和”utf-8”比較不就結束了,沒錯,結果是True,你們聽我解釋,我昨天做的時候真不是這樣的,不管了,寫都寫了,按昨天的思路來吧,大家湊活看吧(不要打我),現在我們假設他是False,並且型別是NoneType,並且轉為str後是None,你們要相信我昨天真的是這樣的!
好了就這樣吧,那既然是無法比較怎麼辦呢,沒錯,拿出一開始臉滾鍵盤的那兩個測試檔案來,用他們呢讀取出的字典的值作比較不就好了(一說到這我就莫名的心痛),然後我們在想一下是把檔案編碼改為UTF-8,所以本來就是UTF-8的我們就不用管他,我都臉滾鍵盤的建測試檔案了我還在意這些細節幹嘛,不說了,難受,效果圖也不貼了,直接上程式碼你們自己看吧。。。
# coding utf-8 import os import chardet # 獲得所有java檔案的路徑,傳入根目錄路徑 def find_all_file(path: str) -> str: for root,dirs,files in os.walk(path): for f in files: if f.endswith('.java'): fullname = os.path.join(root,f) yield fullname pass pass pass # 判斷是不是utf-8編碼方式 def judge_coding(path: str) -> dict: with open('utf.txt','rb') as f: # 刪除就行 utf = chardet.detect(f.read()) # 同上 with open(path,'rb') as f: c = chardet.detect(f.read()) if c != utf: # 改為 c != 'utf-8' return c # 修改檔案編碼方式 def change_to_utf_file(path: str): for i in find_all_file(path): c = judge_coding(i) if c: change(i,c['encoding']) print("{} 編碼方式已從{}改為 utf-8".format(i,c['encoding'])) def change(path: str,coding: str): with open(path,'r',encoding=coding) as f: text = f.read() with open(path,'w',encoding='utf-8') as f: f.write(text) # 檢視所有檔案編碼方式 def check(path: str): for i in find_all_file(path): with open(i,'rb') as f: print(chardet.detect(f.read())['encoding'],': ',i) def main(): my_path = 'C:\\WorkSpace' change_to_utf_file(my_path) # check(my_path) if __name__ == '__main__': main()
到此這篇關於使用python批量轉換檔案編碼為UTF-8的實現的文章就介紹到這了,更多相關python批量轉換UTF-8內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!