刨根究底字符編碼之零——前言
前言
(圖片來自網絡)
字符編碼是計算機世界裏最基礎、最重要的一個主題之一。不過,在計算機教材中卻往往浮光掠影般地草草帶過,甚至連一本專門進行深入介紹的著作都找不到(對這一點我一直很困惑,為什麽就沒有哪位大牛對這個如此基礎、重要而又如此容易讓人困惑的主題寫一本專著予以介紹呢)。
而在編程實踐中,如果不發揚死磕到底的精神將字符編碼問題的來龍去脈、前世今生徹底搞清楚,那麽它終將會像幽靈一樣揮之不去,導致時不時地被各種與字符編碼相關的“靈異”事件折磨得死去活來。
本人正是在經受了字符編碼所帶來的種種奇葩得令人崩潰的痛苦之後,才在痛定思痛之余,最終痛下決心,誓要將它刨根究底。
字符編碼的基礎性、重要性,主要體現在它涉及面廣。向下涉及到計算機的底層技術,甚至是硬件實現;向上幾乎跟所有的操作系統、編程語言、應用程序都密切相關。
因此,要想真正搞明白字符編碼問題,必須得從計算機的基本概念——位、字節、字等等開始,再結合不同的系統環境與編程環境,進行具體分析。
類似於字符編碼這樣基礎、重要、應用廣泛而又特別容易讓人困惑的主題還有字節序(即大小端表示)、正則表達式以及浮點數實現、日期時間處理等等。其中,字節序、正則表達式跟字符編碼的關系又密切相關,尤其是字節序,直接影響字符編碼的字節序列。而由於正則表達式主要用於在字符串中查找、提取字符或子字符串,要想真正理解正則表達式,也離不開對字符編碼的深入理解。
基於此,本人準備將自己對字符編碼(包括字節序)與正則表達式進行刨根究底後的一些心得體會寫成兩個系列文章,一方面整理一下自己的思路以備忘,另一方面也真心希望能夠起到拋磚引玉的作用。
(圖片來自網絡)
下面是字符編碼系列文章將會涉及到的內容:
一、關鍵術語解釋:位、字節、字與字長、字符集、編碼、解碼、字符編碼、現代字符編碼模型
二、字符編碼的由來
三、ASCII字符編碼方案
四、擴展ASCII字符編碼方案EASCII(Extended ASCII)以及ISO/IEC 8859字符編碼方案
五、漢字編碼方案:GB2312、GBK、GB18030、GB13000、全角與半角、CJK中日韓統一表意文字
六、漢字編碼中區位碼、國標碼(交換碼)、內碼(機內碼)、外碼(輸入碼)、字形碼(輸出碼)的區別及關系
七、ANSI編碼
八、代碼頁(Code Page)、微軟與ANSI代碼頁
九、Unicode編碼方案的面世
十、Unicode字符集概述
十一、字符編碼系統(字符編碼模型)的變化、字節序
十二、Unicode字符集的編碼方式:碼點、碼元、UTF-8、UTF-16、UTF-32
十三、同樣存在多字節編碼,為什麽說UTF-8沒有字節序的問題,而UTF-16、UTF-32卻有?
十四、微軟為什麽跟聯通有仇——Windows記事本的字符編碼方式
十五、Windows記事本的四種編碼方式(ANSI、Unicode、Unicode big endian、UTF-8)有何區別?
十六、深入剖析奇葩的Python字符編碼
十七、Vim中的字符編碼
十八、Unicode常見問題解答
十九、總結
刨根究底字符編碼之零——前言