常見的幾種字元編碼方式 ASCII Unicode UTF-8 GBK
在設計資料庫和網頁程式編寫的時候,經常涉及到一些編碼方式的問題,在此總結一下!
原文地址:http://blog.csdn.net/csywwx2008/article/details/17137097
常見的一些字元編碼方式無非有:Unicode、ASCII、GBK、GB2312、UTF-8。下面先對常見的這一些字元編碼方式作下說明:
1.ASCII碼
這是美國在19世紀60年代的時候為了建立英文字元和二進位制的關係時制定的編碼規範,它能表示128個字元,其中包括英文字元、阿拉伯數字、西文字元以及32個控制字元。它用一個位元組來表示具體的字元,但它只用後7位來表示字元(2^7=128),最前面的一位統一規定為0。
2.擴充套件的ASCII碼
原本的ASCII碼對於英文語言的國家是夠用了,但是歐洲國家的一些語言會有拼音,這時7個位元組就不夠用了。因此一些歐洲國家就決定,利用位元組中閒置的最高位編入新的符號。比如,法語中的é的編碼為130(二進位制10000010)。這樣一來,這些歐洲國家使 用的編碼體系,可以表示最多256個符號。但這時問題也出現了:不同的國家有不同的字母,因此,哪怕它們都使用256個符號的編碼方式,代表的字母卻不一樣。比如,130在法語編碼 中代表了é,在希伯來語編碼中卻代表了字母Gimel (ג),在俄語編碼中又會代表另一個符號。但是不管怎樣,所有這些編碼方式中,0—127表示的符號是一樣的,不一樣的只是128—255的這一段。這個問題就直接促使了Unicode編碼的產生。
3.Unicode符號集
正如上一節所說,世界上存在著多種編碼方式,同一個二進位制數字可以被解釋成不同的符號。因此,要想開啟一個文字檔案,就必須知道它的編碼方式,否則用錯誤的編碼方式解讀,就會出現亂碼。為什麼電子郵件常常出現亂碼?就是因為發信人和收信人使用的編碼方式不一樣。而Unicode就是這樣一種編碼:它包含了世界上所有的符號,並且每一個符號都是獨一無二的。比如,U+0639表示阿拉伯字母Ain,U+0041表示英語的大寫字母A,U+4E25表示漢字“嚴”。具體的符號對應表,可以查詢unicode.org,或者專門的漢字對應表 。很多人都說Unicode編碼,但其實Unicode是一個符號集(世界上所有符號的符號集),而不是一種新的編碼方式。
但是正因為Unicode包含了所有的字元,而有些國家的字元用一個位元組便可以表示,而有些國家的字元要用多個位元組才能表示出來。即產生了兩個問題:第一,如果有兩個位元組的資料,那計算機怎麼知道這兩個位元組是表示一個漢字呢?還是表示兩個英文字母呢?第二,因為不同字元需要的儲存長度不一樣,那麼如果Unicode規定用2個位元組儲存字元,那麼英文字元儲存時前面1個位元組都是0,這就大大浪費了儲存空間。
上面兩個問題造成的結果是:1)出現了unicode的多種儲存方式,也就是說有許多種不同的二進位制格式,可以用來表示unicode。2)unicode在很長一段時間內無法推廣,直到網際網路的出現。
4.UTF-8
網際網路的普及,強烈要求出現一種統一的編碼方式。UTF-8就是在網際網路上使用最廣的一種unicode的實現方式。其他實現方式還包括UTF-16和UTF-32,不過在網際網路上基本不用。重複一遍,這裡的關係是,UTF-8是Unicode的實現方式之一。
UTF-8最大的一個特點,就是它是一種變長的編碼方式。它可以使用1~4個位元組表示一個符號,根據不同的符號而變化位元組長度。
UTF-8的編碼規則很簡單,只有兩條:
1)對於單位元組的符號,位元組的第一位設為0,後面7位為這個符號的unicode碼。因此對於英語字母,UTF-8編碼和ASCII碼是相同的。
2)對於n位元組的符號(n>1),第一個位元組的前n位都設為1,第n+1位設為0,後面位元組的前兩位一律設為10。剩下的沒有提及的二進位制位,全部為這個符號的unicode碼。
5.GBK/GB2312/GB18030
GBK和GB2312都是針對簡體字的編碼,只是GB2312只支援六千多個漢字的編碼,而GBK支援1萬多個漢字編碼。而GB18030是用於繁體字的編碼。漢字儲存時都使用兩個位元組來儲存。
總的來說:
ASCII編碼:用來表示英文,它使用1個位元組表示,其中第一位規定為0,其他7位儲存資料,一共可以表示128個字元。
拓展ASCII編碼:用於表示更多的歐洲文字,用8個位儲存資料,一共可以表示256個字元
GBK/GB2312/GB18030:表示漢字。GBK/GB2312表示簡體中文,GB18030表示繁體中文。
Unicode編碼:包含世界上所有的字元,是一個字符集。
UTF-8:是Unicode字元的實現方式之一,它使用1-4個字元表示一個符號,根據不同的符號而變化位元組長度。
*如果你想了解更多關於編碼的資訊,推薦閱讀:字元編碼方式 (空閒時請再繼續研讀一下這篇文章)