各種字元編碼詳解(ascii,utf-8,unicode,gbk,gb2312,iso8859-1等)
阿新 • • 發佈：2019-01-03
1. ASCII
我們需要了解的最早編碼是ASCII碼。它用7個二進位制位來表示，由於那個時期生產的大多數計算機使用8位大小的位元組，因此使用者不僅可以存放所有可能的ASCII字元，而且有整整一位空餘下來。如果你技藝高超，可以將該位用做自己離奇的目的：WordStar中那個發暗的燈泡實際上設定這個高位，以指示一個單詞中的最後一個字母，同時這也宣示了WordStar只能用於英語文字。
由於位元組有多達8位的空間，因此許多人在想：“呀！我們可以把128~255之間的編碼用做個人的應用目的。”問題在於，同時產生這種想法的人相當多，而且在128~255之間的各個位置上應該存放什麼這一問題上，真是仁者見仁智者見智。事實上，只要人們開始在美國以外的地方購買計算機，那麼各種各樣的不同OEM字符集都會進入規劃設計行列，並且各人都會根據自己的需要使用高位的128個字元。如此一來，甚至在同語種的文件之間就不容易實現互換。 ASCII可被擴充套件，最優秀的擴充套件方案是ISO 8859-1，通常稱之為Latin-1。Latin-1包括了足夠的附加字符集來寫基本的西歐語言。
最後，這個人人蔘與的OEM終於以ANSI標準的形式形成檔案。在ANSI標準中，每個人都認同如何使用低端的128個編碼，這與ASCII相當一致。不過，根據所在國籍的不同，處理編碼128以上的字元有許多不同的方式。這些不同的系統稱為內碼表。
同時，甚至更為令人頭疼的事情正在逐步上演，亞洲國家的字元表有成千上萬個字元，這樣的字元表是用8位二進位制無法表示的。該問題的解決通常有賴於稱為DBCS（double byte character set，雙位元組字符集）的繁雜字元系統。
不過，仍然需要指出一點，多數人還是姑且認為一個位元組就是一個字元，以及一個字元就是8個二進位制位，並且只要確保不將字串從一臺計算機移植到另一臺計算機，或者說一種以上的語言，那麼這幾乎總是可以湊合。當然，只要一進入Internet，從一臺計算機向另一臺計算機移植字串就成為家常便飯了，而各種複雜狀況也隨之呈現出來。令人欣慰的是，Unicode隨即問世了。
2.iso8859-1
屬於單位元組編碼，最多能表示的字元範圍是0-255，應用於英文系列。比如，字母'a'的編碼為0x61=97。
很明顯，iso8859-1編碼表示的字元範圍很窄，無法表示中文字元。但是，由於是單位元組編碼，和計算機最基礎的表示單位一致，所以很多時候，仍舊使用iso8859-1編碼來表示。而且在很多協議上，預設使用該編碼。比如，雖然"中文"兩個字不存在iso8859-1編碼，以gb2312編碼為例，應該是"d6d0 cec4"兩個字元，使用iso8859-1編碼的時候則將它拆開為4個位元組來表示："d6 d0 ce c4"（事實上，在進行儲存的時候，也是以位元組為單位處理的）。而如果是UTF編碼，則是6個位元組"e4 b8 ad e6 96 87"。很明顯，這種表示方法還需要以另一種編碼為基礎。
3. GB碼
全稱是GB2312-80《資訊交換用漢字編碼字符集基本集》，1980年釋出，是中文資訊處理的國家標準，在大陸及海外使用簡體中文的地區（如新加坡等）是強制使用的唯一中文編碼。P-Windows3.2和蘋果OS就是以GB2312為基本漢字編碼， Windows 95/98則以GBK為基本漢字編碼、但相容支援GB2312。
雙位元組編碼
範圍：A1A1~FEFE
A1-A9：符號區，包含682個符號
B0-F7：漢字區，包含6763個漢字
4.GB2312
GB2312(1980年)一共收錄了7445個字元，包括6763個漢字和682個其它符號。漢字區的內碼範圍高位元組從B0-F7，低位元組從 A1-FE，佔用的碼位是72*94=6768。其中有5個空位是D7FA-D7FE。GB2312-80中共收錄了7545個字元，用兩個位元組編碼一個字元。每個字元最高位為0。GB2312-80編碼簡稱國標碼。
GB2312支援的漢字太少。1995年的漢字擴充套件規範GBK1.0收錄了21886個符號，它分為漢字區和圖形符號區。漢字區包括21003個字元。
5. GB12345-90
1990年制定了繁體字的編碼標準GB12345-90《資訊交換用漢字編碼字符集第一輔助集》，目的在於規範必須使用繁體字的各種場合，以及古籍整理等。該標準共收錄6866個漢字（比GB2312多103個字，其它廠商的字型檔大多不包括這些字），純繁體的字大概有2200餘個。
雙位元組編碼
範圍：A1A1~FEFE
A1-A9：符號區，增加豎排符號
B0-F9：漢字區，包含6866個漢字
6.GBK
GBK編碼(Chinese Internal Code Specification)是中國大陸制訂的、等同於UCS的新的中文編碼擴充套件國家標準。gbk編碼能夠用來同時表示繁體字和簡體字，而gb2312只能表示簡體字，gbk是相容gb2312編碼的。GBK工作小組於1995年10月，同年12月完成GBK規範。該編碼標準相容GB2312，共收錄漢字21003個、符號883個，並提供1894個造字碼位，簡、繁體字融於一庫。Windows95/98簡體中文版的字型檔表層編碼就採用的是GBK，通過GBK與UCS之間一一對應的碼錶與底層字型檔聯絡。
英文名：Chinese Internal Code Specification
中文名：漢字內碼擴充套件規範1.0版
雙位元組編碼，GB2312-80的擴充，在碼位上和GB2312-80相容
範圍：8140~FEFE（剔除xx7F）共23940個碼位
包含21003個漢字，包含了ISO/IEC 10646-1中的全部中日韓漢字
7. BIG5編碼
是目前臺灣、香港地區普遍使用的一種繁體漢字的編碼標準，包括440個符號，一級漢字5401個、二級漢字7652個，共計13060個漢字。BIG5又稱大五碼或五大碼，1984年由臺灣財團法人資訊工業策進會和五間軟體公司巨集碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大眾 (FIC)創立，故稱大五碼。Big5碼的產生，是因為當時臺灣不同廠商各自推出不同的編碼，如倚天碼、IBM PS55、王安碼等，彼此不能相容；另一方面，臺灣政府當時尚未推出官方的漢字編碼，而中國大陸的GB2312編碼亦未有收錄繁體中文字。
Big5字符集共收錄13,053箇中文字，該字符集在中國臺灣使用。耐人尋味的是該字符集重複地收錄了兩個相同的字：“兀”(0xA461及0xC94A)、“嗀”(0xDCD1及0xDDFC)。
Big5碼使用了雙位元組儲存方法，以兩個位元組來編碼一個字。第一個位元組稱為“高位位元組”，第二個位元組稱為“低位位元組”。高位位元組的編碼範圍0xA1-0xF9，低位位元組的編碼範圍0x40-0x7E及0xA1-0xFE。
儘管Big5碼內包含一萬多個字元，但是沒有考慮社會上流通的人名、地名用字、方言用字、化學及生物科等用字，沒有包含日文平假名及片假字母。
例如臺灣視“著”為“著”的異體字，故沒有收錄“著”字。康熙字典中的一些部首用字(如“亠”、“疒”、“辵”、“癶”等)、常見的人名用字(如“堃”、“煊”、“栢”、“喆”等) 也沒有收錄到Big5之中。
8.UTF-8
UTF:UCS Transformation Format.考慮到unicode編碼不相容iso8859-1編碼，而且容易佔用更多的空間：因為對於英文字母，unicode也需要兩個位元組來表示。所以unicode不便於傳輸和儲存。因此而產生了utf編碼，utf編碼相容iso8859-1編碼，同時也可以用來表示所有語言的字元，不過，utf編碼是不定長編碼，每一個字元的長度從1-6個位元組不等。另外，utf編碼自帶簡單的校驗功能。一般來講，英文字母都是用一個位元組表示，而漢字使用三個位元組。
注意，雖然說utf是為了使用更少的空間而使用的，但那只是相對於unicode編碼來說，如果已經知道是漢字，則使用GB2312/GBK無疑是最節省的。不過另一方面，值得說明的是，雖然utf編碼對漢字使用3個位元組，但即使對於漢字網頁，utf編碼也會比unicode編碼節省，因為網頁中包含了很多的英文字元。
UTF8編碼後的大小是不一定,例如一個英文字母"a" 和 一個漢字 "好"，編碼後佔用的空間大小就不樣了，前者是一個位元組，後者是三個位元組！編碼的方法是從低位到高位。黃色為標誌位其它著色為了顯示其，編碼後的位置。
9.Unicode
Unicode字符集（簡稱為UCS）,國際標準組織於1984年4月成立ISO/IEC JTC1/SC2/WG2工作組，針對各國文字、符號進行統一性編碼。1991年美國跨國公司成立Unicode Consortium，並於1991年10月與WG2達成協議，採用同一編碼字集。目前Unicode是採用16位編碼體系，其字符集內容與ISO10646的BMP（Basic Multilingual Plane）相同。Unicode於1992年6月通過DIS（Draf International Standard），目前版本V2.0於1996公佈，內容包含符號6811個，漢字20902個，韓文拼音11172個，造字區6400個，保留20249個，共計65534個。Unicode編碼後的大小是一樣的.例如一個英文字母 "a" 和 一個漢字 "好"，編碼後都是佔用的空間大小是一樣的，都是兩個位元組！
Unicode可以用來表示所有語言的字元，而且是定長雙位元組（也有四位元組的）編碼，包括英文字母在內。所以可以說它是不相容iso8859-1編碼的，也不相容任何編碼。不過，相對於iso8859-1編碼來說，uniocode編碼只是在前面增加了一個0位元組，比如字母'a'為"00 61"。
需要說明的是，定長編碼便於計算機處理（注意GB2312/GBK不是定長編碼），而unicode又可以用來表示所有字元，所以在很多軟體內部是使用unicode編碼來處理的，比如java。
我們需要了解的最早編碼是ASCII碼。它用7個二進位制位來表示，由於那個時期生產的大多數計算機使用8位大小的位元組，因此使用者不僅可以存放所有可能的ASCII字元，而且有整整一位空餘下來。如果你技藝高超，可以將該位用做自己離奇的目的：WordStar中那個發暗的燈泡實際上設定這個高位，以指示一個單詞中的最後一個字母，同時這也宣示了WordStar只能用於英語文字。
由於位元組有多達8位的空間，因此許多人在想：“呀！我們可以把128~255之間的編碼用做個人的應用目的。”問題在於，同時產生這種想法的人相當多，而且在128~255之間的各個位置上應該存放什麼這一問題上，真是仁者見仁智者見智。事實上，只要人們開始在美國以外的地方購買計算機，那麼各種各樣的不同OEM字符集都會進入規劃設計行列，並且各人都會根據自己的需要使用高位的128個字元。如此一來，甚至在同語種的文件之間就不容易實現互換。 ASCII可被擴充套件，最優秀的擴充套件方案是ISO 8859-1，通常稱之為Latin-1。Latin-1包括了足夠的附加字符集來寫基本的西歐語言。
最後，這個人人蔘與的OEM終於以ANSI標準的形式形成檔案。在ANSI標準中，每個人都認同如何使用低端的128個編碼，這與ASCII相當一致。不過，根據所在國籍的不同，處理編碼128以上的字元有許多不同的方式。這些不同的系統稱為內碼表。
同時，甚至更為令人頭疼的事情正在逐步上演，亞洲國家的字元表有成千上萬個字元，這樣的字元表是用8位二進位制無法表示的。該問題的解決通常有賴於稱為DBCS（double byte character set，雙位元組字符集）的繁雜字元系統。
不過，仍然需要指出一點，多數人還是姑且認為一個位元組就是一個字元，以及一個字元就是8個二進位制位，並且只要確保不將字串從一臺計算機移植到另一臺計算機，或者說一種以上的語言，那麼這幾乎總是可以湊合。當然，只要一進入Internet，從一臺計算機向另一臺計算機移植字串就成為家常便飯了，而各種複雜狀況也隨之呈現出來。令人欣慰的是，Unicode隨即問世了。
2.iso8859-1
屬於單位元組編碼，最多能表示的字元範圍是0-255，應用於英文系列。比如，字母'a'的編碼為0x61=97。
很明顯，iso8859-1編碼表示的字元範圍很窄，無法表示中文字元。但是，由於是單位元組編碼，和計算機最基礎的表示單位一致，所以很多時候，仍舊使用iso8859-1編碼來表示。而且在很多協議上，預設使用該編碼。比如，雖然"中文"兩個字不存在iso8859-1編碼，以gb2312編碼為例，應該是"d6d0 cec4"兩個字元，使用iso8859-1編碼的時候則將它拆開為4個位元組來表示："d6 d0 ce c4"（事實上，在進行儲存的時候，也是以位元組為單位處理的）。而如果是UTF編碼，則是6個位元組"e4 b8 ad e6 96 87"。很明顯，這種表示方法還需要以另一種編碼為基礎。
3. GB碼
全稱是GB2312-80《資訊交換用漢字編碼字符集基本集》，1980年釋出，是中文資訊處理的國家標準，在大陸及海外使用簡體中文的地區（如新加坡等）是強制使用的唯一中文編碼。P-Windows3.2和蘋果OS就是以GB2312為基本漢字編碼， Windows 95/98則以GBK為基本漢字編碼、但相容支援GB2312。
雙位元組編碼
範圍：A1A1~FEFE
A1-A9：符號區，包含682個符號
B0-F7：漢字區，包含6763個漢字
4.GB2312
GB2312(1980年)一共收錄了7445個字元，包括6763個漢字和682個其它符號。漢字區的內碼範圍高位元組從B0-F7，低位元組從 A1-FE，佔用的碼位是72*94=6768。其中有5個空位是D7FA-D7FE。GB2312-80中共收錄了7545個字元，用兩個位元組編碼一個字元。每個字元最高位為0。GB2312-80編碼簡稱國標碼。
GB2312支援的漢字太少。1995年的漢字擴充套件規範GBK1.0收錄了21886個符號，它分為漢字區和圖形符號區。漢字區包括21003個字元。
5. GB12345-90
1990年制定了繁體字的編碼標準GB12345-90《資訊交換用漢字編碼字符集第一輔助集》，目的在於規範必須使用繁體字的各種場合，以及古籍整理等。該標準共收錄6866個漢字（比GB2312多103個字，其它廠商的字型檔大多不包括這些字），純繁體的字大概有2200餘個。
雙位元組編碼
範圍：A1A1~FEFE
A1-A9：符號區，增加豎排符號
B0-F9：漢字區，包含6866個漢字
6.GBK
GBK編碼(Chinese Internal Code Specification)是中國大陸制訂的、等同於UCS的新的中文編碼擴充套件國家標準。gbk編碼能夠用來同時表示繁體字和簡體字，而gb2312只能表示簡體字，gbk是相容gb2312編碼的。GBK工作小組於1995年10月，同年12月完成GBK規範。該編碼標準相容GB2312，共收錄漢字21003個、符號883個，並提供1894個造字碼位，簡、繁體字融於一庫。Windows95/98簡體中文版的字型檔表層編碼就採用的是GBK，通過GBK與UCS之間一一對應的碼錶與底層字型檔聯絡。
英文名：Chinese Internal Code Specification
中文名：漢字內碼擴充套件規範1.0版
雙位元組編碼，GB2312-80的擴充，在碼位上和GB2312-80相容
範圍：8140~FEFE（剔除xx7F）共23940個碼位
包含21003個漢字，包含了ISO/IEC 10646-1中的全部中日韓漢字
7. BIG5編碼
是目前臺灣、香港地區普遍使用的一種繁體漢字的編碼標準，包括440個符號，一級漢字5401個、二級漢字7652個，共計13060個漢字。BIG5又稱大五碼或五大碼，1984年由臺灣財團法人資訊工業策進會和五間軟體公司巨集碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大眾 (FIC)創立，故稱大五碼。Big5碼的產生，是因為當時臺灣不同廠商各自推出不同的編碼，如倚天碼、IBM PS55、王安碼等，彼此不能相容；另一方面，臺灣政府當時尚未推出官方的漢字編碼，而中國大陸的GB2312編碼亦未有收錄繁體中文字。
Big5字符集共收錄13,053箇中文字，該字符集在中國臺灣使用。耐人尋味的是該字符集重複地收錄了兩個相同的字：“兀”(0xA461及0xC94A)、“嗀”(0xDCD1及0xDDFC)。
Big5碼使用了雙位元組儲存方法，以兩個位元組來編碼一個字。第一個位元組稱為“高位位元組”，第二個位元組稱為“低位位元組”。高位位元組的編碼範圍0xA1-0xF9，低位位元組的編碼範圍0x40-0x7E及0xA1-0xFE。
儘管Big5碼內包含一萬多個字元，但是沒有考慮社會上流通的人名、地名用字、方言用字、化學及生物科等用字，沒有包含日文平假名及片假字母。
例如臺灣視“著”為“著”的異體字，故沒有收錄“著”字。康熙字典中的一些部首用字(如“亠”、“疒”、“辵”、“癶”等)、常見的人名用字(如“堃”、“煊”、“栢”、“喆”等) 也沒有收錄到Big5之中。
8.UTF-8
UTF:UCS Transformation Format.考慮到unicode編碼不相容iso8859-1編碼，而且容易佔用更多的空間：因為對於英文字母，unicode也需要兩個位元組來表示。所以unicode不便於傳輸和儲存。因此而產生了utf編碼，utf編碼相容iso8859-1編碼，同時也可以用來表示所有語言的字元，不過，utf編碼是不定長編碼，每一個字元的長度從1-6個位元組不等。另外，utf編碼自帶簡單的校驗功能。一般來講，英文字母都是用一個位元組表示，而漢字使用三個位元組。
注意，雖然說utf是為了使用更少的空間而使用的，但那只是相對於unicode編碼來說，如果已經知道是漢字，則使用GB2312/GBK無疑是最節省的。不過另一方面，值得說明的是，雖然utf編碼對漢字使用3個位元組，但即使對於漢字網頁，utf編碼也會比unicode編碼節省，因為網頁中包含了很多的英文字元。
UTF8編碼後的大小是不一定,例如一個英文字母"a" 和 一個漢字 "好"，編碼後佔用的空間大小就不樣了，前者是一個位元組，後者是三個位元組！編碼的方法是從低位到高位。黃色為標誌位其它著色為了顯示其，編碼後的位置。
9.Unicode
Unicode字符集（簡稱為UCS）,國際標準組織於1984年4月成立ISO/IEC JTC1/SC2/WG2工作組，針對各國文字、符號進行統一性編碼。1991年美國跨國公司成立Unicode Consortium，並於1991年10月與WG2達成協議，採用同一編碼字集。目前Unicode是採用16位編碼體系，其字符集內容與ISO10646的BMP（Basic Multilingual Plane）相同。Unicode於1992年6月通過DIS（Draf International Standard），目前版本V2.0於1996公佈，內容包含符號6811個，漢字20902個，韓文拼音11172個，造字區6400個，保留20249個，共計65534個。Unicode編碼後的大小是一樣的.例如一個英文字母 "a" 和 一個漢字 "好"，編碼後都是佔用的空間大小是一樣的，都是兩個位元組！
Unicode可以用來表示所有語言的字元，而且是定長雙位元組（也有四位元組的）編碼，包括英文字母在內。所以可以說它是不相容iso8859-1編碼的，也不相容任何編碼。不過，相對於iso8859-1編碼來說，uniocode編碼只是在前面增加了一個0位元組，比如字母'a'為"00 61"。
需要說明的是，定長編碼便於計算機處理（注意GB2312/GBK不是定長編碼），而unicode又可以用來表示所有字元，所以在很多軟體內部是使用unicode編碼來處理的，比如java。