字元編碼(unicode編碼)
阿新 • • 發佈：2019-01-10
1. ASCII(American Standard Code for Information Interchange)
美國資訊交換標準程式碼，這是計算機上最早使用的通用的編碼方案。那個時候計算機還只是拉丁文字的專利，根本沒有想到現在計算機的發展勢頭，如果想到了，可能一開始就會使用unicode了。當時絕大部分專家都認為，要用計算機，必須熟練掌握英文。這種編碼佔用7個Bit，在計算機中佔用一個位元組，8位，最高位沒用，通訊的時候有時用作奇偶校驗位。因此ASCII編碼的取值範圍實際上是：0x00-0x7f,只能表示128個字元。後來發現128個不太夠用，做了擴充套件，叫做ASCII擴充套件編碼，用足八位，取值範圍變成：0x00-0xff,能表示256個字元。
2. ANSI（American National Standard Institite ）
美國國家標準協會，也就是說，每個國家（非拉丁語系國家）自己制定自己的文字的編碼規則，並得到了ANSI認可，符合ANSI的標準，全世界在表示對應國家文字的時候都通用這種編碼就叫ANSI編碼。換句話說，中國的ANSI編碼和在日本的ANSI的意思是不一樣的，因為都代表自己國家的文字編碼標準。比如中國的ANSI對應就是GB2312標準，日本就是JIT標準，香港，臺灣對應的是BIG5標準等等。當然這個問題也比較複雜，微軟從95開始，用就是自己搞的一個標準GBK。
好了，ANSI的標準是什麼呢，首先是ASCII的程式碼你不能用！也就是說ASCII碼在任何ANSI中應該都是相同的。其他的，你們自己擴充套件。所以呢，中國人就把ASCII碼變成8位，0x7f之前我不動你的，我從0xa0開始編，0xa0到0xff才95個碼位，對於中國字那簡直是杯水車薪，因此，就用兩個位元組吧，因此編碼範圍就從0xA1A1 - 0xFEFE
BIG5，香港和臺灣用的比較多，繁體，範圍： 0xA140 - 0xF9FE, 0xA1A1 - 0xF9FE，每個字由兩個位元組組成，其第一位元組編碼範圍為0xA1~0xF9，第二位元組編碼範圍為0x40-0x7E與0xA1-0xFE，總計收入13868個字 (包括5401個常用字、7652 個次常用字、7個擴充字、以及808個各式符號)。
那麼到底ANSI是多少位呢？這個不一定！比如在GB2312和GBK，BIG5中，是兩位！但是其他標準或者其他語言如果不夠用，就完全可能不止兩位！
例如：GB18030:GB18030-2000(GBK2K)在GBK的基礎上進一步擴充套件了漢字，增加了藏、蒙等少數民族的字形。GBK2K從根本上解決了字位不夠，字形不足的問題。它有幾個特點：它並沒有確定所有的字形，只是規定了編碼範圍，留待以後擴充。編碼是變長的，其二位元組部分與GBK相容；四位元組部分是擴充的字形、字位，其編碼範圍是首位元組0x81-0xfe、二位元組0x30-0x39、三位元組0x81-0xfe、四位元組0x30-0x39。它的推廣是分階段的，首先要求實現的是能夠完全對映到Unicode3.0標準的所有字形。它是國家標準，是強制性的。
搞懂了ANSI的含義，我們發現ANSI有個致命的缺陷，就是每個標準是各自為陣的，不保證能相容。換句話說，要同時顯示中文和日本文或者阿拉伯文，就完全可能會出現一個編碼兩個字符集裡面都有對應，不知道該顯示哪一個的問題，也就是編碼重疊的問題。顯然這樣的方案不好，所以Unicode才會出現！
3.MBCS（Multi-Byte Chactacter System（Set)）
多位元組字元系統或者字符集，基於ANSI編碼的原理上，對一個字元的表示實際上無法確定他需要佔用幾個位元組的，只能從編碼本身來區分和解釋。因此計算機在儲存的時候，就是採用多位元組儲存的形式。也就是你需要幾個位元組我給你放幾個位元組，比如A我給你放一個位元組，比如"中“，我就給你放兩個位元組，這樣的字元表示形式就是MBCS。在基於GBK的windows中，不會超過2個位元組，所以windows這種表示形式有叫做DBCS（Double-Byte Chactacter System），其實算是MBCS的一個特例。C語言預設存放字串就是用的MBCS格式。從原理上來說，這樣是非常經濟的一種方式。
4.CodePage
內碼表，最早來自IBM，後來被微軟，oracle ,SAP等廣泛採用。因為ANSI編碼每個國家都不統一，不相容，可能導致衝突，所以一個系統在處理文字的時候，必須要告訴計算機你的ANSI是哪個國家和地區的標準，這種國家和標準的代號（其實就是字元編碼格式的代號），微軟稱為Codepage內碼表，其實這個內碼表和字符集編碼的意思是一樣的。告訴你內碼表，本質就是告訴了你編碼格式。但是不同廠家的內碼表可能是完全不同，哪怕是同樣的編碼，比如， UTF-8字元編碼 在IBM對應的內碼表是1208，在微軟對應的是65001,在德國的SAP公司對應的是 4110 。所以啊，其實本來就是一個東西，大家各自為政，搞那麼多新名詞，實在沒必要！所以標準還是很重要的！！！
比如GBK的在微軟的內碼表是936，告訴你內碼表是936其實和告訴你我編碼格式是GBK效果完全相同。那麼處理文字的時候就不會有問題，不會去考慮某個程式碼是顯示的韓文還是中文，同樣，日文和韓文的內碼表就和中文不同，這樣就可以避免編碼衝突導致計算機不知如何處理的問題。當然用這個也可以很容易的切換語言版本。但是這都是治標不治本的方法，還是無法解決同時顯示多種語言的問題，所以最後還是都用unicode吧，永遠不會有衝突了。
5.Unicode(Universal Code)
這是一個編碼方案，說白了就是一張包含全世界所有文字的一個編碼表，不管你用的上，用不上，不管是現在用的，還是以前用過的，只要這個世界上存在的文字元號，統統給你一個唯一的編碼，這樣就不可能有任何衝突了。不管你要同時顯示任何文字，都沒有問題。
因此在這樣的方案下，Unicode出現了。Unicode編碼範圍是：0-0x10FFFF，可以容納1114112個字元，100多萬啊。全世界的字元根本用不完了，Unicode 5.0版本中，才用了238605個碼位。所以足夠了。因此從碼位範圍看，嚴格的unicode需要3個位元組來儲存。但是考慮到理解性和計算機處理的方便性，理論上還是用4個位元組來描述。
Unicode採用的漢字相關編碼用的是《CJK統一漢字編碼字符集》— 國家標準 GB13000.1 是完全等同於國際標準《通用多八位編碼字符集 (UCS)》 ISO 10646.1。《GB13000.1》中最重要的也經常被採用的是其雙位元組形式的基本多文種平面。在這65536個碼位的空間中，定義了幾乎所有國家或地區的語言文字和符號。其中從0x4E00到 0x9FA5 的連續區域包含了 20902 個來自中國（包括臺灣）、日本、韓國的漢字，稱為 CJK (Chinese Japanese Korean) 漢字。CJK是《GB2312-80》、《BIG5》等字符集的超集。
CJK包含了中國，日本，韓國，越南，香港，也就是CJKVH。這個在UNICODE的Charset chart中可以明顯看到。unicode的相關標準可以從unicode.org上面獲得，目前已經進行到了6.0版本。
下面這段描述來自百度百科：
Unicode字符集可以簡寫為UCS（Unicode Character Set）。早期的 Unicode Unicode標準有UCS-2、UCS-4的說法。UCS-2用兩個位元組編碼，UCS-4用4個位元組編碼。UCS-4根據最高位為0的最高位元組分成2^7=128個group。每個group再根據次高位元組分為256個平面（plane）。每個平面根據第3個位元組分為256行 （row），每行有256個碼位（cell）。group 0的平面0被稱作BMP（Basic Multilingual Plane）。將UCS-4的BMP去掉前面的兩個零位元組就得到了UCS-2。
每個平面有2^16=65536個碼位。Unicode計劃使用了17個平面，一共有17*65536=1114112個碼位。在Unicode 5.0.0版本中，已定義的碼位只有238605個，分佈在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定義了兩個各佔65534個碼位的專用區（Private Use Area），分別是0xF0000-0xFFFFD和0x100000-0x10FFFD。
所謂專用區，就是保留給大家放自定義字元的區域，可以簡寫為PUA。
平面0也有一個專用區：0xE000-0xF8FF，有6400個碼位。平面0的0xD800-0xDFFF，共2048個碼位，是一個被稱作代理區（Surrogate）的特殊區域。代理區的目的用兩個UTF-16字元表示BMP以外的字元。在介紹UTF-16編碼時會介紹。
如前所述在Unicode 5.0.0版本中，238605-65534*2-6400-2408=99089。餘下的99089個已定義碼位分佈在平面0、平面1、平面2和平面14上，它們對應著Unicode目前定義的99089個字元，其中包括71226個漢字。平面0、平面1、平面2和平面14上分別定義了52080、3419、43253和337個字元。
平面2的43253個字元都是漢字。平面0上定義了27973個漢字。
6.Unicode的實現方案
Unicode其實只是一張巨大的編碼表。要在計算機裡面實現，也出現了幾種不同的方案。也就是說如何表示unicode編碼的問題。
（1） UTF-8（UCS Transformation Format 8bit)
這個方案的意思以8位為單位來標識文字，注意並不是說一個文字用8位標識。他其實是一種MBCS方案，可變位元組的。到底需要幾個位元組表示一個符號，這個要根據這個符號的unicode編碼來決定，最多4個位元組。
編碼規則如下：楊
Unicode編碼(16進位制) ║ UTF-8 位元組流(二進位制)
000000 - 00007F ║ 0xxxxxxx
000080 - 0007FF ║ 110xxxxx 10xxxxxx
000800 - 00FFFF ║ 1110xxxx 10xxxxxx 10xxxxxx
010000 - 10FFFF ║ 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-8的特點是對不同範圍的字元使用不同長度的編碼。對於0x00-0x7F之間的字元，UTF-8編碼與ASCII編碼完全相同。
UTF-8編碼的最大長度是4個位元組。從上表可以看出，4位元組模板有21個x，即可以容納21位二進位制數字。Unicode的最大碼位0x10FFFF也只有21位。
例1：“漢”字的Unicode編碼是0x6C49。0x6C49在0x0800-0xFFFF之間，使用用3位元組模板了：1110xxxx 10xxxxxx 10xxxxxx。將0x6C49寫成二進位制是：0110 1100 0100 1001，用這個位元流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。
例2：Unicode編碼0x20C30在0x010000-0x10FFFF之間，使用用4位元組模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。
將0x20C30寫成21位二進位制數字（不足21位就在前面補0）：0 0010 0000 1100 0011 0000，用這個位元流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。
（2） UTF-16
UTF-16編碼以16位無符號整數為單位。注意是16位為一個單位，不表示一個字元就只有16位。現在機器上的unicode編碼一般指的就是UTF-16。絕大部分2個位元組就夠了，但是不能絕對的說所有字元都是2個位元組。這個要看字元的unicode編碼處於什麼範圍而定，有可能是2個位元組，也可能是4個位元組。這點請注意！
美國資訊交換標準程式碼，這是計算機上最早使用的通用的編碼方案。那個時候計算機還只是拉丁文字的專利，根本沒有想到現在計算機的發展勢頭，如果想到了，可能一開始就會使用unicode了。當時絕大部分專家都認為，要用計算機，必須熟練掌握英文。這種編碼佔用7個Bit，在計算機中佔用一個位元組，8位，最高位沒用，通訊的時候有時用作奇偶校驗位。因此ASCII編碼的取值範圍實際上是：0x00-0x7f,只能表示128個字元。後來發現128個不太夠用，做了擴充套件，叫做ASCII擴充套件編碼，用足八位，取值範圍變成：0x00-0xff,能表示256個字元。
2. ANSI（American National Standard Institite ）
美國國家標準協會，也就是說，每個國家（非拉丁語系國家）自己制定自己的文字的編碼規則，並得到了ANSI認可，符合ANSI的標準，全世界在表示對應國家文字的時候都通用這種編碼就叫ANSI編碼。換句話說，中國的ANSI編碼和在日本的ANSI的意思是不一樣的，因為都代表自己國家的文字編碼標準。比如中國的ANSI對應就是GB2312標準，日本就是JIT標準，香港，臺灣對應的是BIG5標準等等。當然這個問題也比較複雜，微軟從95開始，用就是自己搞的一個標準GBK。
好了，ANSI的標準是什麼呢，首先是ASCII的程式碼你不能用！也就是說ASCII碼在任何ANSI中應該都是相同的。其他的，你們自己擴充套件。所以呢，中國人就把ASCII碼變成8位，0x7f之前我不動你的，我從0xa0開始編，0xa0到0xff才95個碼位，對於中國字那簡直是杯水車薪，因此，就用兩個位元組吧，因此編碼範圍就從0xA1A1 - 0xFEFE
BIG5，香港和臺灣用的比較多，繁體，範圍： 0xA140 - 0xF9FE, 0xA1A1 - 0xF9FE，每個字由兩個位元組組成，其第一位元組編碼範圍為0xA1~0xF9，第二位元組編碼範圍為0x40-0x7E與0xA1-0xFE，總計收入13868個字 (包括5401個常用字、7652 個次常用字、7個擴充字、以及808個各式符號)。
那麼到底ANSI是多少位呢？這個不一定！比如在GB2312和GBK，BIG5中，是兩位！但是其他標準或者其他語言如果不夠用，就完全可能不止兩位！
例如：GB18030:GB18030-2000(GBK2K)在GBK的基礎上進一步擴充套件了漢字，增加了藏、蒙等少數民族的字形。GBK2K從根本上解決了字位不夠，字形不足的問題。它有幾個特點：它並沒有確定所有的字形，只是規定了編碼範圍，留待以後擴充。編碼是變長的，其二位元組部分與GBK相容；四位元組部分是擴充的字形、字位，其編碼範圍是首位元組0x81-0xfe、二位元組0x30-0x39、三位元組0x81-0xfe、四位元組0x30-0x39。它的推廣是分階段的，首先要求實現的是能夠完全對映到Unicode3.0標準的所有字形。它是國家標準，是強制性的。
搞懂了ANSI的含義，我們發現ANSI有個致命的缺陷，就是每個標準是各自為陣的，不保證能相容。換句話說，要同時顯示中文和日本文或者阿拉伯文，就完全可能會出現一個編碼兩個字符集裡面都有對應，不知道該顯示哪一個的問題，也就是編碼重疊的問題。顯然這樣的方案不好，所以Unicode才會出現！
3.MBCS（Multi-Byte Chactacter System（Set)）
多位元組字元系統或者字符集，基於ANSI編碼的原理上，對一個字元的表示實際上無法確定他需要佔用幾個位元組的，只能從編碼本身來區分和解釋。因此計算機在儲存的時候，就是採用多位元組儲存的形式。也就是你需要幾個位元組我給你放幾個位元組，比如A我給你放一個位元組，比如"中“，我就給你放兩個位元組，這樣的字元表示形式就是MBCS。在基於GBK的windows中，不會超過2個位元組，所以windows這種表示形式有叫做DBCS（Double-Byte Chactacter System），其實算是MBCS的一個特例。C語言預設存放字串就是用的MBCS格式。從原理上來說，這樣是非常經濟的一種方式。
4.CodePage
內碼表，最早來自IBM，後來被微軟，oracle ,SAP等廣泛採用。因為ANSI編碼每個國家都不統一，不相容，可能導致衝突，所以一個系統在處理文字的時候，必須要告訴計算機你的ANSI是哪個國家和地區的標準，這種國家和標準的代號（其實就是字元編碼格式的代號），微軟稱為Codepage內碼表，其實這個內碼表和字符集編碼的意思是一樣的。告訴你內碼表，本質就是告訴了你編碼格式。但是不同廠家的內碼表可能是完全不同，哪怕是同樣的編碼，比如， UTF-8字元編碼 在IBM對應的內碼表是1208，在微軟對應的是65001,在德國的SAP公司對應的是 4110 。所以啊，其實本來就是一個東西，大家各自為政，搞那麼多新名詞，實在沒必要！所以標準還是很重要的！！！
比如GBK的在微軟的內碼表是936，告訴你內碼表是936其實和告訴你我編碼格式是GBK效果完全相同。那麼處理文字的時候就不會有問題，不會去考慮某個程式碼是顯示的韓文還是中文，同樣，日文和韓文的內碼表就和中文不同，這樣就可以避免編碼衝突導致計算機不知如何處理的問題。當然用這個也可以很容易的切換語言版本。但是這都是治標不治本的方法，還是無法解決同時顯示多種語言的問題，所以最後還是都用unicode吧，永遠不會有衝突了。
5.Unicode(Universal Code)
這是一個編碼方案，說白了就是一張包含全世界所有文字的一個編碼表，不管你用的上，用不上，不管是現在用的，還是以前用過的，只要這個世界上存在的文字元號，統統給你一個唯一的編碼，這樣就不可能有任何衝突了。不管你要同時顯示任何文字，都沒有問題。
因此在這樣的方案下，Unicode出現了。Unicode編碼範圍是：0-0x10FFFF，可以容納1114112個字元，100多萬啊。全世界的字元根本用不完了，Unicode 5.0版本中，才用了238605個碼位。所以足夠了。因此從碼位範圍看，嚴格的unicode需要3個位元組來儲存。但是考慮到理解性和計算機處理的方便性，理論上還是用4個位元組來描述。
Unicode採用的漢字相關編碼用的是《CJK統一漢字編碼字符集》— 國家標準 GB13000.1 是完全等同於國際標準《通用多八位編碼字符集 (UCS)》 ISO 10646.1。《GB13000.1》中最重要的也經常被採用的是其雙位元組形式的基本多文種平面。在這65536個碼位的空間中，定義了幾乎所有國家或地區的語言文字和符號。其中從0x4E00到 0x9FA5 的連續區域包含了 20902 個來自中國（包括臺灣）、日本、韓國的漢字，稱為 CJK (Chinese Japanese Korean) 漢字。CJK是《GB2312-80》、《BIG5》等字符集的超集。
CJK包含了中國，日本，韓國，越南，香港，也就是CJKVH。這個在UNICODE的Charset chart中可以明顯看到。unicode的相關標準可以從unicode.org上面獲得，目前已經進行到了6.0版本。
下面這段描述來自百度百科：
Unicode字符集可以簡寫為UCS（Unicode Character Set）。早期的 Unicode Unicode標準有UCS-2、UCS-4的說法。UCS-2用兩個位元組編碼，UCS-4用4個位元組編碼。UCS-4根據最高位為0的最高位元組分成2^7=128個group。每個group再根據次高位元組分為256個平面（plane）。每個平面根據第3個位元組分為256行 （row），每行有256個碼位（cell）。group 0的平面0被稱作BMP（Basic Multilingual Plane）。將UCS-4的BMP去掉前面的兩個零位元組就得到了UCS-2。
每個平面有2^16=65536個碼位。Unicode計劃使用了17個平面，一共有17*65536=1114112個碼位。在Unicode 5.0.0版本中，已定義的碼位只有238605個，分佈在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定義了兩個各佔65534個碼位的專用區（Private Use Area），分別是0xF0000-0xFFFFD和0x100000-0x10FFFD。
所謂專用區，就是保留給大家放自定義字元的區域，可以簡寫為PUA。
平面0也有一個專用區：0xE000-0xF8FF，有6400個碼位。平面0的0xD800-0xDFFF，共2048個碼位，是一個被稱作代理區（Surrogate）的特殊區域。代理區的目的用兩個UTF-16字元表示BMP以外的字元。在介紹UTF-16編碼時會介紹。
如前所述在Unicode 5.0.0版本中，238605-65534*2-6400-2408=99089。餘下的99089個已定義碼位分佈在平面0、平面1、平面2和平面14上，它們對應著Unicode目前定義的99089個字元，其中包括71226個漢字。平面0、平面1、平面2和平面14上分別定義了52080、3419、43253和337個字元。
平面2的43253個字元都是漢字。平面0上定義了27973個漢字。
6.Unicode的實現方案
Unicode其實只是一張巨大的編碼表。要在計算機裡面實現，也出現了幾種不同的方案。也就是說如何表示unicode編碼的問題。
（1） UTF-8（UCS Transformation Format 8bit)
這個方案的意思以8位為單位來標識文字，注意並不是說一個文字用8位標識。他其實是一種MBCS方案，可變位元組的。到底需要幾個位元組表示一個符號，這個要根據這個符號的unicode編碼來決定，最多4個位元組。
編碼規則如下：楊
Unicode編碼(16進位制) ║ UTF-8 位元組流(二進位制)
000000 - 00007F ║ 0xxxxxxx
000080 - 0007FF ║ 110xxxxx 10xxxxxx
000800 - 00FFFF ║ 1110xxxx 10xxxxxx 10xxxxxx
010000 - 10FFFF ║ 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-8的特點是對不同範圍的字元使用不同長度的編碼。對於0x00-0x7F之間的字元，UTF-8編碼與ASCII編碼完全相同。
UTF-8編碼的最大長度是4個位元組。從上表可以看出，4位元組模板有21個x，即可以容納21位二進位制數字。Unicode的最大碼位0x10FFFF也只有21位。
例1：“漢”字的Unicode編碼是0x6C49。0x6C49在0x0800-0xFFFF之間，使用用3位元組模板了：1110xxxx 10xxxxxx 10xxxxxx。將0x6C49寫成二進位制是：0110 1100 0100 1001，用這個位元流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。
例2：Unicode編碼0x20C30在0x010000-0x10FFFF之間，使用用4位元組模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。
將0x20C30寫成21位二進位制數字（不足21位就在前面補0）：0 0010 0000 1100 0011 0000，用這個位元流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。
（2） UTF-16
UTF-16編碼以16位無符號整數為單位。注意是16位為一個單位，不表示一個字元就只有16位。現在機器上的unicode編碼一般指的就是UTF-16。絕大部分2個位元組就夠了，但是不能絕對的說所有字元都是2個位元組。這個要看字元的unicode編碼處於什麼範圍而定，有可能是2個位元組，也可能是4個位元組。這點請注意！