1.問題：亂碼

     在linux上，經常遇到這樣的問題：新安轉過的系統，經常無法顯示漢字（亂碼）；使用Vim或者gedit等編輯器的時候經常把漢字顯示位亂碼。使用python等語言來處理網頁檔案，經常會出現亂碼的情況。所有的這些問題都和字元編碼有關

2.為何會出現亂碼？

    計算機中儲存的資訊都是用二進位制數表示的；而我們在螢幕上看到的英文、漢字等字元是二進位制數轉換之後的結果。通俗的說，按照何種規則將字元儲存在計算機中。例如ASCII採用7位編碼，a被編號為65，所有字元編碼最高位都為0；此時如果計算機讀取到某位元組是是65，就顯示“a”；如果某個位元組儲存的是ox1000,0000，而我們仍然採用ASCII進行解碼，此時就會無法解碼或者出現亂碼。這就是說，編碼要於解碼對應才不會出現亂碼。

3.常用字元編碼

    常見字符集名稱：ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集、Unicode字符集等。計算機要準確的處理各種字符集文字，需要進行字元編碼，以便計算機能夠識別和儲存各種文字。 

3.1 ASCII編碼

    美國資訊交換標準程式碼是一種用於資訊交換的美國標準程式碼。7位字符集廣泛用於代表標準美國鍵盤上的字元或符號。通過將這些字元使用的值標準化，ASCII允許計算機和計算機程式交換資訊。ASCII字符集是與ANSI字符集中的前面128個(0-127)字元相同。

    編碼內容：常用英文字元/控制字元。

    字符集數量：128

    編碼特徵：每個編碼長度均為一個位元組，高位是0

    優缺點：字符集數量過小，對歐洲常用字元支援比較弱。

    為了解決字符集數量太少的問題，衍生出EASCII字符集，仍然是一個位元組，但是高位為1.

3.2 GB2312編碼

    為了解決漢字編碼問題，GB2312規定：一個小於127的字元的意義與原來相同，但兩個大於127的字元連在一起時，就表示一個漢字，前面的一個位元組（他稱之為高位元組）從0xA1用到 0xF7，後面一個位元組（低位元組）從0xA1到0xFE，這樣我們就可以組合出大約7000多個簡體漢字了。在這些編碼裡，還把數學符號、羅馬希臘的 字母、日文的假名們都編進去了，連在ASCII裡本來就有的數字、標點、字母都統統重新編了兩個位元組長的編碼，這就是常說的"全形"字元，而原來在127號以下的那些就叫"半形"字元了。

    特點：2位元組編碼，最高位都為1（如果為0，將按照ASCII解碼）

    評介：解決了漢字編碼問題，但是簡體字與生僻字的問題沒有解決。

3.3 GB18030編碼

    簡介：GB 18030，全稱：國家標準GB 18030-2005《資訊科技 中文編碼字符集》，是中華人民共和國現時最新的內碼字集。

    特點：

• 與UTF-8相同，採用多位元組編碼，每個字可以由1個、2個或4個位元組組成。
• 編碼空間龐大，最多可定義161萬個字元。
• 支援中國國內少數民族的文字，不需要動用造字區。
• 漢字收錄範圍包含繁體漢字以及日韓漢字

3.4 BIG5字符集

      Big5，又稱為大五碼或五大碼，是使用繁體中文（正體中文）社群中最常用的電腦漢字字符集標準，共收錄13,060個漢字。中文碼分為內碼及交換碼兩類，Big5屬中文內碼，知名的中文交換碼有CCCII、CNS11643。Big5雖普及於臺灣、香港與澳門等繁體中文通行區，但長期以來並非當地的國家標準，而只是業界標準。倚天中文系統、Windows等主要系統的字符集都是以Big5為基準，但廠商又各自增加不同的造字與造字區，派生成多種不同版本。2003年，Big5被收錄到CNS11643中文標準交換碼的附錄當中，取得了較正式的地位。這個最新版本被稱為Big5-2003。

4.UNIcode

    為了適合當地語言和字元，設計和實現類似GB2312/GBK/GB18030/BIG5的編碼方案。這樣各搞一套，在本地使用沒有問題，一旦出現在網路中，由於不相容，互相訪問就出現了亂碼現象。

   舉個例子：

   在西方國家的EASCII之中，如果一個8b的數字用來表示一個字元，當最高位是1的時候，它表示一個拉丁字元等其他特殊字元；但是中文編碼GB2312卻規定，兩個8b的字元，如果高位為1，那麼它表示一個漢子。具體而言，“1111，0111；1111，0111”使用EASCII表示兩個約等號，使用GB2312解碼卻表示一個漢子：也就是說，同樣的儲存，用不同的編碼方案來解碼，得到的結果不同。另外一個方面，同樣對於“約等於號”，GB2312給它的編碼是A1D006：對於同樣的字元，不同的字符集有不同的編碼。

    為了解決這個問題，一個偉大的創想產生了——Unicode。Unicode編碼系統為表達任意語言的任意字元而設計。可以想象，如果有一種編碼，將世界上所有的符號都納入其中。每一個符號都給予一個獨一無二的編碼，那麼亂碼問題就會消失。這就是Unicode，就像它的名字都表示的，這是一種所有符號的編碼。它使用4位元組的數字來表達每個字母、符號，或者表意文字(ideograph)。每個數字代表唯一的至少在某種語言中使用的符號。（並不是所有的數字都用上了，但是總數已經超過了65535，所以2個位元組的數字是不夠用的。）被幾種語言共用的字元通常使用相同的數字來編碼，除非存在一個在理的語源學(etymological)理由使不這樣做。不考慮這種情況的話，每個字元對應一個數字，每個數字對應一個字元。即不存在二義性。不再需要記錄"模式"了。U+0041總是代表'A'，即使這種語言沒有'A'這個字元。

Unicode是字符集，UTF-32/ UTF-16/ UTF-8是三種字元編碼方案。

Unicode當然是一個很大的集合，現在的規模可以容納100多萬個符號。每個符號的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A，U+4E25表示漢字"嚴"。

5.UNICODE的問題

需要注意的是，Unicode只是一個符號集，它只規定了符號的二進位制程式碼，卻沒有規定這個二進位制程式碼應該如何儲存。

比如，漢字"嚴"的unicode是十六進位制數4E25，轉換成二進位制數足足有15位（100111000100101），也就是說這個符號的表示至少需要2個位元組。表示其他更大的符號，可能需要3個位元組或者4個位元組，甚至更多。

這裡就有兩個嚴重的問題，第一個問題是，如何才能區別Unicode和ASCII？計算機怎麼知道三個位元組表示一個符號，而不是分別表示三個符號呢？第二個問題是，我們已經知道，英文字母只用一個位元組表示就夠了，如果Unicode統一規定，每個符號用三個或四個位元組表示，那麼每個英文字母前都必然有二到三個位元組是0，這對於儲存來說是極大的浪費，文字檔案的大小會因此大出二三倍，這是無法接受的。

它們造成的結果是：1）出現了Unicode的多種儲存方式，也就是說有許多種不同的二進位制格式，可以用來表示Unicode。2）Unicode在很長一段時間內無法推廣，直到網際網路的出現。

5.UTF-8

UTF-8（8-bit Unicode Transformation Format）是一種針對Unicode的可變長度字元編碼（定長碼），也是一種字首碼。它可以用來表示Unicode標準中的任何字元，且其編碼中的第一個位元組仍與ASCII相容，這使得原來處理ASCII字元的軟體無須或只須做少部份修改，即可繼續使用。因此，它逐漸成為電子郵件、網頁及其他儲存或傳送文字的應用中，優先採用的編碼。網際網路工程工作小組（IETF）要求所有網際網路協議都必須支援UTF-8編碼。

下表總結了編碼規則，字母x表示可用編碼的位。

Unicode符號範圍 | UTF-8編碼方式
(十六進位制) | （二進位制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟據上表，解讀UTF-8編碼非常簡單。如果一個位元組的第一位是0，則這個位元組單獨就是一個字元；如果第一位是1，則連續有多少個1，就表示當前字元佔用多少個位元組。

下面，還是以漢字"嚴"為例，演示如何實現UTF-8編碼。

已知"嚴"的unicode是4E25（100111000100101），根據上表，可以發現4E25處在第三行的範圍內（0000 0800-0000 FFFF），因此"嚴"的UTF-8編碼需要三個位元組，即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然後，從"嚴"的最後一個二進位制位開始，依次從後向前填入格式中的x，多出的位補0。這樣就得到了，"嚴"的UTF-8編碼是"11100100 10111000 10100101"，轉換成十六進位制就是E4B8A5。

參考文獻：