技術標籤：計算機應用

素材來此網路

Unicode、UTF－8 和 ISO8859-1有什麼區別

1.本文主要包括以下幾個方面：編碼基本知識，系統軟體，url，工具軟體等。

在下面的描述中，將以"中文"兩個字為例，經查表可以知道其GB2312編碼是"d6d0 cec4"，Unicode編碼為"4e2d 6587"，UTF編碼就是"e4b8ad e69687"。注意，這兩個字沒有iso8859-1編碼，但可以用iso8859-1編碼來"表示"。

2. 編碼基本知識

最早的編碼是iso8859-1，和ascii編碼相似。但為了方便表示各種各樣的語言，逐漸出現了很多標準編碼，重要的有如下幾個。

2.1. iso8859-1 通常叫做Latin-1

屬於單位元組編碼，最多能表示的字元範圍是0-255，應用於英文系列。比如，字母a的編碼為0x61=97。

很明顯，iso8859-1編碼表示的字元範圍很窄，無法表示中文字元。但是，由於是單位元組編碼，和計算機最基礎的表示單位一致，所以很多時候，仍舊使用iso8859-1編碼來表示。而且在很多協議上，預設使用該編碼。比如，雖然"中文"兩個字不存在iso8859-1編碼，以gb2312編碼為例，應該是"d6d0 cec4"兩個字元，使用iso8859-1編碼的時候則將它拆開為4個位元組來表示："d6 d0 ce c4"（事實上，在進行儲存的時候，也是以位元組為單位處理的）。而如果是UTF編碼，則是6個位元組"e4 b8 ad e6 96 87"。很明顯，這種表示方法還需要以另一種編碼為基礎。

在linux 環境下可以使用file或者vim來檢視，檔案型別，但是一般情況不準。對ISO8859-1通常稱latin-1,下面做一個測試，用file和vim檢視同一個檔案，file輸出的是ISO8859-1, vim輸出的是Latin-1。

file命令：

$ file xxx.h 
xxx.h: C source, ISO-8859 text

在vim中檢視編碼格式：

$ vim xxx.h 

/*vim下輸入*/
:set fileencoding
fileencoding=latin1

2.2. GB2312/GBK

這就是漢子的國標碼，專門用來表示漢字，是雙位元組編碼，而英文字母和iso8859-1一致（相容iso8859-1編碼）。其中gbk編碼能夠用來同時表示繁體字和簡體字，而gb2312只能表示簡體字，gbk是相容gb2312編碼的。

2.3. unicode

這是最統一的編碼，可以用來表示所有語言的字元，而且是定長雙位元組（也有四位元組的）編碼，包括英文字母在內。所以可以說它是不相容iso8859-1編碼的，也不相容任何編碼。不過，相對於iso8859-1編碼來說，uniocode編碼只是在前面增加了一個0位元組，比如字母a為"00 61"。

需要說明的是，定長編碼便於計算機處理（注意GB2312/GBK不是定長編碼），而unicode又可以用來表示所有字元，所以在很多軟體內部是使用unicode編碼來處理的，比如java。

2.4. UTF

考慮到unicode編碼不相容iso8859-1編碼，而且容易佔用更多的空間：因為對於英文字母，unicode也需要兩個位元組來表示。所以unicode不便於傳輸和儲存。因此而產生了utf編碼，utf編碼相容iso8859-1編碼，同時也可以用來表示所有語言的字元，不過，utf編碼是不定長編碼，每一個字元的長度從1-6個位元組不等。另外，utf編碼自帶簡單的校驗功能。一般來講，英文字母都是用一個位元組表示，而漢字使用三個位元組。

注意，雖然說utf是為了使用更少的空間而使用的，但那只是相對於unicode編碼來說，如果已經知道是漢字，則使用GB2312/GBK無疑是最節省的。不過另一方面，值得說明的是，雖然utf編碼對漢字使用3個位元組，但即使對於漢字網頁，utf編碼也會比unicode編碼節省，因為網頁中包含了很多的英文字元。

ps:

linux下轉換檔案的編碼方式也很簡單，使用iconv工具即可

程式碼示例如下：

改單個檔案編碼：

$ iconv -f GB2312 -t UTF-8 xxx.h -o yyy.h

批量修改檔案編碼：

$ find -name "*.h" -type f | xargs -I file iconv -f GB2312 -t UTF-8 file -o file.utf8

簡單解釋，命令中的“file”是xargs的-I引數指定的變數，可以隨便起。