計算機編碼
阿新 • • 發佈：2017-08-18
但是 中間 strlen target 數值 文件的 會有 四舍五入 答案
編碼是信息從一種形式或格式轉換為另一種形式的過程也稱為計算機編程語言的代碼簡稱編碼。用預先規定的方法將文字、數字或其它對象編成數碼，或將信息、數據轉換成規定的電脈沖信號。編碼在電子計算機、電視、遙控和通訊等方面廣泛使用。編碼是信息從一種形式或格式轉換為另一種形式的過程。解碼，是編碼的逆過程。
ASCII
我們日常接觸到的文件分ASCII和Binary兩種。ASCII是“美國信息交換標準編碼”的英文字頭縮寫，可稱之為“美標”。美標規定了用從0到127的128個數字來代表信息的規範編碼，其中包括33個控制碼，一個空格碼，和94個形象碼。形象碼中包括了英文大小寫字母，阿拉伯數字，標點符號等。我們平時閱讀的英文電腦文本，就是以形象碼的方式傳遞和存儲的。美標是國際上大部分大小電腦的通用編碼。 然而電腦中的一個字符大都是用一個八位數的二進制數字表示。這樣每一字符便可能有256個不同的數值。由於美標只規定了128個編碼，剩下的另外128個數碼沒有規範，各家用法不一。另外美標中的33個控制碼，各廠家用法也不盡一致。這樣我們在不同電腦間交換文件的時候，就有必要區分兩類不同的文件。第一類文件中每一個字都是美標形象碼或空格碼。這類文件稱為“美標文本文件”(ASCII Text Files)，或略為“文本文件”，通常可在不同電腦系統間直接交換。第二類文件，也就是含有控制碼或非美標碼的文件，通常不能在不同電腦系統間直接交換。這類文件有一個通稱，叫“二進制文件”(Binary Files)。國標
GBK
BIG5
HZ碼
HZ 碼是中國留學生為了使漢字信息能在網絡上直接傳送而產生的。因目前大多數 （西方）網絡系統為7位，最高位被屏蔽掉，因此 GB 碼無法被直接傳輸，HZ 碼是為了達到在7位網絡系統中直接傳遞漢字信息的目的而規範的。 “HZ”方案的特點，是以“純國標”的中文與美標碼混用。那麽“HZ”是怎樣區分國標符和美標符的呢？答案其實也很簡單：當一串美標碼中間插入一段國標碼的時候，我們便在國標碼的前面加上~，後面加上~。這些附加碼分別叫“逃出碼”和“逃入碼”。 由於這些附加碼本身也是美標形象碼，整個文件就儼然是一個美標文本文件，可以安然地 在電腦網上傳遞，也和大部分英文文本處理軟件兼容。CJK碼
ISO-2022是國際標準組織（ISO）為各種語言字符制定的編碼標準。采用二個字節編碼，其中漢語編碼稱ISO-2022 CN，日語、韓語的編碼分別稱JP、KR。一般將三者合稱CJK碼。CJK碼主要在Internet網絡中使用。ISO
1993年，國際標準ISO10646 定義了通用字符集(Universal Character Set, UCS)。 UCS 是所有其他字符集標準的一個超集。它保證與其他字符集是雙向兼容的。就是說， 如果你將任何文本字符串翻譯到 UCS格式，然後再翻譯回原編碼, 你不會丟失任何信息。 UCS 包含了用於表達所有已知語言的字符。不僅包括拉丁語，希臘語，斯拉夫語，希伯來語,阿拉伯語，亞美尼亞語和喬治亞語的描述， 還包括中文，日文和韓文這樣的象形文字，以及平假名，片假名，孟加拉語,旁遮普語果魯穆奇字符(Gurmukhi)，泰米爾語， 印.埃納德語(Kannada)，Malayalam，泰國語， 老撾語， 漢語拼音(Bopomofo)， Hangul，Devangari，Gujarati， Oriya，Telugu 以及其它語種。對於還沒有加入的語言, 由於正在研究怎樣在計算機中最好地編碼它們， 因而最終它們都將被加入。這些語言包括Tibetian，高棉語，Runic(古代北歐文字)，埃塞俄比亞語， 其他象形文字，以及各種各樣的印-歐語系的語言，還包括挑選出來的藝術語言比如 Tengwar，Cirth 和克林貢語(Klingon)。UCS 還包括大量的圖形的，印刷用的，數學用的和科學用的符號，包括所有由 TeX，Postscript，MS-DOS，MS-Windows， Macintosh， OCR字體， 以及許多其他字處理和出版系統提供的字符。 ISO 10646 定義了一個 31 位的字符集。 然而， 在這巨大的編碼空間中, 迄今為止只分配了前 65534 個碼位 (0x0000 到 0xFFFD)。這個UCS的16位子集稱為基本多語言面 (Basic Multilingual Plane, BMP)。 將被編碼在16位BMP以外的字符都屬於非常特殊的字符(比如象形文字), 且只有專家在歷史和科學領域裏才會用到它們。按當前的計劃， 將來也許再也不會有字符被分配到從0x000000到0x10FFFF這個覆蓋了超過100萬個潛在的未來字符的 21 位的編碼空間以外去了。ISO 10646-1標準第一次發表於1993年, 定義了字符集與 BMP 中內容的架構。定義 BMP以外的字符編碼的第二部分 ISO 10646-2 正在準備中， 但也許要過好幾年才能完成。新的字符仍源源不斷地加入到 BMP 中, 但已經存在的字符是穩定的且不會再改變了。 UCS 不僅給每個字符分配一個代碼， 而且賦予了一個正式的名字。表示一個 UCS 或 Unicode 值的十六進制數, 通常在前面加上 “U+”， 就象U+0041 代表字符“拉丁大寫字母A”。UCS字符U+0000到U+007F 與 US-ASCII(ISO 646) 是一致的， U+0000 到 U+00FF 與 ISO8859-1(Latin-1) 也是一致的。從 U+E000 到 U+F8FF，已經BMP 以外的大範圍的編碼是為私用保留的。 1993年，ISO10646中定義的USC-4 (Universal Character Set) ，使用了4 個字節的寬度以容納足夠多的相當可觀的空間，但是這個過於肥胖的字符標準在當時乃至21世紀都有其不現實的一面，就是會過分侵占存儲空間並影響信息傳輸的效率。 與此同時，Unicode 組織於約 10 年前以 Universal, Unique和Uniform 為主旨也開始開發一個16位字符標準， 為避免兩種16位編碼的競爭，1992年兩家組織開始協商，以期折衷尋找共同點，這就是今天的 UCS-2 (BMP，Basic Multilingual Plane，16bit) 和Unicode，但它們仍然是不同的方案。 Unicode 關於Unicode我們需要追溯一下它產生的淵源。 當計算機普及到東亞時，遇到了使用表意字符而非字母語言的中、日、韓等國家。在這些國家使用的語言中常用字符多達幾千個，而原來字符采用的是單字節編碼，一張代碼頁中最多容納的字符只有2^8=256個，對於使用表意字符的語言是在無能為力。既然一個字節不夠，自然人們就采用兩個字節，所有出現了使用雙字節編碼的字符集(DBCS)。不過雙字節字符集中雖然表意字符使用了兩個字節編碼，但其中的ASCII碼和日文片假名等仍用單字節表示，如此一來給程序員帶來了不小的麻煩，因為每當涉及到DBCS字符串的處理時，總是要判斷當中的一個字節到底表示的是一個字符還是半個字符，如果是半個字符，那是前一半還是後一半？由此可見DBCS並不是一種非常好的解決方案。 人們在不斷尋找這更好的字符編碼方案，最後的結果就是Unicode誕生了。Unicode其實就是寬字節字符集，它對每個字符都固定使用兩個字節即16位表示，於是當處理字符時，不必擔心只處理半個字符。 Unicode在網絡、Windows系統和很多大型軟件中得到應用。 編碼(Encoding)在認知上是解釋傳入的刺激的一種基本知覺的過程。技術上來說，這是一個復雜的、多階段的轉換過程，從較為客觀的感覺輸入（例如光、聲）到主觀上有意義的體驗。 字符編碼(Character encoding)是一套法則，使用該法則能夠對自然語言的字符的一個集合（如字母表或音節表），與其他東西的一個集合（如號碼或電脈沖）進行配對。文字編碼
文字編碼(Text encoding)使用一種標記語言來標記一篇文字的結構和其他特征，以方便計算機進行處理。語義編碼
語義編碼(Semantics encoding)，以正式語言乙對正式語言甲進行語義編碼，即是使用語言乙表達語言甲所有的詞匯（如程序或說明）的一種方法。電子編碼
電子編碼(Electronic encoding)是將一個信號轉換成為一個代碼，這種代碼是被優化過的以利於傳輸或存儲。轉換工作通常由一個編解碼器完成。PCM編碼
PCM 脈沖編碼調制是Pulse Code Modulation的縮寫。（又叫脈沖編碼調制）：數字通信的編碼方式之一。主要過程是將話音、圖像等模擬信號每隔一定時間進行取樣，使其離散化，同時將抽樣值按分層單位四舍五入取整量化，同時將抽樣值按一組二進制碼來表示抽樣脈沖的幅值。神經編碼
神經編碼(Neural encoding)是指信息在神經元中被如何描繪的方法。記憶編碼
記憶編碼(Memory encoding)是把感覺轉換成記憶的過程。加密
加密(Encryption)是為了保密而對信息進行轉換的過程。譯碼
譯碼(Transcoding)是將編碼從一種格式轉換到另一種格式的過程。 碼轉換輕松實現 一、利用iconv函數族進行編碼轉換 在LINUX上進行編碼轉換時，既可以利用iconv函數族編程實現,還可以利用iconv命令去實現，只不過後者是針對文件的,也就是將指定文件從一種編碼轉換為另一種編碼。 iconv函數族的頭文件是iconv.h，使用前需包含之。 #include <iconv.h> iconv函數族有三個函數，原型如下： (1) iconv_t iconv_open(const char *tocode, const char *fromcode) 此函數說明將要進行哪兩種編碼的轉換，tocode是目標編碼，fromcode是原編碼，該函數返回一個轉換句柄，供以下兩個函數使用。 (2)size_ticonv(iconv_t cd，char **inbuf，size_t *inbytesleft，char **outbuf，size_t *outbytesleft) 此函數從inbuf中讀取字符，轉換後輸出到outbuf中，inbytesleft用以記錄還未轉換的字符數，outbytesleft用以記錄輸出緩沖的剩余空間。 (3) int iconv_close(iconv_t cd) 此函數用於關閉轉換句柄,釋放資源。 例子1： 用C語言實現的轉換示例程序 /* f.c ：代碼轉換示例C程序 */ #include <iconv.h> #define OUTLEN 255 main() { char *in_utf8 = "姝e?ㄥ??瑁?" char *in_gb2312 = "正在安裝" char out[OUTLEN] //unicode碼轉為gb2312碼 rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN) printf("unicode-->gb2312 out=%sn",out) //gb2312碼轉為unicode碼 rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN) printf("gb2312-->unicode out=%sn",out) } //代碼轉換：從一種編碼轉為另一種編碼 int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen) { iconv_t cd; int rc; char **pin = &inbuf; char **pout = &outbuf; cd = iconv_open(to_charset,from_charset); if (cd==0) return -1; memset(outbuf,0,outlen); if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1; iconv_close(cd); return 0; } //UNICODE碼轉為GB2312碼 int u2g(char *inbuf,int inlen,char *outbuf,int outlen) { return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen); } //GB2312碼轉為UNICODE碼 int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen) { return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen); } 例子2: 用C++語言實現的轉換示例程序 /* f.cpp : 代碼轉換示例C++程序 */ #include <iconv.h> #include <iostream> #define OUTLEN 255 using namespace std; // 代碼轉換操作類 class CodeConverter { private: iconv_t cd; public: // 構造 CodeConverter(const char *from_charset,const char *to_charset) { cd = iconv_open(to_charset,from_charset; } // 析構 ~CodeConverter() { iconv_close(cd); } // 轉換輸出 int convert(char *inbuf,int inlen,char *outbuf,int outlen) { char **pin = &inbuf; char **pout = &outbuf; memset(outbuf,0,outlen); return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen); } }; int main(int argc, char **argv) { char *in_utf8 = "姝e?ㄥ??瑁?"; char *in_gb2312 = "正在安裝"; char out[OUTLEN]; // utf-8-->gb2312 CodeConverter cc = CodeConverter("utf-8","gb2312"); cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN); cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl; // gb2312-->utf-8 CodeConverter cc2 = CodeConverter("gb2312","utf-8"); cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN); cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl; } 二、利用iconv命令進行編碼轉換 LINUX上進行編碼轉換時，既可以利用iconv函數族編程實現,也可以利用iconv命令來實現，只不過後者是針對文件的,即將指定文件從一種編碼轉換為另一種編碼。 iconv命令用於轉換指定文件的編碼，默認輸出到標準輸出設備,亦可指定輸出文件。 用法： iconv [選項...] [文件...] 有如下選項可用： 輸入/輸出格式規範： -f, --from-code=名稱 原始文本編碼 -t, --to-code=名稱 輸出編碼 信息： -l, --list 列舉所有已知的字符集 輸出控制： -c 從輸出中忽略無效的字符 -o, --output=FILE 輸出文件 -s, --silent 關閉警告 --verbose 打印進度信息 -?, --help 給出該系統求助列表 --usage 給出簡要的用法信息 -V, --version 打印程序版本號 例子： iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt 這個命令讀取aaa.txt文件，從utf-8編碼轉換為gb2312編碼，其輸出定向到bbb.txt文件。 小結：LINUX為我們提供了強大的編碼轉換工具,給我們帶來了方便。計算機編碼