2. 程式人生 > >徹底弄懂UTF-8、Unicode、寬字元、locale

徹底弄懂UTF-8、Unicode、寬字元、locale

阿新 • • 發佈：2019-07-08

目錄

  • Unicode、UCS
  • UTF8
    • 結論：
  • 寬字元型別wchar_t
    • locale
    • 為什麼需要寬字元型別
    • 多位元組字串和寬字串相互轉換

最近使用到了wchar_t型別，所以準備詳細探究下，沒想到水還挺深，網上的資料大多都是複製貼上，只有個結論，也沒個驗證過程。本文記錄探究的過程及結論，如有不對請指正。

Unicode、UCS

UCS（Universal Character Set）本質上就是一個字符集。

Unicode的開發結合了國際標準化組織所制定的 ISO/IEC 10646，即通用字符集（
Universal Character Set, UCS）。Unicode 與 ISO/IEC 10646 在編碼的運作原理相同，但 The Unicode Standard 包含了更詳盡的實現資訊、涵蓋了更細節的主題，諸如位元編碼（bitwise encoding）、校對以及呈現等。摘自（Unicode)
所以也可以簡單的理解為，Unicode和UCS等價，都是字符集。

UCS編碼的長度是31位，可用4個位元組表示，可以表示2的31次方個字元。如果兩個字元的高位相同，只有低16位不同，則它們屬於同一平面，所以一個平面由2的16次方個字元組成。目前大部分字元都位於第一個平面稱為BMP。BMP的編碼通常以U+xxxx這種形式表示，其中x是16進位制數。

比如中文“你”對應的UCS編碼為U+4f60，“好”對應的UCS編碼為U+597d。更多中文編碼可以在Unicode編碼表中查詢。

有了UCS編碼，任何一個字元在計算機中都最多可以用四個位元組來表示，稱為碼點。

UTF8

現在有了UCS字符集，那麼一個字元在計算機中真的要按四個位元組（UTF-32）來儲存嗎？
答案是否定的，一方面每個字元都按四位元組來儲存非常浪費空間，因為大部分字元都在BMP，只有後16位有效，前16位都是0。另一方面這與c語言不相容，在c語言中0位元組表示字串的結尾，庫函式strlen等函式依賴這一點，如果按UTF-32儲存，其中有很多0位元組並不表示字串結尾。

Ken Thompson發明了UTF-8編碼，可以很好的解決以上問題。Unicode 和 UTF-8 之間的轉換關係表如下：

碼點起值 碼點終值 位元組序列 Byte1 Byte2 Byte3 Byte4 Byte5 Byte6
U+0000 U+007F 1 0xxxxxxx
U+0080 U+07FF 2 110xxxxx 10xxxxxx
U+0800 U+FFFF 3 1110xxxx 10xxxxxx 10xxxxxx
U+10000 U+1FFFFF 4 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U+200000 U+3FFFFFF 5 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U+4000000 U+7FFFFFFF 6 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

第一個位元組要麼最高位是0（ASCII碼），要麼最高位都是1，最高位之後的1的個數決定了後面的有多少個位元組也屬於當前字元編碼，例如111110xx，最高位之後還有4個1，表示後面的4個位元組屬於當前編碼。後面的每個位元組的最高位都是10，可以和第一個位元組區分開來。後面位元組的x表示的就是UCS編碼。所以UTF-8就像一列火車，第一個位元組是車頭，包含了後面的哪幾個位元組也屬於當前這列火車的資訊，後面的位元組是車廂，其中承載著UCS編碼。

以中文字元“你”為例，對應的Unicode為"U+4f60"，二進位制表示為0100 1111 0110 0000。按照表中的規則編碼成UTF-8就是11100100 10111101 10100000（0xe4 0xbd 0xa0）。

結論：

Unicode本質是字符集，在這個集合中的任意一個字元都可以用一個四位元組來表示。

UTF-8是編碼規則，可以通過這個規則將Unicode字符集中任一字元對應的位元組轉換為另一個位元組序列。UTF-8只是編碼規則中的一種，其它的編碼規則還有UTF-16，UTF-32等。

寬字元型別wchar_t

在介紹寬字元前先了解下locale。因為多位元組字串和寬字串的轉換和locale相關。

locale

什麼是locale

區域設定（locale），也稱作“本地化策略集”、“本地環境”，是表達程式使用者地區方面的軟體設定。在linux執行locale可以檢視當前locale設定：

ubuntu@VM-0-16-ubuntu:~$ locale
LANG=zh_CN.UTF-8
LANGUAGE=
LC_CTYPE="zh_CN.UTF-8"
LC_NUMERIC="zh_CN.UTF-8"
LC_TIME="zh_CN.UTF-8"
LC_COLLATE="zh_CN.UTF-8"
LC_MONETARY="zh_CN.UTF-8"
LC_MESSAGES="zh_CN.UTF-8"
LC_PAPER="zh_CN.UTF-8"
LC_NAME="zh_CN.UTF-8"
LC_ADDRESS="zh_CN.UTF-8"
LC_TELEPHONE="zh_CN.UTF-8"
LC_MEASUREMENT="zh_CN.UTF-8"
LC_IDENTIFICATION="zh_CN.UTF-8"
LC_ALL=

可以將locale理解為一系列環境變數。locale環境變數值的格式為language_area.charset。languag表示語言，例如英語或中文；area表示使用該語言的地區，例如美國或者中國大陸；charset表示字符集編碼，例如UTF-8或者GBK。
這些環境變數會對日期格式，數字格式，貨幣格式，字元處理等多個方面產生影響。

參考資料：

  1. locale wiki
  2. Environment Variables

如何設定系統預設的locale

修改配置檔案/etc/default/locale，比如要將locale設為zh_CN.UTF-8，新增如下語句LANG=zh_CN.UTF-8

locale環境變數有何作用

以LC_TIME為例，該變數會影響strftime()等函式。size_t strftime(char *str, size_t maxsize, const char *format, const struct tm *timeptr)
strftime根據format中定義的格式化規則，格式化結構timeptr表示的時間，並把它儲存在str中。

#include <locale.h>
#include <stdio.h>
#include <time.h>

int main () {
    time_t currtime;
    struct tm *timer;
    char buffer[80];

    time( &currtime );
    timer = localtime( &currtime );

    printf("Locale is: %s\n", setlocale(LC_TIME, "en_US.iso88591"));
    strftime(buffer,80,"%c", timer );
    printf("Date is: %s\n", buffer);

    printf("Locale is: %s\n", setlocale(LC_TIME, "zh_CN.UTF-8"));
    strftime(buffer,80,"%c", timer );
    printf("Date is: %s\n", buffer);

    printf("Locale is: %s\n", setlocale(LC_TIME, ""));
    strftime(buffer,80,"%c", timer );
    printf("Date is: %s\n", buffer);
    return(0);
}

編譯後執行結果如下：

Locale is: en_US.iso88591
Date is: Sun 07 Jul 2019 04:08:39 PM CST
Locale is: zh_CN.UTF-8
Date is: 2019年07月07日 星期日 16時08分39秒
Locale is: zh_CN.UTF-8
Date is: 2019年07月07日 星期日 16時08分39秒

可以看到對LC_TIME設定不同的值後，呼叫strftime()會產生不同的結果。
char* setlocale (int category, const char* locale);可以用來對當前程式進行地域設定。
category：用於指定設定影響的範圍，LC_CTYPE影響字元分類和字元轉換，LC_TIME影響日期和時間的格式，LC_ALL影響所有內容。
locale：用於指定變數的值，上例中分別使用了"en_US.iso88591"，"zh_CN.UTF-8"和空字串""，""表示使用當前作業系統預設的區域設定。

參考資料：
setlocale()

為什麼需要寬字元型別

“你好”對應的Unicode分別為"U+4f60"和"U+597d”，對應的UTF-8編碼分別為“0xe4 0xbd 0xa0”和“0xe5 0xa5 0xbd”

多位元組字串在編譯後的可執行檔案以UTF-8編碼儲存

#include <stdio.h>
#include <string.h>

int main(void) {
    char s[] = "你好";
    size_t len = strlen(s);
    printf("len = %d\n", (int)len);
    printf("%s\n", s);
    return 0;
}

編譯後執行，輸出如下：

len = 6
你好

od編譯後的可執行檔案，可以發現"你好"以UFT-8編碼儲存，也就是“0xe4 0xbd 0xa0”和“0xe5 0xa5 0xbd”6個位元組。
strlen()函式只管結尾的0位元組而不管字串裡存的是什麼，所以len是6，也就是“你好”的UFT-8編碼的位元組數。
printf("%s\n", s);相當於將“0xe4 0xbd 0xa0”和“0xe5 0xa5 0xbd”6個位元組write到當前終端的裝置檔案，如果當前終端的驅動程式能識別UTF-8編碼就能列印漢字，如果當前字元終端的驅動程式不能識別UTF-8就打印不出漢字。

寬字串在編譯後可執行檔案中以Unicode儲存

#include <wchar.h>
#include <stdio.h>
#include <locale.h>

int main(void) {
    setlocale(LC_ALL, "zh_CN.UTF-8");   //設定locale
    wchar_t s[] = L"你好";
    size_t len = wcslen(s);
    printf("len = %d\n", (int)len);
    printf("%ls\n", s);
    return 0;
}

編譯後執行，輸出如下：

len = 2
你好

對編譯後的可執行檔案執行od命令，可以找到如下這些位元組：

193 0003020 001  \0 002  \0   `   O  \0  \0   }   Y  \0  \0  \n  \0  \0  \0
194                00020001        00004f60        0000597d        0000000a

00004f60正是“你”對應的Unicode，0000597d是“好”對應的Unicode。所以對於寬字串是按Unicode儲存在可執行檔案中的。
wchar_t是寬字元型別。在字元常量或者字串前加L就表示寬字元常量或者寬字串。所以len是2。
wcslen()和strlen()不同，不是見到0位元組就結束而是要遇到UCS編碼為0的字元才結束。
目前寬字元在記憶體中以Unicode進行儲存，但是要write到終端仍然需要以多位元組編碼輸出，這樣終端驅動程式才能識別，所以printf在內部把寬字串轉換成多位元組字串，然後write出去。這個轉換過程受locale影響，setlocale(LC_ALL, "zh_CN.UTF-8");設定當前程序的LC_ALL為zh_CN.UTF-8，所以printf將Unicode轉成多位元組的UTF-8編碼，然後write到終端裝置。如果將setlocale(LC_ALL, "zh_CN.UTF-8");改為setlocale(LC_ALL, en_US.iso88591):列印結果中將不會輸出"你好"。

一般來說程式在記憶體計算時通常以寬字元編碼，存檔或者網路傳送則用多位元組編碼。

多位元組字串和寬字串相互轉換

c語言中提供了多位元組字串和寬字串相互轉換的函式。

#include <stdlib.h>
size_t mbstowcs(wchar_t *dest, const char *src, size_t n);
size_t wcstombs(char *dest, const wchar_t *src, size_t n);

mbstowcs()將多位元組字串轉換為寬字串。
wcstombs()將寬字串轉換為多位元組字串。
考慮下面的例子：

#include <locale.h>
#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <wchar.h>
#include <string.h>

wchar_t* str2wstr(const char const* s) {
    const size_t buffer_size = strlen(s) + 1;
    wchar_t* dst_wstr = (wchar_t *)malloc(buffer_size * sizeof (wchar_t));
    wmemset(dst_wstr, 0, buffer_size);
    mbstowcs(dst_wstr, s, buffer_size); 
    return dst_wstr;
}

void printBytes(const unsigned char const* s, int len) {
    for (int i = 0; i < len; i++) {
        printf("0x%02x ", *(s + i));
    }
    printf("\n");
}

int main () {
    char s[10] = "你好";          //記憶體中對應0xe4 0xbd 0xa0 0xe5 0xa5 0xbd 0x00 
    wchar_t ws[10] = L"你好";  //記憶體中對應0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00 0x00 0x00 0x00 0x00 

    printf("Locale is: %s\n", setlocale(LC_ALL, "zh_CN.UTF-8")); //Locale is: zh_CN.UTF-8
    printBytes(s, 7);       //0xe4 0xbd 0xa0 0xe5 0xa5 0xbd 0x00 
    printBytes((char *)ws, 12);  //0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00 0x00 0x00 0x00 0x00 

    printBytes((char *)str2wstr(s), 12); //0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00 0x00 0x00 0x00 0x00 

    return(0);
}

編譯後，執行結果如下：

Locale is: zh_CN.UTF-8
0xe4 0xbd 0xa0 0xe5 0xa5 0xbd 0x00 
0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00 0x00 0x00 0x00 0x00 
0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00 0x00 0x00 0x00 0x00

第二行輸出也印證了我們之前說的多位元組字串在記憶體中以UTF-8儲存，"0xe4 0xbd 0xa0 0xe5 0xa5 0xbd"正是"你好"的UTF-8編碼。
第三行輸出印證了之前說的寬字串在記憶體中以Unicode儲存，"0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00"正好是寬字串L"你好"對應的Unicode。
setlocale(LC_ALL, "zh_CN.UTF-8")設定locale，程式將以UTF-8解碼寬字串。呼叫mbstowcs()後，可以看到“你好”的UTF-8編碼 "0xe4 0xbd 0xa0 0xe5 0xa5 0xbd 0x00"確實被轉換成了“你好”對應的Unicode "0x60 0x4f 0x00 0x00 0x7d 0x59 0x00 0x00 0x00 0x00 0x00 0x00"。
如果將setlocale(LC_ALL, "zh_CN.UTF-8")換成setlocale(LC_ALL, "en_US.iso88591 ");那麼最後一行的輸出也就會不一

相關推薦

徹底弄懂UTF-8、Unicode、寬字元、locale

目錄 Unicode、UCS UTF8 結論： 寬字元型別wchar_t locale 為什麼需要寬字元型別 多位元組字串和寬字串相互轉換

utf-8和unicode的區別:字元編碼的辨析

總的來說就是一句話:utf-8是變長的,作為檔案儲存時用,unicode是定長的,將檔案讀取到記憶體時用 我們已經講過了，字串也是一種資料型別，但是，字串比較特殊的是還有一個編碼問題。 因為計算機只能處理數字，如果要處理文字，就必須先把文字轉換為數字才能處理。最早的計

多位元組、UTF-8和Unicode之間的轉換

// 多位元組編碼轉為UTF8編碼 bool MBToUTF8(vector<char>& pu8, const char* pmb, int32 mLen) { // convert an MBCS string to widechar int32 nLe

徹底弄懂tf.Variable、tf.get_variable、tf.variable_scope以及tf.name_scope異同

我之前有轉載過一篇講tf.variable_scope和tf.name_scope的文章，今天一看，覺得還是沒介紹太清楚，沒講到點子上，畢竟英文什麼的看起來還是挺麻煩的。故而，今天來細細梳理下tf.Variable、tf.get_variable、tf.vari

徹底弄懂GMT、UTC、時區和夏令時

前言 格林威治時間、世界時、祖魯時間、GMT、UTC、跨時區、夏令時，這些眼花繚亂的時間術語，我們可能都不陌生，但是真正遇到問題，可能又不那麼確定，不得不再去查一查，處理完可能過段時間又忘記。今天，我們徹底來梳理一下它們。 一、GMT 什麼是GMT GMT（Greenwich Mean Time）， 格林威治

徹底弄懂 Unicode 編碼

檢視原文 今天，在學習 Node.js 中的 Buffer 物件時，注意到它的 alloc 和 from 方法會預設用 UTF-8 編碼，在陣列中每位對應 1 位元組的十六進位制數。想到了之間學習 ES6 時關於字串的 Unicode 表示法，突然就很想知道

字符集（ASCII、GB***、Big5、Unicode）及字元編碼（UTF-*等）

相信大家一定碰到過，開啟某個網頁，卻顯示一堆像亂碼，如”бЇЯАзЪСЯ”、”�????????”？還記得HTTP中的Accept-Charset、Accept-Encoding、Accept-Language、Content-Encoding、Content-

一文弄懂Nginx中的代理與反向代理、負載均衡和快取

如何實現伺服器之間的協同功能呢？ 通過 Nginx 提供的反向代理和負載均衡功能，可以合理的完成業

徹底搞懂CSS偽類選擇器：is、not

本文介紹一下Css偽類:is和:not，並解釋一下is、not、matches、any之前的關係 :not The :not() CSS pseudo-class represents elements that do not match a list of selectors. Since it prev

徹底弄懂px,em和rem的區別

無法 屏幕分辨率 中國 重新 分辨 應對 小時 font targe 　　國內的設計大師都喜歡用px，而國外的網站大都喜歡用em和rem，那麽三者有什麽區別，又各自有什麽優劣呢？ 　　px特點： 　　1.IE無法調整那些使用px作為單位的字體大小； 　　2.國外大部分網站能

utf-8和Unicode的區別

shu 中國人 gbk sci 都對 編碼方式 過去的 view 關系 鏈接 utf-8和Unicode到底有什麽區別？是存儲方式不同？編碼方式不同？它們看起來似乎很相似，但是實際上他們並不是同一個層次的概念 要想先講清楚他們的區別，首先應該講講Unicode的來由。

徹底弄懂 JavaScript 執行機制

函數 大名 定時 意思 技術 渲染 文字 根據 java 本文的目的就是要保證你徹底弄懂javascript的執行機制，如果讀完本文還不懂，可以揍我。 不論你是javascript新手還是老鳥，不論是面試求職，還是日常開發工作，我們經常會遇到這樣的情況：給定的幾行

[轉]js模塊化編程之徹底弄懂CommonJS和AMD/CMD！

歷史 js插件 服務 conf 原因 遇到 reg func depend 原文： https://www.cnblogs.com/chenguangliang/p/5856701.html -----------------------------------------

徹底弄懂字符串常量池等相關問題

加載 結果 包裝 == str2 ringbuf 總結 範圍 con 前言： 　　在平時我們使用字符串一般就是拿來直接搞起，很少有深入的去想過這方面的知識，導致別人在考我們的時候，會問 String str = new String("123"); 這個一行代碼執行創建了幾

徹底弄懂HTTP緩存機制及原理（轉載）

一次 chrom https 分開 res 技術 觸發 明顯 總結 https://www.cnblogs.com/chenqf/p/6386163.html 前言 Http 緩存機制作為 web 性能優化的重要手段，對於從事 Web 開發的同學們來說，應該是知識體系庫中的

徹底弄懂python編碼

def 不能 全世界 寬度 解決方法 增加 str cnblogs style 在編寫python程序的過程中，中英文混用經常會出現編碼問題。圍繞此問題，本文首先介紹編碼的含義及常用編碼，隨後列舉幾個python經常遇到的編碼異常及解決方法，接著列舉筆者在實踐中遇到的異

30分鐘徹底弄懂flex布局

display 分享 成了 一次 ane 計算 是不是 老師 developer 歡迎大家前往騰訊雲+社區，獲取更多騰訊海量技術實踐幹貨哦~ 本文由elson發表於雲+社區專欄 目前在不考慮IE以及低端安卓機（4.3-）的兼容下，已經可以放心使用flex進行布局了。什麽

Python中GBK, UTF-8和Unicode的編碼問題

https://www.cnblogs.com/jxzheng/p/5186490.html 編碼問題，一直是使用python2時的一塊心病。幾乎所有的控制檯輸入輸出、IO操作和HTTP操作都會涉及如下的編碼問題： UnicodeDecodeError: ‘ascii’ codec can’

一個案例徹底弄懂如何正確使用 mysql inndb 聯合索引

audit drop sim itl -o 例子 一次 葉子 xpl 摘要： 有一個業務是查詢最新審核的5條數據 ``sql SELECTid,titleFROMth_contentWHEREaudit_time&lt; 1541984478 ANDstatus=

這一次，徹底弄懂 JavaScript 執行機制

本文的目的就是要保證你徹底弄懂javascript的執行機制，如果讀完本文還不懂，可以揍我。 文章轉自：https://juejin.im/post/59e85eebf265da430d571f89 不論你是javascript新手還是老鳥，不論是面試求職，還是日常開發