1. 程式人生 > >c++對編碼格式ANSI utf8 unicode 進行轉換

c++對編碼格式ANSI utf8 unicode 進行轉換

Windows下有很多種編碼格式,在與別的系統環境中有檔案傳輸或通訊時,這些編碼就很重要。

比如在windows中換行是\r\n 在linux或mac下是\n,如果不對編碼進行轉換就會出現亂碼。在通訊中一般會有ASCII碼和二進位制碼傳輸,如果是用二進位制碼在不同的系統環境中進行資料傳輸,在解析資料時必須進行轉換,否則可能會出現資料錯誤。

Ansi字串我們最熟悉,英文佔一個位元組,漢字2個位元組,以一個\0結尾,常用於txt文字檔案 

Unicode字串,每個字元(漢字、英文字母)都佔2個位元組,以2個連續的\0結尾,NT作業系統核心用的是這種字串,

常被定義為typedef unsigned short wchar_t;所以我們有時常會見到什麼char*無法轉換為unsigned short*之類的錯誤,

其實就是unicode

UTF8是Unicode一種壓縮形式,英文A在unicode中表示為0x0041,老外覺得這種儲存方式太浪費,因為浪費了50%的

空間,於是就把英文壓縮成1個位元組,成了utf8編碼,但是漢字在utf8中佔3個位元組,顯然用做中文不如ansi合算,這就是

中國的網頁用作ansi編碼而老外的網頁常用utf8的原因。

UTF8在還遊戲裡運用的很廣泛,比如WOW的lua指令碼等,,

c++中對編碼進行轉換主要用到兩個API,WideCharToMultiByte和MultiByteToWideChar

WideCharToMultiByte的內碼表用來標記與新轉換的字串相關的內碼表。
MultiByteToWideChar的內碼表用來標記與一個多位元組字串相關的內碼表。
常用的內碼表由CP_ACP和CP_UTF8兩個。
使用CP_ACP內碼表就實現了ANSI與Unicode之間的轉換。
使用CP_UTF8內碼表就實現了UTF-8與Unicode之間的轉換

ANSI to Unicode方法:

void ANSI2Unicode()
{
    // ansi to unicode
    char* szAnsi = "abcd1234你我他";
    //預轉換,得到所需空間的大小
    int wcsLen = ::MultiByteToWideChar(CP_ACP, NULL, szAnsi, strlen(szAnsi), NULL, 0);
    //分配空間要給'\0'留個空間,MultiByteToWideChar不會給'\0'空間
    wchar_t* wszString = new wchar_t[wcsLen + 1];
    //轉換
    ::MultiByteToWideChar(CP_ACP, NULL, szAnsi, strlen(szAnsi), wszString, wcsLen);
    //最後加上'\0'
    wszString[wcsLen] = '\0';
    //unicode版的MessageBox API
    ::MessageBoxW(GetSafeHwnd(), wszString, wszString, MB_OK);

    //接下來寫入文字
    //寫文字檔案,頭2個位元組0xfeff,低位0xff寫在前
    CFile cFile;
    cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
    //檔案開頭
    cFile.SeekToBegin();
    cFile.Write("\xff\xfe", 2);
    //寫入內容
    cFile.Write(wszString, wcsLen * sizeof(wchar_t));
    cFile.Flush();
    cFile.Close();
    delete[] wszString;
    wszString =NULL;   
}

Unicode to ANSI
void Unicode2ANSI()
{
     // unicode to ansi
    wchar_t* wszString = L"abcd1234你我他";
    //預轉換,得到所需空間的大小,這次用的函式和上面名字相反
    int ansiLen = ::WideCharToMultiByte(CP_ACP, NULL, wszString, wcslen(wszString), NULL, 0, NULL, NULL);
    //同上,分配空間要給'\0'留個空間
    char* szAnsi = new char[ansiLen + 1];
    //轉換
    //unicode版對應的strlen是wcslen
    ::WideCharToMultiByte(CP_ACP, NULL, wszString, wcslen(wszString), szAnsi, ansiLen, NULL, NULL);
    //最後加上'\0'
    szAnsi[ansiLen] = '\0';
    //Ansi版的MessageBox API
    ::MessageBoxA(GetSafeHwnd(), szAnsi, szAnsi, MB_OK);

    //接下來寫入文字
    //寫文字檔案,ANSI檔案沒有BOM
    CFile cFile;
    cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
    //檔案開頭
    cFile.SeekToBegin();
    //寫入內容
    cFile.Write(szAnsi, ansiLen * sizeof(char));
    cFile.Flush();
    cFile.Close();
    delete[] szAnsi;
    szAnsi =NULL;
}


UTF8 to Unicode
void UTF82Unicode()
{
    //UTF8 to Unicode
    //由於中文直接複製過來會成亂碼,編譯器有時會報錯,故採用16進位制形式
    char* szU8 = "abcd1234\xe4\xbd\xa0\xe6\x88\x91\xe4\xbb\x96\x00";
    //預轉換,得到所需空間的大小
    int wcsLen = ::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), NULL, 0);
    //分配空間要給'\0'留個空間,MultiByteToWideChar不會給'\0'空間
    wchar_t* wszString = new wchar_t[wcsLen + 1];
    //轉換
    ::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), wszString, wcsLen);
    //最後加上'\0'
    wszString[wcsLen] = '\0';
    //unicode版的MessageBox API
    ::MessageBoxW(GetSafeHwnd(), wszString, wszString, MB_OK);

    //接下來寫入文字
    //寫文字檔案,頭2個位元組0xfeff,低位0xff寫在前
    CFile cFile;
    cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
    //檔案開頭
    cFile.SeekToBegin();
    cFile.Write("\xff\xfe", 2);
    //寫入內容
    cFile.Write(wszString, wcsLen * sizeof(wchar_t));
    cFile.Flush();
    cFile.Close();
    delete[] wszString;
    wszString =NULL;
}

Unicode to UTF8
void Unicode2UTF8()
{
      // unicode to UTF8
    wchar_t* wszString = L"abcd1234你我他";
    //預轉換,得到所需空間的大小,這次用的函式和上面名字相反
    int u8Len = ::WideCharToMultiByte(CP_UTF8, NULL, wszString, wcslen(wszString), NULL, 0, NULL, NULL);
    //同上,分配空間要給'\0'留個空間
    //UTF8雖然是Unicode的壓縮形式,但也是多位元組字串,所以可以以char的形式儲存
    char* szU8 = new char[u8Len + 1];
    //轉換
    //unicode版對應的strlen是wcslen
    ::WideCharToMultiByte(CP_UTF8, NULL, wszString, wcslen(wszString), szU8, u8Len, NULL, NULL);
    //最後加上'\0'
    szU8[u8Len] = '\0';
    //MessageBox不支援UTF8,所以只能寫檔案

    //接下來寫入文字
    //寫文字檔案,UTF8的BOM是0xbfbbef
    CFile cFile;
    cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
    //檔案開頭
    cFile.SeekToBegin();
    //寫BOM,同樣低位寫在前
    cFile.Write("\xef\xbb\xbf", 3);
    //寫入內容
    cFile.Write(szU8, u8Len * sizeof(char));
    cFile.Flush();
    cFile.Close();
    delete[] szU8;
    szU8 =NULL;
}

UTF8格式又分為有無BOM兩種,在轉化為無BOM格式時在寫入檔案時  不寫入BOM頭即可。