c++對編碼格式ANSI utf8 unicode 進行轉換
Windows下有很多種編碼格式,在與別的系統環境中有檔案傳輸或通訊時,這些編碼就很重要。
比如在windows中換行是\r\n 在linux或mac下是\n,如果不對編碼進行轉換就會出現亂碼。在通訊中一般會有ASCII碼和二進位制碼傳輸,如果是用二進位制碼在不同的系統環境中進行資料傳輸,在解析資料時必須進行轉換,否則可能會出現資料錯誤。
Ansi字串我們最熟悉,英文佔一個位元組,漢字2個位元組,以一個\0結尾,常用於txt文字檔案
Unicode字串,每個字元(漢字、英文字母)都佔2個位元組,以2個連續的\0結尾,NT作業系統核心用的是這種字串,
常被定義為typedef unsigned short wchar_t;所以我們有時常會見到什麼char*無法轉換為unsigned short*之類的錯誤,
其實就是unicode
UTF8是Unicode一種壓縮形式,英文A在unicode中表示為0x0041,老外覺得這種儲存方式太浪費,因為浪費了50%的
空間,於是就把英文壓縮成1個位元組,成了utf8編碼,但是漢字在utf8中佔3個位元組,顯然用做中文不如ansi合算,這就是
中國的網頁用作ansi編碼而老外的網頁常用utf8的原因。
UTF8在還遊戲裡運用的很廣泛,比如WOW的lua指令碼等,,
c++中對編碼進行轉換主要用到兩個API,WideCharToMultiByte和MultiByteToWideChar
WideCharToMultiByte的內碼表用來標記與新轉換的字串相關的內碼表。
MultiByteToWideChar的內碼表用來標記與一個多位元組字串相關的內碼表。
常用的內碼表由CP_ACP和CP_UTF8兩個。
使用CP_ACP內碼表就實現了ANSI與Unicode之間的轉換。
使用CP_UTF8內碼表就實現了UTF-8與Unicode之間的轉換
ANSI to Unicode方法:
void ANSI2Unicode() { // ansi to unicode char* szAnsi = "abcd1234你我他"; //預轉換,得到所需空間的大小 int wcsLen = ::MultiByteToWideChar(CP_ACP, NULL, szAnsi, strlen(szAnsi), NULL, 0); //分配空間要給'\0'留個空間,MultiByteToWideChar不會給'\0'空間 wchar_t* wszString = new wchar_t[wcsLen + 1]; //轉換 ::MultiByteToWideChar(CP_ACP, NULL, szAnsi, strlen(szAnsi), wszString, wcsLen); //最後加上'\0' wszString[wcsLen] = '\0'; //unicode版的MessageBox API ::MessageBoxW(GetSafeHwnd(), wszString, wszString, MB_OK); //接下來寫入文字 //寫文字檔案,頭2個位元組0xfeff,低位0xff寫在前 CFile cFile; cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate); //檔案開頭 cFile.SeekToBegin(); cFile.Write("\xff\xfe", 2); //寫入內容 cFile.Write(wszString, wcsLen * sizeof(wchar_t)); cFile.Flush(); cFile.Close(); delete[] wszString; wszString =NULL; }
Unicode to ANSI:
void Unicode2ANSI()
{
// unicode to ansi
wchar_t* wszString = L"abcd1234你我他";
//預轉換,得到所需空間的大小,這次用的函式和上面名字相反
int ansiLen = ::WideCharToMultiByte(CP_ACP, NULL, wszString, wcslen(wszString), NULL, 0, NULL, NULL);
//同上,分配空間要給'\0'留個空間
char* szAnsi = new char[ansiLen + 1];
//轉換
//unicode版對應的strlen是wcslen
::WideCharToMultiByte(CP_ACP, NULL, wszString, wcslen(wszString), szAnsi, ansiLen, NULL, NULL);
//最後加上'\0'
szAnsi[ansiLen] = '\0';
//Ansi版的MessageBox API
::MessageBoxA(GetSafeHwnd(), szAnsi, szAnsi, MB_OK);
//接下來寫入文字
//寫文字檔案,ANSI檔案沒有BOM
CFile cFile;
cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
//檔案開頭
cFile.SeekToBegin();
//寫入內容
cFile.Write(szAnsi, ansiLen * sizeof(char));
cFile.Flush();
cFile.Close();
delete[] szAnsi;
szAnsi =NULL;
}
UTF8 to Unicode
void UTF82Unicode()
{
//UTF8 to Unicode
//由於中文直接複製過來會成亂碼,編譯器有時會報錯,故採用16進位制形式
char* szU8 = "abcd1234\xe4\xbd\xa0\xe6\x88\x91\xe4\xbb\x96\x00";
//預轉換,得到所需空間的大小
int wcsLen = ::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), NULL, 0);
//分配空間要給'\0'留個空間,MultiByteToWideChar不會給'\0'空間
wchar_t* wszString = new wchar_t[wcsLen + 1];
//轉換
::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), wszString, wcsLen);
//最後加上'\0'
wszString[wcsLen] = '\0';
//unicode版的MessageBox API
::MessageBoxW(GetSafeHwnd(), wszString, wszString, MB_OK);
//接下來寫入文字
//寫文字檔案,頭2個位元組0xfeff,低位0xff寫在前
CFile cFile;
cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
//檔案開頭
cFile.SeekToBegin();
cFile.Write("\xff\xfe", 2);
//寫入內容
cFile.Write(wszString, wcsLen * sizeof(wchar_t));
cFile.Flush();
cFile.Close();
delete[] wszString;
wszString =NULL;
}
Unicode to UTF8
void Unicode2UTF8()
{
// unicode to UTF8
wchar_t* wszString = L"abcd1234你我他";
//預轉換,得到所需空間的大小,這次用的函式和上面名字相反
int u8Len = ::WideCharToMultiByte(CP_UTF8, NULL, wszString, wcslen(wszString), NULL, 0, NULL, NULL);
//同上,分配空間要給'\0'留個空間
//UTF8雖然是Unicode的壓縮形式,但也是多位元組字串,所以可以以char的形式儲存
char* szU8 = new char[u8Len + 1];
//轉換
//unicode版對應的strlen是wcslen
::WideCharToMultiByte(CP_UTF8, NULL, wszString, wcslen(wszString), szU8, u8Len, NULL, NULL);
//最後加上'\0'
szU8[u8Len] = '\0';
//MessageBox不支援UTF8,所以只能寫檔案
//接下來寫入文字
//寫文字檔案,UTF8的BOM是0xbfbbef
CFile cFile;
cFile.Open(_T("1.txt"), CFile::modeWrite | CFile::modeCreate);
//檔案開頭
cFile.SeekToBegin();
//寫BOM,同樣低位寫在前
cFile.Write("\xef\xbb\xbf", 3);
//寫入內容
cFile.Write(szU8, u8Len * sizeof(char));
cFile.Flush();
cFile.Close();
delete[] szU8;
szU8 =NULL;
}
UTF8格式又分為有無BOM兩種,在轉化為無BOM格式時在寫入檔案時 不寫入BOM頭即可。