最便捷、最強大、速度最快的C++序列化框架
最便捷、最強大、速度最快的C++序列化框架。
特別注意:vc6太古老,不符合C++規範,無法使用該框架
1.高效能,速度非常快,比你能找到的同類產品至少快一個數量級
2.在網路通訊,資料庫儲存中非常好用。
3.預先支援所有基本型別,所有stl容器型別(除stack/queue之外)
4.支援變長int32/uint32/int64/uint64
5.支援stl::pair,boost::tuple
6.可選的版本控制,而非強制
a)對於小物件,通常不需要版本控制
b)boost::serialization的版本號是強制的,當初我設計這個序列化框架就是因為boost不能省略版本號
7.非侵入式設計,不汙染名字空間
8.宣告式語法,簡單,可靠
9.…….
該框架的易用性
還是用程式碼說明問題 (Talk is cheap. Show me the code. Torvalds, Linus (2000-08-25) )。
看這個例子:
struct MyData1 { int a, b, c; var_int32_t d; // d.t is int32 value var_uint64_t e; // e.t is uint64 value std::string f; std::map<std::string, int> g; std::set<int> h; // 宣告序列化,無版本控制,最簡潔的宣告,後面幾個稍微複雜點 DATA_IO_LOAD_SAVE(MyData1, &a&b&c&d&e&f&g&h) }; struct MyData2 { int a, b, c; var_int32_t d; var_uint64_t e; std::string f; std::map<std::string, int> g; std::set<int> h; // 宣告序列化,有版本控制 DATA_IO_LOAD_SAVE_V(MyData2, 1, // 當前版本 &a&b&c&d&e&f&g&h ) }; struct MyData3 { int a, b, c; boost::int32_t d; boost::uint64_t e; std::string f; std::map<std::string, int> g; std::set<int> h; std::multiset<int> i; unsigned version; // 宣告序列化,有版本控制 DATA_IO_LOAD_SAVE_V(MyData3, 2, // 當前版本 &a &b &c &as_var_int(d) // d 宣告為int32_t, 但是作為var_int32_t 來儲存 &as_var_int(e) // e 宣告為uint64_t, 但是作為var_uint64_t 來儲存 &f &g &h &vmg.since(2, i) // 版本2 新增了成員i &vmg.get_version(version) // 如果需要,將版本值存入version 成員 ) }; int main(int argc, char* argv[]) { PortableDataOutput<AutoGrownMemIO> output; PortableDataInput<MemIO> input; output.resize(1024); // 可選,沒有這一行就需要擴張幾次,相當於 vector.reserve MyData1 d1; // set d1 values // ... MyData2 d2; // set d2 values // ... MyData3 d3; // set d3 values // ... output << d1 << d2 << d3; // 儲存 input = output.head(); // 淺拷貝,將 input 設為 output 已寫入的那部分 input >> d1 >> d2 >> d3; // 載入 //---------------------------------- // operator& 與operator<< 等效 output & d1 & d2 & d3; // 儲存 input = output.head(); // 淺拷貝,將 input 設為 output 已寫入的那部分 // operator& 與operator>> 等效 input & d1 & d2 & d3; // 載入 }
模仿這段程式碼,可以完成大部分的現實需求,如果有更多的需求,可以使用該框架的高階功能。例如,系統中已經定義了一些資料結構,但又不能修改現有程式碼,怎樣給它們增加序列化能力呢?請看如下程式碼:
// in system header, can not change struct SysData1 { int a; unsigned b; string c; }; // add these 2 function in your header template<class DataIO> void DataIO_saveObject(DataIO& dio, const SysData1& x) { dio & x.a & x.b & x.c; } template<class DataIO> void DataIO_loadObject(DataIO& dio, SysData1& x) { dio & x.a & x.b & x.c; } // DataIO 新版中,更簡單的方法 DATA_IO_LOAD_SAVE_E(SysData2, &a &b &c) // ####################################################################### // 如果現存的物件需要版本控制,參考如下程式碼: struct SysData2 { int a; unsigned b; string c; }; // add these 2 function in your header template<class DataIO> void DataIO_saveObject(DataIO& dio, const SysData2& x) { const unsigned curr_version = 2; dio & serialize_version_t(curr_version); dio & x.a & x.b; dio & x.c; } template<class DataIO> void DataIO_loadObject(DataIO& dio, SysData2& x) { const unsigned curr_version = 2; serialize_version_t loaded_version; in >> loaded_version; if (loaded_version.t > curr_version) { throw BadVersionException(loaded_version.t, curr_version, className); } dio & x.a & x.b; if (loaded_version.t >= 2) dio & x.c; } // DataIO 新版中,更簡單的方法: DATA_IO_LOAD_SAVE_EV(SysData2, &a &b& vmg.since(2, c))
How It Works
DataIO_loadObject/DataIO_saveObject只要在呼叫點可見,就可以對 SysData 進行序列化。因為 DataIO 序列化框架使用DataIO_loadObject/DataIO_saveObject來載入和儲存物件,這樣做的好處有以下幾點:
l非侵入,物件型別和載入/儲存函式可以分離定義
n否則無法為不可更改程式碼的物件增加序列化能力
l這兩個函式可以定義在任何名字空間
n根據C++的名字查詢規則,只要在呼叫環境和每個引數所在的名字空間中有相應的匹配函式,就會使用該函式。我們需要有效地利用這一點。
lDataIO_loadObject/DataIO_saveObject這兩個函式名較長,並且罕見
n因此不會與系統中的其他識別符號發生衝突。(對比boost::serialization中的serialize函式,它就比較容易和其他名字發生衝突,serialize太常見了)。
效能
在上面的程式碼中可以看到幾個陌生的名字:MemIO, AutoGrownMemIO,PortableDataOutput, PortableDataInput…
但上面的示例程式碼中沒有用到MinMemIO,因為 MinMemIO 沒有越界檢查,只有在非常簡單,完全可控的情況下,才能使用它。因為沒有越界檢查,它的效能非常好,在大多數情況下相當於手寫的 memcpy 序列化。
使用 MemIO 會稍微慢一點,但是有越界檢查,讀取時越界會丟擲 EndOfFileException 異常,寫入越界時會丟擲 OutOfSpaceException 異常。
使用AutoGrownMemIO,在save時,碰到邊界會自動增加記憶體(相當於vector.push_back自動增加記憶體),也可以使用resize預先分配記憶體(相當於vector.reserve/resize)。
這個幾個MemIO類都非常簡單,速度快是很自然的。
在PortableDataOutput,PortableDataInput中,如果機器位元組序是LittleEndian,需要交換位元組序,這一點,在新版的vc中和gcc中,會直接對映到一條指令:bswap。所以也不會有效能問題。
對於var_int的儲存,無符號數,每個位元組包含7個有效位,餘下一位表示是否需要讀取下一個位元組。因此0~127僅需要一個位元組,0~2^14-1需要兩個位元組,等等。對於有符號數,最低有效位儲存符號,其餘位儲存絕對值。所有stl容器和string的尺寸就是用var_uint32_t儲存的。
該框架中,同時實現了StreamBuffer,可以為任意Stream增加一層緩衝,往緩衝裡面序列化資料的效率和MemIO系列是一樣的,不同之處在於當緩衝耗盡或填滿時會呼叫真實Stream的讀寫方法。這比起通常很多實現中將BufferedStream作為一個抽象,在讀取哪怕一個位元組時也需要一個虛擬函式呼叫,速度要快得多。
擴充套件應用
使用該序列化框架,我實現了一個不需要 IDL的 RPC 。
使用該序列化框架,對 Berkeley DB 進行包裝,可以讓它象標準容器一樣使用,免除了複雜的編碼。後面我會繼續介紹。