原文連結： http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/， 作者：劉明

Google Protocol Buffer 的 Encoding

Protobuf 序列化後所生成的二進位制訊息非常緊湊，這得益於 Protobuf 採用的非常巧妙的 Encoding 方法。

考察訊息結構之前，讓我首先要介紹一個叫做 Varint 的術語。

Varint 是一種緊湊的表示數字的方法。它用一個或多個位元組來表示一個數字，值越小的數字使用越少的位元組數。這能減少用來表示數字的位元組數。

比如對於 int32 型別的數字，一般需要 4 個 byte 來表示。但是採用 Varint，對於很小的 int32 型別的數字，則可以用 1 個 byte 來表示。當然凡事都有好的也有不好的一面，採用 Varint 表示法，大的數字則需要 5 個 byte 來表示。從統計的角度來說，一般不會所有的訊息中的數字都是大數，因此大多數情況下，採用 Varint 後，可以用更少的位元組數來表示數字資訊。下面就詳細介紹一下 Varint。

Varint 中的每個 byte 的最高位 bit 有特殊的含義，如果該位為 1，表示後續的 byte 也是該數字的一部分，如果該位為 0，則結束。其他的 7 個 bit 都用來表示數字。因此小於 128 的數字都可以用一個 byte 表示。大於 128 的數字，比如 300，會用兩個位元組來表示：1010 1100 0000 0010

下圖演示了 Google Protocol Buffer 如何解析兩個 bytes。注意到最終計算前將兩個 byte 的位置相互交換過一次，這是因為 Google Protocol Buffer 位元組序採用 little-endian 的方式。

圖 6. Varint 編碼

訊息經過序列化後會成為一個二進位制資料流，該流中的資料為一系列的 Key-Value 對。如下圖所示：

圖 7. Message Buffer

採用這種 Key-Pair 結構無需使用分隔符來分割不同的 Field。對於可選的 Field，如果訊息中不存在該 field，那麼在最終的 Message Buffer 中就沒有該 field，這些特性都有助於節約訊息本身的大小。

以程式碼清單 1 中的訊息為例。假設我們生成如下的一個訊息 Test1:

 Test1.id = 10; 
 Test1.str = “hello”；

則最終的 Message Buffer 中有兩個 Key-Value 對，一個對應訊息中的 id；另一個對應 str。

Key 用來標識具體的 field，在解包的時候，Protocol Buffer 根據 Key 就可以知道相應的 Value 應該對應於訊息中的哪一個 field。

Key 的定義如下：

 (field_number << 3) | wire_type

可以看到 Key 由兩部分組成。第一部分是 field_number，比如訊息 lm.helloworld 中 field id 的 field_number 為 1。第二部分為 wire_type。表示 Value 的傳輸型別。

Wire Type 可能的型別如下表所示：

表 1. Wire Type

在我們的例子當中，field id 所採用的資料型別為 int32，因此對應的 wire type 為 0。細心的讀者或許會看到在 Type 0 所能表示的資料型別中有 int32 和 sint32 這兩個非常類似的資料型別。Google Protocol Buffer 區別它們的主要意圖也是為了減少 encoding 後的位元組數。

在計算機內，一個負數一般會被表示為一個很大的整數，因為計算機定義負數的符號位為數字的最高位。如果採用 Varint 表示一個負數，那麼一定需要 5 個 byte。為此 Google Protocol Buffer 定義了 sint32 這種型別，採用 zigzag 編碼。

Zigzag 編碼用無符號數來表示有符號數字，正數和負數交錯，這就是 zigzag 這個詞的含義了。

如圖所示：

圖 8. ZigZag 編碼

使用 zigzag 編碼，絕對值小的數字，無論正負都可以採用較少的 byte 來表示，充分利用了 Varint 這種技術。

其他的資料型別，比如字串等則採用類似資料庫中的 varchar 的表示方法，即用一個 varint 表示長度，然後將其餘部分緊跟在這個長度部分之後即可。

通過以上對 protobuf Encoding 方法的介紹，想必您也已經發現 protobuf 訊息的內容小，適於網路傳輸。假如您對那些有關技術細節的描述缺乏耐心和興趣，那麼下面這個簡單而直觀的比較應該能給您更加深刻的印象。

對於程式碼清單 1 中的訊息，用 Protobuf 序列化後的位元組序列為：

 08 65 12 06 48 65 6C 6C 6F 77

而如果用 XML，則類似這樣：

 31 30 31 3C 2F 69 64 3E 3C 6E 61 6D 65 3E 68 65 
 6C 6C 6F 3C 2F 6E 61 6D 65 3E 3C 2F 68 65 6C 6C 
 6F 77 6F 72 6C 64 3E 

一共 55 個位元組，這些奇怪的數字需要稍微解釋一下，其含義用 ASCII 表示如下：
 <helloworld> 
    <id>101</id> 
    <name>hello</name> 
 </helloworld>