netty+Protobuf (整合一）
netty+Protobuf 整合實戰
瘋狂創客圈 Netty 億級流量架構系列之12 【部落格園 總入口 】
本文說明
本篇是 netty+Protobuf 整合實戰的 第一篇，完成一個 基於Netty + Protobuf 實戰案例。
要實現高併發、大流量，首先需要高傳輸效率的協議，Protobuf 是迄今為止最高效能之一的傳輸格式，我們首先將 Protobuf 和Netty整合起來。
本案例原始碼
原始碼下載連結： netty+protobuf （整合原始碼）
What is Protobuf ？
protocolbuffer(以下簡稱PB)是google 的一種資料交換的格式，它獨立於語言，獨立於平臺。google 提供了多種語言的實現：java、c#、c++、go 和python，每一種實現都包含了相應語言的編譯器以及庫檔案。由於它是一種二進位制的格式，比使用 xml進行資料交換快許多。可以把它用於分散式應用之間的資料通訊或者異構環境下的資料交換。作為一種效率和相容性都很優秀的二進位制資料傳輸格式，可以用於諸如網路傳輸、配置檔案、資料儲存等諸多領域。
Why Protobuf ？
Protobuf是由谷歌開源而來，在谷歌內部久經考驗。它將資料結構以.proto檔案進行描述，通過程式碼生成工具可以生成對應資料結構的POJO物件和Protobuf相關的方法和屬性。
特點如下:
- 結構化資料儲存格式(XML,JSON等)
- 高效的編解碼效能
- 語言無關、平臺無關、擴充套件性好
資料互動xml、json、protobuf格式比較
- json: 一般的web專案中，最流行的主要還是json。因為瀏覽器對於json資料支援非常好，有很多內建的函式支援。
- xml: 在webservice中應用最為廣泛，但是相比於json，它的資料更加冗餘，因為需要成對的閉合標籤。json使用了鍵值對的方式，不僅壓縮了一定的資料空間，同時也具有可讀性。
- protobuf:是後起之秀，是谷歌開源的一種資料格式，適合高效能，對響應速度有要求的資料傳輸場景。因為profobuf是二進位制資料格式，需要編碼和解碼。資料本身不具有可讀性。因此只能反序列化之後得到真正可讀的資料。
相對於其它protobuf更具有優勢
- 序列化後體積相比Json和XML很小，適合網路傳輸
- 支援跨平臺多語言
- 訊息格式升級和相容性還不錯
- 序列化反序列化速度很快，快於Json的處理速速
結論： 在一個需要大量的資料傳輸的場景中，如果資料量很大，那麼選擇protobuf可以明顯的減少資料量，減少網路IO，從而減少網路傳輸所消耗的時間。
因而，對於打造一款高效能的通訊伺服器來說，protobuf 傳輸格式，是最佳的解決方案。
windows 下安裝 protoc
1，去這裡 https://github.com/google/protobuf/releases
下載對應的protoc，本例項使用的 zip檔案是老版本： protoc-2.6.1-win32.zip （本人對老版本比較屬性，大家可以換成最新版本） **此工具在原始碼包中已經有，可以直接解壓縮原始碼包，直接使用 **
2，下好之後解壓就行，然後把bin裡面的 protoc.exe 加入到環境變數
3、或者，把protoc.exe拷貝到C:\Windows\System32
##實戰第1步：proto檔案的建立
前面講了那麼多，都是一些知識鋪墊，和前期的準備。
整合protobuf 的第一步，是準備一個訊息的協議檔案。 協議檔案的字尾名稱為 .proto , 該檔案的定義我們需要傳輸的協議。例項如下:
//定義protobuf的包名稱空間
option java_package = "com.crazymakercircle.chat.common.bean.msg";
// 訊息體名稱
option java_outer_classname = "ProtoMsg";
//.....
/*聊天訊息*/
message MessageRequest{
uint64 msg_id = 1; //訊息id
string from = 2; //傳送方uId
string to = 3; //接收方uId
uint64 time = 4; //時間戳(單位:毫秒)
required uint32 msg_type = 5; //訊息型別 1：純文字 2：音訊 3：視訊 4：地理位置 5：其他
string content = 6; //訊息內容
string url = 7; //多媒體地址
string property = 8; //附加屬性
string from_nick = 9; //傳送者暱稱
optional string json = 10; //附加的json串
}
說明：
-
協議檔案中，主要定義了最終生成的Java 程式碼 對應的包的名稱、類的名稱。分別使用 java_package、 java_outer_classname 來指定。
-
協議檔案中，每個具體的協議message對應於一個最終的Java類，協議的欄位對應到類的屬性。
實際上生成的Java程式碼，遠遠不止這些。具體請參見原始碼包。
關於的**.proto**檔案的格式，請大家參考 史上最簡明的proto語法教程
關於的**.proto**訊息的規則，請大家參考 史上最簡明的proto訊息規則
實戰第2步：生成 proto 訊息 Java程式碼
建立好**.proto**檔案之後，就需要按照好了對應版本的 protoc.exe工具。 protoc.exe工具是生成Java檔案的工具軟體。 安裝的方法，前面已經講了。
這裡需要提示一下版本。Java 的maven 配置檔案中 proto 包的版本，和 .proto檔案的版本， 以及生成java 程式碼的protoc.exe的版本，三者需要一致。
下面開始生成 訊息的 Java程式碼。 需要用到下面的指令：
protoc.exe --java_out=輸出的Java檔案路徑名稱 .proto檔案路徑名稱
例如：
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto
輸入完之後，回車即可在目標目錄看到已經生成好的Java檔案，然後將該檔案放到專案中該檔案指定的路徑下即可。
本案例的工程中，以及給大家準備好了**.bat** windows 的命令檔案，在 .bat 目錄 下執行**.bat** 檔案即可。 .bat 檔案如下：
d:
cd D:\\crazymakercircleJava\nettydemo\chatcommon
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto
使用的時候，注意調整為實際的目錄。
加上對protobuf 的maven依賴
修改maven 的pom.xml檔案，加上對protobuf 的依賴，程式碼如下：
<dependency>
<groupId>com.google.protobuf</groupId>
<artifactId>protobuf-java</artifactId>
<version>${protobuf.version}</version>
</dependency>
實戰第3步：構建 ProtoMsg.Message 訊息
生成程式碼後，如果需要構建對應的訊息，需要取得Java訊息型別的 Builder 例項，在設定了Builder 例項的欄位屬性值，然後執行 Builder 例項的build（） 方法。
巢狀的訊息，可以通過頂層訊息的 buildPartial() 取得基礎部分的 Builder例項 ，然後再設定內嵌訊息屬性，最後執行build（） 方法。
比如： mb.buildPartial().toBuilder().setMessageRequest(cb).build();
具體如下面的例子所示：
/**
* 基礎 Builder
*/
private static class BaseBuilder
{
private User user;
protected ProtoMsg.HeadType type;
private long seqId;
public BaseBuilder(ProtoMsg.HeadType type,User user)
{
this.type = type;
this.user=user;
}
/**
* 構建訊息 基礎部分
*/
public ProtoMsg.Message buildPartial()
{
seqId = genSeqId();
ProtoMsg.Message.Builder mb = ProtoMsg.Message.newBuilder()
.setType(type)
.setSequence(seqId)
.setSessionId(user.getSessionId());
return mb.buildPartial();
}
}
/**
* 聊天訊息Builder
*/
private static class ChatMsgBuilder extends BaseBuilder
{
//...
public ProtoMsg.Message build()
{
//基礎部分
ProtoMsg.Message message = buildPartial();
//內嵌部分
ProtoMsg.MessageRequest.Builder cb
= ProtoMsg.MessageRequest.newBuilder();
//組合起來，然後構建
return message.toBuilder().setMessageRequest(cb).build();
}
}
實戰第4步：編碼器
在發出ProtoMsg.Message 訊息前，還需要對二進位制訊息進一步封裝。
使用2位元組訊息長度+Message（二進位制資料）+（2位元組CRC校驗（可選））
其中2位元組的內容，只包含Message的長度，不包含自身和CRC的長度。如果需要也可以包含，當要記得通訊雙方必須一致。
編碼器如下：
public class ProtobufEncoder extends MessageToByteEncoder<ProtoMsg.Message> {
@Override
protected void encode(ChannelHandlerContext ctx, ProtoMsg.Message msg, ByteBuf out)
throws Exception {
byte[] bytes = msg.toByteArray();// 將物件轉換為byte
int length = bytes.length;// 讀取訊息的長度
ByteBuf buf = Unpooled.buffer(2 + length);
buf.writeShort(length);// 先將訊息長度寫入，也就是訊息頭
buf.writeBytes(bytes);// 訊息體中包含我們要傳送的資料
out.writeBytes(buf);
}
}
實戰第五步 解碼器
與編碼器的操作相反，去掉頭部的兩個位元組，然後轉換成 ProtoMsg.Message 訊息
/**
* 解碼器
*
*/
public class ProtobufDecoder extends ByteToMessageDecoder {
@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in,
List<Object> out) throws Exception {
// 標記一下當前的readIndex的位置
in.markReaderIndex();
// 判斷包頭長度
if (in.readableBytes() < 2) {// 不夠包頭
return;
}
// 讀取傳送過來的訊息的長度。
int length = in.readUnsignedShort();
// 長度如果小於0
if (length < 0) {// 非法資料，關閉連線
ctx.close();
}
if (length > in.readableBytes()) {// 讀到的訊息體長度如果小於傳送過來的訊息長度
// 重置讀取位置
in.resetReaderIndex();
return;
}
ByteBuf frame = Unpooled.buffer(length);
in.readBytes(frame);
try {
byte[] inByte = frame.array();
// 位元組轉成物件
ProtoMsg.Message msg = ProtoMsg.Message.parseFrom(inByte);
if (msg != null) {
// 獲取業務訊息頭
out.add(msg);
}
} catch (Exception e) {
LOG.info(ctx.channel().remoteAddress() + ",decode failed.", e);
}
}
}
實戰第六步 解碼器
將編碼器和解碼器，加入pipeline中，程式碼如下：
// 設定通道初始化
bootstrap.handler(
new ChannelInitializer<SocketChannel>()
{
public void initChannel(SocketChannel ch) throws Exception
{
ch.pipeline().addLast(new ProtobufDecoder());
ch.pipeline().addLast(new ProtobufEncoder());
ch.pipeline().addLast(chatClientHandler);
}
}
);
這一塊，很簡單。
寫在最後
終於大功告成。
為了方便大家理解 netty 和 protobuf 整合的過程， 例項進行了裁剪，僅僅剩下了 上面這塊非常很重要的部分。
如果需要真正的理解上面的內容，建議大家一定要去跑例項。
瘋狂創客圈 實戰計劃
- Netty 億級流量 高併發 IM後臺 開源專案實戰
- Netty 原始碼、原理、JAVA NIO 原理
- Java 面試題 一網打盡
- 瘋狂創客圈 【 部落格園 總入口 】