用Shell實現RPC
對於常寫指令碼的程式設計師來說,有時候在實現業務邏輯的時候會用到網路呼叫,或者需要一個shell下網路通訊框架,通常的解決思路是通過實現相應的二進位制工具,再通過shell將業業務邏輯串聯進行實現,自己在專案中產出的一個簡單shell實現RPC的框架,有興趣的可以瞭解一下 github地址是:https://github.com/SunnyPirate/shellrpc。
ShellRPC
概述
專案用BASH實現的一個簡易的RPC框架,你可以用Shell來實現跨機器的RPC的呼叫,也就是說你可以用Shell來寫網路服務,當然BASH可能不是你最好的選擇,但是這個小東西卻提供了一個快速和簡單的實現,讓你用Shell也可以實現複雜的遠端服務呼叫。
整體介紹
這個小東西整體上實現瞭如下幾個核心功能:
- proto解析程式碼自動生成,序列化與反序列化
- service服務端的多程序處理模型
- client端的對服務的非同步呼叫
proto的解析
你可以像其他所有的RPC框架一樣定義你自己的proto格式,我們以一個AddService為例,服務的功能是將客戶端傳遞過來的兩個數做加法運算,我們可以這樣定義add_request.proto
param1:1
param2:2
接下來我們定義add_response.proto,也就是服務端返回給客戶端的proto描述
sum:1
這樣我們定義好我們的request和response的資料結構後,我們呼叫rpc_proto_cg.sh,命令如下:
sh rpc_proto_cg.sh ./add_request.proto
sh rpc_proto_cg.sh ./add_response.proto
這樣我們將得到兩個sh檔案分別是proto_add_request.sh和proto_add_response.sh,這兩個檔案 包含對其中欄位的讀取.寫入以及序列化和反序列化的函式,這些函式不建議修改。
編寫service
這裡我們以AddService為例,首先我們先定義服務端處理的函式,如下所示:
function AddService { local request=${1} local param1=$(proto_add_request_get_param1 ${request}) local param2=$(proto_add_request_get_param2 ${request}) local sum=0 let "sum=param1+param2" local response=$(proto_add_response_make) response=$(proto_add_response_put_sum ${response} ${sum}) echo ${response} }
函式比較好理解,首先我們呼叫自動生成的函式來獲取client通過網路傳送過來的傳入的引數param1和param2,這裡面底層涉及到解碼和反序列化的過程,使用上可以忽略。然後我們對param1和param2進行加法計算,得到的結果我們通過構造一個response並把他放入之前我們定義的sum欄位,最後把這個response輸出,剩下的將交給框架處理,通過網路,最後的response會傳遞給client端。 接下來我們編寫客戶端的回撥函式AddServiceCallback,程式碼如下:
function AddServiceCallback {
local response=${1}
local sum=$(proto_add_response_get_sum ${response})
RPCLog "[INFO]AddService return ${sum}"
}
這裡的回撥函式在客戶端執行,因為目前只實現了非同步呼叫,所以需要寫回調函式來處理返回結果。 當然,同步是在非同步的基礎上實現的,未來不久將提供。
實現呼叫
對於客戶端你需要先初始化client的環境,然後建立client的stub,最後通過對應的非同步函式發起rpc呼叫,大概的程式碼如下:
function MainProcess {
local ip=$(IONetGetLocalIPDec)
local rpc_server_port=8877
InitRPCClientEnv
if [ ${RPC_FAIL} -eq $? ];then
RPCLog "[Error] init RPC client env fail"
return ${RPC_FAIL}
fi
CreateRPCClientStubNoSafe
local add_request=$(proto_add_request_make)
add_request=$(proto_add_request_put_param1 ${add_request} "1")
add_request=$(proto_add_request_put_param2 ${add_request} "2")
RPCClientAsyncCall "${ip}:${rpc_server_port}/AddService" ${add_request} AddServiceCallback
if [ ${RPC_SUCCESS} -ne $? ];then
echo "Send Request fail"
fi
}
這裡需要注意的對服務的呼叫格式是***ip:port/service_name***
幾個需要關注的地方
主要的依賴
- netcat工具,大多數Linux發行版裡面都會有
- lsof,可能你需要安裝
- 沒啦,確實沒了
服務端的細節
- 你可以配置後臺處理任務的程序數,已經提供shell的mutexlock的實現。
- 啟動的時候最好判斷返回值,防止埠被佔用。
- 停止服務請呼叫StopServer,目前已經實現了優雅退出。
客戶端的細節
- 客戶端需要先呼叫初始化環境函式,主要是初始化後臺的接收返回訊息的服務
- 客戶端目前的呼叫均為非同步的方式。
- 客戶端目前也支援優雅的退出
效能
Shell寫的你懂的,並不是很高,不過既然是shell寫的效能可能不是主要的關鍵點。
demo
目前系統中已經實現了EchoService的Demo以及AddService的Demo,具體可以參考demo資料夾下的 示例
後續計劃
- 支援同步的Service呼叫
- 支援傳輸資料的壓縮,目前的編碼方式會導致資料一定的膨脹
- 支援HTTP服務