開源專案|Go 開發的一款分散式唯一 ID 生成系統
阿新 • • 發佈:2021-11-09
原文連線: 開源專案|Go 開發的一款分散式唯一 ID 生成系統
今天跟大家介紹一個開源專案:id-maker,主要功能是用來在分散式環境下生成唯一 ID。上週停更了一週,也是用來開發和測試這個專案的相關程式碼。
美團有一個開源專案叫 Leaf,使用 Java 開發。本專案就是在此思路的基礎上,使用 Go 開發實現的。
專案整體程式碼量並不多,不管是想要在實際生產環境中使用,還是想找個專案練手,我覺得都是一個不錯的選擇。
專案背景
在大部分系統中,全域性唯一 ID 都是一個強需求。比如快遞,外賣,電影等,都需要生成唯一 ID 來保證單號唯一。
那業務系統對 ID 號的要求有哪些呢?
- 全域性唯一性
- 趨勢遞增:在 MySQL InnoDB 引擎中使用的是聚集索引,由於多數 RDBMS 使用 B-tree 的資料結構來儲存索引資料,在主鍵的選擇上面我們應該儘量使用有序的主鍵保證寫入效能。
- 單調遞增:保證下一個 ID 一定大於上一個 ID,例如事務版本號、IM 增量訊息、排序等特殊需求。
- 資訊保安:如果 ID 是連續的,惡意使用者的扒取工作就非常容易做了,直接按照順序下載指定 URL 即可;如果是訂單號就更危險了,競對可以直接知道我們一天的單量。所以在一些應用場景下,會需要 ID 無規則、不規則。
在此背景下,有一個高可用的唯一 ID 生成系統就很重要了。
專案使用
生成 ID 分兩種方式:
- 根據資料庫生成 ID。
- 根據雪花演算法生成 ID。
使用上提供兩種方式來呼叫介面:
- HTTP 方式
- gRPC 方式
HTTP 方式
1、健康檢查:
curl http://127.0.0.1:8080/ping
2、獲取 ID:
獲取 tag 是 test 的 ID:
curl http://127.0.0.1:8080/v1/id/test
3、獲取雪花 ID:
curl http://127.0.0.1:8080/v1/snowid
gRPC 方式
1、獲取 ID:
grpcurl -plaintext -d '{"tag":"test"}' -import-path $HOME/src/id-maker/internal/controller/rpc/proto -proto segment.proto localhost:50051 proto.Gid/GetId
2、獲取雪花 ID:
grpcurl -plaintext -import-path $HOME/src/id-maker/internal/controller/rpc/proto -proto segment.proto localhost:50051 proto.Gid/GetSnowId
本地開發
# Run MySQL
$ make compose-up
# Run app with migrations
$ make run
專案架構
專案使用 go-clean-template 架構模板開發,目錄結構如下:
下面對各目錄做一個簡要說明:
- cmd:程式入口
- config:配置檔案
- docs:生成的專案文件
- integration-test:整合測試
- internal:業務程式碼
- pkg:一些呼叫的包
借用官方的兩張圖:
整體的層次關係是這樣的,最裡面是 models,定義我們的表結構,然後中間是業務邏輯層,業務邏輯層會提供介面,給最外層的 API 來呼叫,最外層就是一些工具和呼叫入口。
這樣做的最大好處就是解耦,不管最外層如何變化,只要在業務邏輯層實現對應介面即可,核心程式碼可能根本不需要改變。
所以,它們之間的呼叫關係看起來是這樣的:
HTTP > usecase
usecase > repository (Postgres)
usecase < repository (Postgres)
HTTP < usecase
以上就是本專案的全部內容,如果大家感興趣的話,歡迎給我留言交流,要是能給個 star 那就太好了。
專案地址: :id-maker
往期文章:
- 聽說,99% 的 Go 程式設計師都被 defer 坑過
- 測試小姐姐問我 gRPC 怎麼用,我直接把這篇文章甩給了她
- gRPC,爆贊
- 使用 grpcurl 通過命令列訪問 gRPC 服務
- 推薦三個實用的 Go 開發工具
推薦閱讀: