雪花演算法 Snowflake & Sonyflake
阿新 • • 發佈：2019-12-31
唯一ID演算法Snowflake相信大家都不墨生，他是Twitter公司提出來的演算法。非常廣泛的應用在各種業務系統裡。也因為Snowflake的靈活性和缺點，對他的改造層出不窮，比百度的UidGenerator、美團的Leaf、索尼的Sonyflake等等。這篇帖子主要是講一下原生的Snowflake演算法、缺點及改造方案，並分析索尼的Sonyflake原始碼對原生Snowflake的改造，
原生Snowflake
原生Snowflake演算法使用一個64 bit的整型資料，根據當前的時間來生成ID。
原生Snowflake結構如下：
- 因為最高位是標識位，為1表示為負數，所以最高位不使用。
- 41bit 儲存時間戳，精確到毫秒。也就是說最大可使用的年限是69年。
- 10bit 的機器位，能部屬在1024臺機器節點來生成ID。
- 12bit 的序列號，一毫秒最大生成唯一ID的數量為4096個。
原生的Snowflake演算法是完全依賴於時間的，如果有時鐘回撥的情況發生，會生成重複的ID，市場上的解決方案也是非常多的：
- 最簡單的方案，就是關閉生成唯一ID機器的時間同步。
- 使用阿里雲的的時間伺服器進行同步，2017年1月1日的閏秒調整，阿里雲伺服器NTP系統24小時“消化”閏秒，完美解決了問題。
- 如果發現有時鐘回撥，時間很短比如
5毫秒,就等待，然後再生成。或者就直接報錯，交給業務層去處理。 - 可以找2bit位作為時鐘回撥位，發現有時鐘回撥就將回撥位加1，達到最大位後再從0開始進行迴圈。
個人比較推薦的是最後一個方案
找2bit位作為時鐘回撥位，發現有時鐘回撥就將回撥位加1，達到最大位後再從0開始進行迴圈。
比如下圖這樣，從機器位上，均出來2位做回撥位：
Sonyflake
Snowflake演算法是相當靈活的，我們可以根據自己的業務需要，對63 bit的的各個部分進行增減。索尼公司的Sonyflake對原生的Snowflake進行改進，重新分配了各部分的bit位:
- 39bit 來儲存時間戳，與原生的
Snowflake不同的地方是，Sonyflake是以10毫秒為單位來儲存時間的。這樣的話，可以使用的年限為174年比Snowflake長太多了。
const sonyflakeTimeUnit = 1e7 // nsec, i.e. 10 msec func toSonyflakeTime(t time.Time) int64 { return t.UTC().UnixNano() / sonyflakeTimeUnit } func currentElapsedTime(startTime int64) int64 { return toSonyflakeTime(time.Now()) - startTime }
8bit 做為序列號，每10毫最大生成256個，1秒最多生成25600個，比原生的
Snowflake少好多，如果感覺不夠用，目前的解決方案是跑多個例項生成同一業務的ID來彌補。16bit 做為機器號，預設的是當前機器的私有IP的最後兩位
sf.machineID, err = lower16BitPrivateIP()func lower16BitPrivateIP() (uint16, error) {
ip, err := privateIPv4()
if err != nil {
return 0, err
}
return uint16(ip[2])<<8 + uint16(ip[3]), nil
}對於時間回撥的問題Sonyflake簡單暴力，就是直接等待 :
func (sf *Sonyflake) NextID() (uint64, error) {
const maskSequence = uint16(1<<BitLenSequence - 1)
sf.mutex.Lock()
defer sf.mutex.Unlock()
current := currentElapsedTime(sf.startTime)
if sf.elapsedTime < current {
sf.elapsedTime = current
sf.sequence = 0
} else { // sf.elapsedTime >= current
sf.sequence = (sf.sequence + 1) & maskSequence
if sf.sequence == 0 {
sf.elapsedTime++
overtime := sf.elapsedTime - current
time.Sleep(sleepTime((overtime)))
}
}
return sf.toID()
}