go中waitGroup原始碼解讀
阿新 • • 發佈：2021-03-08
- [waitGroup原始碼刨銑](#waitgroup%E6%BA%90%E7%A0%81%E5%88%A8%E9%93%A3)
- [前言](#%E5%89%8D%E8%A8%80)
- [WaitGroup實現](#waitgroup%E5%AE%9E%E7%8E%B0)
- [noCopy](#nocopy)
- [state1](#state1)
- [Add](#add)
- [Wait](#wait)
- [總結](#%E6%80%BB%E7%BB%93)
- [參考](#%E5%8F%82%E8%80%83)
## waitGroup原始碼刨銑
### 前言
學習下waitGroup的實現
本文是在`go version go1.13.15 darwin/amd64`上進行的
### WaitGroup實現
看一個小demo
```go
func waitGroup() {
var wg sync.WaitGroup
wg.Add(4)
go func() {
defer wg.Done()
fmt.Println(1)
}()
go func() {
defer wg.Done()
fmt.Println(2)
}()
go func() {
defer wg.Done()
fmt.Println(3)
}()
go func() {
defer wg.Done()
fmt.Println(4)
}()
wg.Wait()
fmt.Println("1 2 3 4 end")
}
```
1、啟動goroutine前將計數器通過`Add(4)`將計數器設定為待啟動的`goroutine`個數。
2、啟動`goroutine`後，使用`Wait()`方法阻塞主協程，等待計數器變為0。
3、每個`goroutine`執行結束通過`Done()`方法將計數器減1。
4、計數器變為0後，阻塞的`goroutine`被喚醒。
看下具體的實現
```go
// WaitGroup 不能被copy
type WaitGroup struct {
noCopy noCopy
state1 [3]uint32
}
```
#### noCopy
意思就是不讓copy,是如何實現的呢？
> Go中沒有原生的禁止拷貝的方式，所以如果有的結構體，你希望使用者無法拷貝，只能指標傳遞保證全域性唯一的話，可以這麼幹，定義 一個結構體叫 noCopy，實現如下的介面，然後嵌入到你想要禁止拷貝的結構體中，這樣go vet就能檢測出來。
```go
// noCopy may be embedded into structs which must not be copied
// after the first use.
//
// See https://golang.org/issues/8005#issuecomment-190753527
// for details.
type noCopy struct{}
// Lock is a no-op used by -copylocks checker from `go vet`.
func (*noCopy) Lock() {}
func (*noCopy) Unlock() {}
```
測試下
```go
type noCopy struct{}
func (*noCopy) Lock() {}
func (*noCopy) Unlock() {}
type Person struct {
noCopy noCopy
name string
}
// go中的函式傳參都是值拷貝
func test(person Person) {
fmt.Println(person)
}
func main() {
var person Person
test(person)
}
```
go vet main.go
```go
$ go vet main.go
# command-line-arguments
./main.go:18:18: test passes lock by value: command-line-arguments.Person contains command-line-arguments.noCopy
./main.go:19:14: call of fmt.Println copies lock value: command-line-arguments.Person contains command-line-arguments.noCopy
./main.go:24:7: call of test copies lock value: command-line-arguments.Person contains command-line-arguments.noCopy
```
使用vet檢測到了不能copy的錯誤
#### state1
```go
// 64 位值: 高 32 位用於計數，低 32 位用於等待計數
// 64 位的原子操作要求 64 位對齊，但 32 位編譯器無法保證這個要求
// 因此分配 12 位元組然後將他們對齊，其中 8 位元組作為狀態，其他 4 位元組用於儲存原語
state1 [3]uint32
```
這點是`wait_group`很巧妙的一點，大神寫程式碼的思路就是驚奇
這個設計很奇妙，通過記憶體對齊來處理`wait_group`中的waiter數、計數值、訊號量。什麼是記憶體對齊可參考[什麼是記憶體對齊，go中記憶體對齊分析](https://www.cnblogs.com/ricklz/p/14455135.html)
來分析下`state1`是如何記憶體對齊來處理幾個計數值的儲存
計算機為了加快記憶體的訪問速度，會對記憶體進行對齊處理，CPU把記憶體當作一塊一塊的，塊的大小可以是2、4、8、16位元組大小，因此CPU讀取記憶體是一塊一塊讀取的。
合理的記憶體對齊可以提高記憶體讀寫的效能，並且便於實現變數操作的原子性。
在不同平臺上的編譯器都有自己預設的 “對齊係數”，可通過預編譯命令#pragma pack(n)進行變更，n就是代指 “對齊係數”。
一般來講，我們常用的平臺的係數如下：
- 32 位：4
- 64 位：8
`state1`這塊就相容了兩種平臺的對齊係數
對於64未系統來講。記憶體訪問的步長是8。也就是cpu一次訪問8位偏移量的記憶體空間。當時對於32未的系統，記憶體的對齊係數是4，也就是訪問的步長是4個偏移量。
所以為了相容這兩種模式，這裡採用了`uint32`結構的陣列，保證在不同型別的機器上都是`12`個位元組，一個`uint32`是4位元組。這樣對於32位的4步長訪問是沒有問題了，64位的好像也沒有解決，8步長的訪問會一次讀入兩個`uint32`的長度。
所以，下面的讀取也進行了操作，將兩個`uint32`的記憶體放到一個`uint64`中返回，這樣就同時解決了32位和64位訪問步長的問題。
所以，64位系統和32位系統，`state1`中`counter，waiter，semaphore`的記憶體佈局是不一樣的。
| | state [0] | state [1] | state [2] |
| :------: | :------: | :------: | :------: |
| 64位 | waiter | counter | semaphore |
| 32位 | semaphore | waiter | counter |
`counter`位於高地址位，`waiter`位於地址位
### 總結
程式碼中我感到設計比較巧妙的有兩個部分：
1、`state1`的處理，保證記憶體對齊，設定高低位記憶體來儲存不同的值，同時32位和64位平臺的處理方式還不同；
2、訊號量的阻塞退出，這塊最後一個`Done`退出的時候，才會觸發阻塞訊號量，退出`Wait()`，然後結束整個`waitGroup`。再此之前，當Wait()在成功將waiter變數+1操作之後，就會被`runtime_Semacquire`阻塞，直到最後一個`Done`，訊號的發出。
對於`WaitGroup`的使用
1、計數器的值不能為負數，可能是`Add(-1)`觸發的，也可能是`Done()`觸發的，否則會panic;
2、`Add`數量的新增，要發生在`Wait()`之前；
3、`WaitGroup`是可以重用的，但是需要等上一批的`goroutine` 都呼叫`Wait`完畢後才能繼續重用`WaitGroup`。
### 參考
【《Go專家程式設計》Go WaitGroup實現原理】https://my.oschina.net/renhc/blog/2249061
【Go中由WaitGroup引發對記憶體對齊思考】https://cloud.tencent.com/developer/article/1776930
【Golang 之 WaitGroup 原始碼解析】https://www.linkinstar.wiki/2020/03/15/golang/source-code/sync-waitgroup-source-code/
【sync.WaitGroup】https://golang.design/under-the-hood/zh-cn/part1basic/ch05sync/waitgr
### 總結
程式碼中我感到設計比較巧妙的有兩個部分：
1、`state1`的處理，保證記憶體對齊，設定高低位記憶體來儲存不同的值，同時32位和64位平臺的處理方式還不同；
2、訊號量的阻塞退出，這塊最後一個`Done`退出的時候，才會觸發阻塞訊號量，退出`Wait()`，然後結束整個`waitGroup`。再此之前，當Wait()在成功將waiter變數+1操作之後，就會被`runtime_Semacquire`阻塞，直到最後一個`Done`，訊號的發出。
對於`WaitGroup`的使用
1、計數器的值不能為負數，可能是`Add(-1)`觸發的，也可能是`Done()`觸發的，否則會panic;
2、`Add`數量的新增，要發生在`Wait()`之前；
3、`WaitGroup`是可以重用的，但是需要等上一批的`goroutine` 都呼叫`Wait`完畢後才能繼續重用`WaitGroup`。
### 參考
【《Go專家程式設計》Go WaitGroup實現原理】https://my.oschina.net/renhc/blog/2249061
【Go中由WaitGroup引發對記憶體對齊思考】https://cloud.tencent.com/developer/article/1776930
【Golang 之 WaitGroup 原始碼解析】https://www.linkinstar.wiki/2020/03/15/golang/source-code/sync-waitgroup-source-code/
【sync.WaitGroup】https://golang.design/under-the-hood/zh-cn/part1basic/ch05sync/waitgr