通過 Channel 實現 Goroutine Pool
阿新 • • 發佈：2019-08-26
最近用到了 Go 從 Excel 導資料到伺服器內部 用的是 http 請求
但是發現一個問題 從檔案讀取之後 新開 Goroutine 會無限制新增
導致全部卡在初始化請求 於是乎就卡死了
問題模擬
- 模擬程式碼
func main() { pool := sync.WaitGroup{} for i := 0; i < 500; i++ { pool.Add(1) go func(i int) { resp, err := http.Get("http://ip.3322.org") if err != nil { fmt.Println(i, err) } else { defer resp.Body.Close() result, _ := ioutil.ReadAll(resp.Body) fmt.Println(i, string(result)) } pool.Done() }(i) } pool.Wait() }
- 數量小的情況下 沒有問題 但是數量比較大的情況 就會發現程式直接卡死 一段時間之後報錯 並且沒有發出任何請求
問題解決
- 實際上看的出來 是應為同時發起了太多的HTTP請求 導致系統卡死 資料沒有傳送
- 想到我在Java中用Thread提交請求 我就考慮 可不可限制 Goroutine 的數量
- 使用強大的百度 果然找到了大佬已經寫好的協程池
- 程式碼如下 我加上了註釋
package gopool import ( "sync" ) // Pool Goroutine Pool type Pool struct { queue chan int wg *sync.WaitGroup } // New 新建一個協程池 func New(size int) *Pool { if size <= 0 { size = 1 } return &Pool{ queue: make(chan int, size), wg: &sync.WaitGroup{}, } } // Add 新增一個執行 func (p *Pool) Add(delta int) { // delta為正數就新增 for i := 0; i < delta; i++ { p.queue <- 1 } // delta為負數就減少 for i := 0; i > delta; i-- { <-p.queue } p.wg.Add(delta) } // Done 執行完成減一 func (p *Pool) Done() { <-p.queue p.wg.Done() } // Wait 等待Goroutine執行完畢 func (p *Pool) Wait() { p.wg.Wait() }
- 然後修改剛才的測試方法
package main import ( "io/ioutil" "log" "net/http" "yumc.pw/cloud/lib/gopool" ) func main() { // 這裡限制5個併發 pool := gopool.New(5)// sync.WaitGroup{} for i := 0; i < 500; i++ { pool.Add(1) go func(i int) { resp, err := http.Get("http://ip.3322.org") if err != nil { fmt.Println(i, err) } else { defer resp.Body.Close() result, _ := ioutil.ReadAll(resp.Body) fmt.Println(i, string(result)) } pool.Done() }(i) } pool.Wait() }
- 完美解決