雖然golang中協程開銷很低，但是在一些情況下還是有必要限制一下協程的開啟數，比如爬蟲中的下載協程，因為受到頻寬限制，開的多了也沒有效果。本來想在網上找找有沒協程池，類似其它語言執行緒池這樣的東西，可以限制最大開啟數。找了一番，這方面的資料非常少，難道golang不需要協程池這種東東？自己動手寫一個吧。

要限制協程最大數量，就是考慮開啟一個協程的時候記錄一下，然後超過最大數就不再開啟。可以考慮用一個變數count來記錄協程開啟數量，不過這種方式比較out了，golang中可以用channel來實現。

不限制的程式碼：

package main

import (
    "fmt"
 

    "strconv"
    "time"
)

// 模擬下載頁面的方法
func download(url string) {
    fmt.Println("download from ", url)
}

func main() {
    urls := [100]string{}
    for i := 0; i < 100; i++ {
        urls[i] = "url" + strconv.Itoa(i)
    }
    for i := 0; i < len(urls); i++ {
        go download(urls[i])
    }

    // 休眠一下
 

    for {
        time.Sleep(1 * 1e9)
    }
}

根據url數量開啟若干協程，每個協程會去下載頁面內容，通常受到頻寬的限制，協程開多了沒有什麼提升效果。

限制一下

package main

import (
    "fmt"
    "strconv"
    "time"
)

var (
    maxRoutineNum = 10
)

// 模擬下載頁面的方法
func download(url string, ch chan int) {
    fmt.Println("download from ", url)
    // 休眠兩秒模擬下載頁面
 

    time.Sleep(2 * 1e9)
    // 下載完成則從ch推出資料
    <-ch
}

func main() {
    ch := make(chan int, maxRoutineNum)

    urls := [100]string{}
    for i := 0; i < 100; i++ {
        urls[i] = "url" + strconv.Itoa(i)
    }
    for i := 0; i < len(urls); i++ {
        // 開啟下載協程前往ch塞一個數據
        // 如果ch滿了則會處於阻塞，從而達到限制最大協程的功能
        ch <- 1
        go download(urls[i], ch)
    }

    // 休眠一下
    for {
        time.Sleep(1 * 1e9)
    }
}

主要就是用golang中channel的阻塞性和最大數量處理，可以考慮封裝一下提供使用。

golang真的不需要協程池？