1. 程式人生 > 實用技巧 >golang 使用pprof和go-torch做效能分析

golang 使用pprof和go-torch做效能分析

軟體開發過程中,專案上線並不是終點。上線後,還要對程式的取樣分析執行情況,並重構現有的功能,讓程式執行更高效更穩寫。 golang的工具包內自帶pprof功能,使找出程式中佔記憶體和CPU較多的部分功能方便了不少。加上uber的火焰圖,視覺化顯示,讓我們在分析程式時更簡單明瞭。pprof有兩個包用來分析程式一個是net/http/pprof另一個是runtime/pprof,net/http/pprof只是對runtime/pprof包進行封裝並用http暴露出來,如下圖原始碼所示:

使用net/http/pprof分析web服務

pprof分析web專案,非常的簡單隻需要匯入包即可。 _ "net/http/pprof" 編寫一個小的web伺服器

package main
 
import (
    "fmt"
    "math/rand"
    "net/http"
    _ "net/http/pprof"
    "time"
)
 
var Count int64 = 0
 
func main() {
    go calCount()
 
    http.HandleFunc("/test", test)
    http.HandleFunc("/data", handlerData)
 
    err := http.ListenAndServe(":9909", nil)
    if err != nil {
        panic(err)
    }
}
 
func handlerData(w http.ResponseWriter, r 
*http.Request) { qUrl := r.URL fmt.Println(qUrl) fibRev := Fib() var fib uint64 for i := 0; i < 5000; i++ { fib = fibRev() fmt.Println("fib = ", fib) } str := RandomStr(RandomInt(100, 500)) str = fmt.Sprintf("Fib = %d; String = %s", fib, str) w.Write([]
byte(str)) } func test(w http.ResponseWriter, r *http.Request) { fibRev := Fib() var fib uint64 index := Count arr := make([]uint64, index) var i int64 for ; i < index; i++ { fib = fibRev() arr[i] = fib fmt.Println("fib = ", fib) } time.Sleep(time.Millisecond * 500) str := fmt.Sprintf("Fib = %v", arr) w.Write([]byte(str)) } func Fib() func() uint64 { var x, y uint64 = 0, 1 return func() uint64 { x, y = y, x+y return x } } var letterRunes = []rune("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890") func RandomStr(num int) string { seed := time.Now().UnixNano() if seed <= 0 { seed = time.Now().UnixNano() } rand.Seed(seed) b := make([]rune, num) for i := range b { b[i] = letterRunes[rand.Intn(len(letterRunes))] } return string(b) } func RandomInt(min, max int) int { rand.Seed(time.Now().UnixNano()) return rand.Intn(max-min+1) + min } func calCount() { timeInterval := time.Tick(time.Second) for { select { case i := <-timeInterval: Count = int64(i.Second()) } } }

web服務監聽9909埠,web伺服器有兩個http方法: test: 根據當前的秒數做斐波那契計算; data: 做一個5000的斐波那契計算並返回一個隨機的字串執行程式,通過訪問http://localhost:9909/debug/pprof/可以檢視web版的profiles相關資訊

這幾個路徑表示的是

/debug/pprof/profile:訪問這個連結會自動進行 CPU profiling,持續 30s,並生成一個檔案供下載

/debug/pprof/block:Goroutine阻塞事件的記錄。預設每發生一次阻塞事件時取樣一次。

/debug/pprof/goroutines:活躍Goroutine的資訊的記錄。僅在獲取時取樣一次。

/debug/pprof/heap: 堆記憶體分配情況的記錄。預設每分配512K位元組時取樣一次。

/debug/pprof/mutex: 檢視爭用互斥鎖的持有者。

/debug/pprof/threadcreate: 系統執行緒建立情況的記錄。 僅在獲取時取樣一次。

分析CPU使用情況

使用命令分析CPU使用情況 go tool pprof httpdemo http://localhost:9909/debug/pprof/profile在預設情況下,Go語言的執行時系統會以100 Hz的的頻率對CPU使用情況進行取樣。也就是說每秒取樣100次,即每10毫秒會取樣一次。為什麼使用這個頻率呢?因為100 Hz既足夠產生有用的資料,又不至於讓系統產生停頓。並且100這個數上也很容易做換算,比如把總取樣計數換算為每秒的取樣數。實際上,這裡所說的對CPU使用情況的取樣就是對當前的Goroutine的堆疊上的程式計數器的取樣。

預設的取樣時間是30s 你可以通過-seconds 命令來指定取樣時間 。取樣完成後會進入命令列狀態:

可以輸入help檢視相關的命令.這裡說幾個常用的命令

top命令,輸入top命令預設是返加前10的佔用cpu的方法。當然人可以在命令後面加數字指定top數

list命令根據你的正則輸出相關的方法.直接跟可選項o 會輸出所有的方法。也可以指定方法名

如: handlerData方法佔cpu的100%

web命令:以網頁的形式展現:更直觀的顯示cpu的使用情況【windows 下需要下載Graphviz,下載後需要配置環境變數path ,不認會提示錯誤】

分析記憶體使用情況

和分析cpu差不多使用命令 go tool pprof httpdemo http://localhost:9909/debug/pprof/heap

預設情況下取樣時只取當前記憶體使用情況,可以加可選命令alloc_objects,將從程式開始時的記憶體取樣 go tool pprof -alloc_objects httpdemo http://localhost:9909/debug/pprof/heap

和cpu的命令一樣,top list web。不同的是這裡顯示的是記憶體使用情況而已。這裡我就不演示了。

安裝go-torch

還有更方便的工具就是uber的go-torch了 安裝很簡單

  1. go get github.com/uber/go-torch
  2. cd $GOPATH/src/github.com/uber/go-torch
  3. git clone https://github.com/brendangregg/FlameGraph.git

然後執行FlameGraph下的 拷貝flamegraph.pl 到 /usr/local/bin

火焰圖分析CPU

使用命令 go-torch -u http://localhost:9909 --seconds 60 -f cpu.svg

在windows 下會提示: [0mFailed: could not generate flame graph: fork/exec D:\GoProject\src\FlameGraph\flamegraph.pl: %1 is not a valid Win32 application. 解決辦法如下:

先下載perlhttps://www.activestate.com/products/perl/downloads/ 或者https://pan.baidu.com/s/107UTzX-9_vgFPTW93Ec3AA【需要確保添加了環境變數, 可以通過perl -v 檢視版本,安裝路徑中不要有空格 比如Program Files 中有空格也是有問題的 】

會在當前目錄下生成cpu.svg檔案,使用瀏覽器開啟

更直觀的看到應用程式的問題。handlerData方法佔用的cpu時間過長。然後就是去程式碼裡分析並優化了。

火焰圖分析記憶體

使用命令

go-torch  http://localhost:9909/debug/pprof/heap --colors mem  -f mem.svg

會在當前目錄下生成cpu.svg檔案,使用瀏覽器開啟

參考:

https://blog.csdn.net/u014023993/article/details/98161776

https://www.jianshu.com/p/a22174de24c7?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

https://www.cnblogs.com/li-peng/p/9391543.html