golang json 性能分析
Json 作為一種重要的數據格式,具有良好的可讀性以及自描述性,廣泛地應用在各種數據傳輸場景中。Go 語言裏面原生支持了這種數據格式的序列化以及反序列化,內部使用反射機制實現,性能有點差,在高度依賴 json 解析的應用裏,往往會成為性能瓶頸,好在已有很多第三方庫幫我們解決了這個問題,但是這麽多庫,對於像我這種有選擇困難癥的人來說,到底要怎麽選擇呢,下面就給大家來一一分析一下
ffjson
go get -u github.com/pquerna/ffjson
原生的庫性能比較差的主要原因是使用了很多反射的機制,為了解決這個問題,ffjson 通過預編譯生成代碼,類型的判斷在預編譯階段已經確定,避免了在運行時的反射
但也因此在編譯前需要多一個步驟,需要先生成 ffjson 代碼,生成代碼只需要執行 ffjson <file.go>
就可以了,其中 file.go
是一個包含 json 結構體定義的 go 文件。註意這裏 ffjson 是這個庫提供的一個代碼生成工具,直接執行上面的 go get
會把這個工具安裝在 $GOPATH/bin
目錄下,把 $GOPATH/bin
加到 $PATH
環境變量裏面,可以全局訪問
另外,如果有些結構,不想讓 ffjson 生成代碼,可以通過增加註釋的方式
// ffjson: skip type Foo struct { Bar string } // ffjson: nodecoder type Foo struct { Bar string }
easyjson
go get -u github.com/mailru/easyjson/...
easyjson 的思想和 ffjson 是一致的,都是增加一個預編譯的過程,預先生成對應結構的序列化反序列化代碼,除此之外,easyjson 還放棄了一些原生庫裏面支持的一些不必要的特性,比如:key 類型聲明,key 大小寫不敏感等等,以達到更高的性能
生成代碼執行 easyjson -all <file.go>
即可,如果不指定 -all
參數,只會對帶有 //easyjson:json
的結構生成代碼
//easyjson:json type A struct { Bar string }
jsoniter
go get -u github.com/json-iterator/go
這是一個很神奇的庫,滴滴開發的,不像 easyjson 和 ffjson 都使用了預編譯,而且 100% 兼容原生庫,但是性能超級好,也不知道怎麽實現的,如果有人知道的話,可以告訴我一下嗎?
使用上面,你只要把所有的
import "encoding/json"
替換成
import "github.com/json-iterator/go"
var json = jsoniter.ConfigCompatibleWithStandardLibrary
就可以了,其它都不需要動
codec-json
go get -u github.com/ugorji/go/codec
這個庫裏面其實包含很多內容,json 只是其中的一個功能,比較老,使用起來比較麻煩,性能也不是很好
jsonparser
go get -u github.com/buger/jsonparser
嚴格來說,這個庫不屬於 json 序列化的庫,只是提供了一些 json 解析的接口,使用的時候需要自己去設置結構裏面的值,事實上,每次調用都需要重新解析 json 對象,性能並不是很好
就像名字暗示的那樣,這個庫只是一個解析庫,並沒有序列化的接口
性能測試
對上面這些 json 庫,作了一些性能測試,測試代碼在:https://github.com/hatlonely/hellogolang/blob/master/internal/json/json_benchmark_test.go,下面是在我的 Macbook 上測試的結果(實際結果和庫的版本以及機器環境有關,建議自己再測試一遍):
BenchmarkMarshalStdJson-4 1000000 1097 ns/op
BenchmarkMarshalJsonIterator-4 2000000 781 ns/op
BenchmarkMarshalFfjson-4 2000000 941 ns/op
BenchmarkMarshalEasyjson-4 3000000 513 ns/op
BenchmarkMarshalCodecJson-4 1000000 1074 ns/op
BenchmarkMarshalCodecJsonWithBufio-4 1000000 2161 ns/op
BenchmarkUnMarshalStdJson-4 500000 2512 ns/op
BenchmarkUnMarshalJsonIterator-4 2000000 591 ns/op
BenchmarkUnMarshalFfjson-4 1000000 1127 ns/op
BenchmarkUnMarshalEasyjson-4 2000000 608 ns/op
BenchmarkUnMarshalCodecJson-4 20000 122694 ns/op
BenchmarkUnMarshalCodecJsonWithBufio-4 500000 3417 ns/op
BenchmarkUnMarshalJsonparser-4 2000000 877 ns/op
從上面的結果可以看出來:
- easyjson 無論是序列化還是反序列化都是最優的,序列化提升了1倍,反序列化提升了3倍
- jsoniter 性能也很好,接近於easyjson,關鍵是沒有預編譯過程,100%兼容原生庫
- ffjson 的序列化提升並不明顯,反序列化提升了1倍
- codecjson 和原生庫相比,差不太多,甚至更差
- jsonparser 不太適合這樣的場景,性能提升並不明顯,而且沒有反序列化
所以綜合考慮,建議大家使用 jsoniter,如果追求極致的性能,考慮 easyjson
參考鏈接
ffjson: https://github.com/pquerna/ffjson
easyjson: https://github.com/mailru/easyjson
jsoniter: https://github.com/json-iterator/go
jsonparser: https://github.com/buger/jsonparser
codecjson: http://ugorji.net/blog/go-codec-primer
轉載請註明出處
本文鏈接:http://hatlonely.github.io/2018/01/28/golang-json-性能分析/
golang json 性能分析