解決golang處理http response碰到的問題和需要注意的點
在處理http response的時候,偶然發現,body讀取之後想再次讀取的時候,發現讀不到任何東西。
見下方程式碼:
response,err = ioutil.ReadAll(resp.Body) if err != nil { log.Println("ioutil ReadAll failed :",err.Error()) return }
之後如果想再次ioutil.ReadAll(resp.Body)的時候會發現讀到的是空。於是我決定去看一下這個resp.Body,發現它是一個io.ReadCloser介面,包含了Reader和Closer介面:
type ReadCloser interface { Reader Closer }
於是我想到了檔案,它也實現了io.Reader介面,所以用讀檔案試了下:
func readFile(path string)string{ fi,err := os.Open(path) if err != nil{panic(err)} defer fi.Close() byte1,err := ioutil.ReadAll(fi) fmt.Println(string(byte1)) byte2,err := ioutil.ReadAll(fi) fmt.Println(string(byte2)) return string(fd) }
發現結果是一致的,fmt.Println(string(fd2))打印不出任何結果。
我猜測應該是ioutil.ReadAll()是有記錄偏移量,所以會出現第二次讀取讀不到的情況。
作為client端處理response的時候會碰到這個問題,作為server端要處理request body的時候,一樣會遇到此問題,那麼該如何解決這個問題呢?
有一個方法是再造一個io.ReadCloser,如下:
fi2:= ioutil.NopCloser(bytes.NewBuffer(byte1)) byte3,err := ioutil.ReadAll(fi2) fmt.Println(string(byte3))
此外,作為client端處理response的時候,有一點要注意的是,body一定要close,否則會造成GC回收不到,繼而產生記憶體洩露。其實在go的官方原始碼註釋中,也明確註明了response body需要呼叫方進行手動關閉:It is the caller's responsibility to close Body.
至於response body為什麼需要進行關閉,這篇文章進行了解釋:
https://www.jb51.net/article/146275.htm
那麼作為client端生成的request body,需不需要手動關閉呢,答案是不需要的,net/http中的func (c *Client) Do(req *Request) (*Response,error)會呼叫Close()。
同樣的,作為server端接收的request body,也是需要關閉,由Server自動進行關閉,The Server will close the request body. The ServeHTTP Handler does not need to.
補充:golang net/http包之設定 http response 響應頭詳解
01 設定WriteHeader的順序問題
之前遇到個問題,在一段程式碼中這樣設定WriteHeader,最後在header中取Name時怎麼也取不到。
w.WriteHeader(201)
w.Header().Set("Name","my name is smallsoup")
用 golang 寫 http server 時,可以很方便可通過 w.Header.Set(k,v) 來設定 http response 中 header 的內容。但是需要特別注意的是:某些時候不僅要修改 response的header ,還要修改 response的StatusCode。修改response的StatusCode 可以通過:w.WriteHeader(code) 來實現,例如:
w.WriteHeader(404)
如果這兩種修改一起做,就必須讓 w.WriteHeader 在所有的 w.Header.Set 之後,因為 w.WriteHeader 後 Set Header 是無效的。
而且必須是在 w.Write([]byte("HelloWorld")) 之前,否則會報 http: multiple response.WriteHeader calls 因為其實呼叫w.Write的時候也會呼叫WriteHeader()方法,然後將w.wroteHeader置為true,再次調WriteHeader()則會判斷wroteHeader,如果是true則會報錯,而且本次呼叫不生效。
可以看以下原始碼說明WriteHeader必須在Write之前呼叫。
func (w *response) WriteHeader(code int) { if w.conn.hijacked() { w.conn.server.logf("http: response.WriteHeader on hijacked connection") return } //第二次WriteHeader()進來滿足if條件就報錯直接return if w.wroteHeader { w.conn.server.logf("http: multiple response.WriteHeader calls") return } //第一次write()進來這裡會將w.wroteHeader置為true w.wroteHeader = true w.status = code if w.calledHeader && w.cw.header == nil { w.cw.header = w.handlerHeader.clone() } if cl := w.handlerHeader.get("Content-Length"); cl != "" { v,err := strconv.ParseInt(cl,10,64) if err == nil && v >= 0 { w.contentLength = v } else { w.conn.server.logf("http: invalid Content-Length of %q",cl) w.handlerHeader.Del("Content-Length") } } }
2. go會對Header中的key進行規範化處理
go會對Header中的key進行規範化處理,所以在獲取response的Header中的K,V值時一定要小心。
reader.go中非匯出方法canonicalMIMEHeaderKey中有這樣一段,會將header的key進行規範化處理。
1)reader.go中定義了isTokenTable陣列,如果key的長度大於127或者包含不在isTokenTable中的字元,則該key不會被處理。
2)將key的首字母大寫,字元 - 後的單詞的首字母也大寫。
分析如下原始碼,可以解釋對key的大寫處理:
for i,c := range a { // 規範化:首字母大寫 // - 之後單子的首字母大寫 // 如:(Host,User-Agent,If-Modified-Since). if upper && 'a' <= c && c <= 'z' { //大寫轉小寫 c -= toLower } else if !upper && 'A' <= c && c <= 'Z' { //小寫轉大寫 c += toLower } //重新給key陣列賦值 a[i] = c //設定大小寫標誌位 upper = c == '-' // for next time }
正確的呼叫方式:
伺服器:
myServer.go
package main import ( "net/http" ) func main() { http.HandleFunc("/",func (w http.ResponseWriter,r *http.Request){ w.Header().Set("name","my name is smallsoup") w.WriteHeader(500) w.Write([]byte("hello world\n")) }) http.ListenAndServe(":8080",nil) }
客戶端:
myHttp.go:
package main import ( "fmt" "io/ioutil" "net/http" ) func main() { myHttpGet() } func myHttpGet() { rsp,err := http.Get("http://localhost:8080") if err != nil { fmt.Println("myHttpGet error is ",err) return } defer rsp.Body.Close() body,err := ioutil.ReadAll(rsp.Body) if err != nil { fmt.Println("myHttpGet error is ",err) return } fmt.Println("response statuscode is ",rsp.StatusCode,"\nhead[name]=",rsp.Header["Name"],"\nbody is ",string(body)) }
1.執行伺服器
go run myServer.go
2.執行客戶端
go run myHttp.go
輸出如下:statuscode是我們設定的500,Name也取到了值。
以上為個人經驗,希望能給大家一個參考,也希望大家多多支援我們。如有錯誤或未考慮完全的地方,望不吝賜教。