1. 程式人生 > 程式設計 >深入理解Golang之http server的實現

深入理解Golang之http server的實現

前言

對於Golang來說,實現一個簡單的 http server 非常容易,只需要短短几行程式碼。同時有了協程的加持,Go實現的 http server 能夠取得非常優秀的效能。這篇文章將會對go標準庫 net/http 實現http服務的原理進行較為深入的探究,以此來學習瞭解網路程式設計的常見正規化以及設計思路。

HTTP服務

基於HTTP構建的網路應用包括兩個端,即客戶端( Client )和服務端( Server )。兩個端的互動行為包括從客戶端發出 request 、服務端接受 request 進行處理並返回 response 以及客戶端處理 response 。所以http伺服器的工作就在於如何接受來自客戶端的 request

,並向客戶端返回 response

典型的http服務端的處理流程可以用下圖表示:

伺服器在接收到請求時,首先會進入路由( router ),這是一個 Multiplexer ,路由的工作在於為這個 request 找到對應的處理器( handler ),處理器對 request 進行處理,並構建 response 。Golang實現的 http server 同樣遵循這樣的處理流程。

我們先看看Golang如何實現一個簡單的 http server

package main

import (
 "fmt"
 "net/http"
)

func indexHandler(w http.ResponseWriter,r *http.Request) {
 fmt.Fprintf(w,"hello world")
}

func main() {
 http.HandleFunc("/",indexHandler)
 http.ListenAndServe(":8000",nil)
}

執行程式碼之後,在瀏覽器中開啟 localhost:8000 就可以看到 hello world 。這段程式碼先利用 http.HandleFunc 在根路由 / 上註冊了一個 indexHandler,然後利用 http.ListenAndServe 開啟監聽。當有請求過來時,則根據路由執行對應的 handler 函式。

我們再來看一下另外一種常見的 http server 實現方式:

package main

import (
 "fmt"
 "net/http"
)

type indexHandler struct {
 content string
}

func (ih *indexHandler) ServeHTTP(w http.ResponseWriter,ih.content)
}

func main() {
 http.Handle("/",&indexHandler{content: "hello world!"})
 http.ListenAndServe(":8001",nil)
}

Go實現的 http 服務步驟非常簡單,首先註冊路由,然後建立服務並開啟監聽即可。下文我們將從註冊路由、開啟服務、處理請求這幾個步驟瞭解Golang如何實現 http 服務。

註冊路由

http.HandleFunchttp.Handle 都是用於註冊路由,可以發現兩者的區別在於第二個引數,前者是一個具有 func(w http.ResponseWriter,r *http.Requests) 簽名的函式,而後者是一個結構體,該結構體實現了 func(w http.ResponseWriter,r *http.Requests) 簽名的方法。

http.HandleFunchttp.Handle 的原始碼如下:

func HandleFunc(pattern string,handler func(ResponseWriter,*Request)) {
 DefaultServeMux.HandleFunc(pattern,handler)
}

// HandleFunc registers the handler function for the given pattern.
func (mux *ServeMux) HandleFunc(pattern string,*Request)) {
 if handler == nil {
  panic("http: nil handler")
 }
 mux.Handle(pattern,HandlerFunc(handler))
}
func Handle(pattern string,handler Handler) { 
 DefaultServeMux.Handle(pattern,handler)
}

可以看到這兩個函式最終都由 DefaultServeMux 呼叫 Handle 方法來完成路由的註冊。

這裡我們遇到兩種型別的物件: ServeMuxHandler ,我們先說 Handler

Handler

Handler 是一個介面:

type Handler interface {
 ServeHTTP(ResponseWriter,*Request)
}

Handler 介面中聲明瞭名為 ServeHTTP 的函式簽名,也就是說任何結構只要實現了這個 ServeHTTP 方法,那麼這個結構體就是一個 Handler 物件。其實go的 http 服務都是基於 Handler 進行處理,而 Handler 物件的 ServeHTTP 方法也正是用以處理 request 並構建 response 的核心邏輯所在。

回到上面的 HandleFunc 函式,注意一下這行程式碼:

mux.Handle(pattern,HandlerFunc(handler))

可能有人認為 HandlerFunc 是一個函式,包裝了傳入的 handler 函式,返回了一個 Handler 物件。然而這裡 HandlerFunc 實際上是將 handler 函式做了一個 型別轉換 ,看一下 HandlerFunc 的定義:

type HandlerFunc func(ResponseWriter,*Request)

// ServeHTTP calls f(w,r).
func (f HandlerFunc) ServeHTTP(w ResponseWriter,r *Request) {
 f(w,r)
}

HandlerFunc 是一個型別,只不過表示的是一個具有 func(ResponseWriter,*Request) 簽名的函式型別,並且這種型別實現了 ServeHTTP 方法(在 ServeHTTP 方法中又呼叫了自身),也就是說這個型別的函式其實就是一個 Handler 型別的物件。利用這種型別轉換,我們可以將一個 handler 函式轉換為一個

Handler 物件,而不需要定義一個結構體,再讓這個結構實現 ServeHTTP 方法。讀者可以體會一下這種技巧。

ServeMux

Golang中的路由(即 Multiplexer )基於 ServeMux 結構,先看一下 ServeMux 的定義:

type ServeMux struct {
 mu sync.RWMutex
 m  map[string]muxEntry
 es []muxEntry // slice of entries sorted from longest to shortest.
 hosts bool  // whether any patterns contain hostnames
}

type muxEntry struct {
 h  Handler
 pattern string
}

這裡重點關注 ServeMux 中的欄位 m ,這是一個 mapkey 是路由表示式, value 是一個 muxEntry 結構, muxEntry 結構體儲存了對應的路由表示式和 handler

值得注意的是, ServeMux 也實現了 ServeHTTP 方法:

func (mux *ServeMux) ServeHTTP(w ResponseWriter,r *Request) {
 if r.RequestURI == "*" {
  if r.ProtoAtLeast(1,1) {
   w.Header().Set("Connection","close")
  }
  w.WriteHeader(StatusBadRequest)
  return
 }
 h,_ := mux.Handler(r)
 h.ServeHTTP(w,r)
}

也就是說 ServeMux 結構體也是 Handler 物件,只不過 ServeMuxServeHTTP 方法不是用來處理具體的 request 和構建 response ,而是用來確定路由註冊的 handler

註冊路由

搞明白 HandlerServeMux 之後,我們再回到之前的程式碼:

DefaultServeMux.Handle(pattern,handler)

這裡的 DefaultServeMux 表示一個預設的 Multiplexer ,當我們沒有建立自定義的 Multiplexer ,則會自動使用一個預設的 Multiplexer

然後再看一下 ServeMuxHandle 方法具體做了什麼:

func (mux *ServeMux) Handle(pattern string,handler Handler) {
 mux.mu.Lock()
 defer mux.mu.Unlock()

 if pattern == "" {
  panic("http: invalid pattern")
 }
 if handler == nil {
  panic("http: nil handler")
 }
 if _,exist := mux.m[pattern]; exist {
  panic("http: multiple registrations for " + pattern)
 }

 if mux.m == nil {
  mux.m = make(map[string]muxEntry)
 }
 // 利用當前的路由和handler建立muxEntry物件
 e := muxEntry{h: handler,pattern: pattern}
 // 向ServeMux的map[string]muxEntry增加新的路由匹配規則
 mux.m[pattern] = e
 // 如果路由表示式以'/'結尾,則將對應的muxEntry物件加入到[]muxEntry中,按照路由表示式長度排序
 if pattern[len(pattern)-1] == '/' {
  mux.es = appendSorted(mux.es,e)
 }

 if pattern[0] != '/' {
  mux.hosts = true
 }
}

Handle 方法主要做了兩件事情:一個就是向 ServeMuxmap[string]muxEntry 增加給定的路由匹配規則;然後如果路由表示式以 '/' 結尾,則將對應的 muxEntry 物件加入到 []muxEntry 中,按照路由表示式長度排序。前者很好理解,但後者可能不太容易看出來有什麼作用,這個問題後面再作分析。

自定義ServeMux

我們也可以建立自定義的 ServeMux 取代預設的 DefaultServeMux

package main

import (
 "fmt"
 "net/http"
)

func indexHandler(w http.ResponseWriter,"hello world")
}

func htmlHandler(w http.ResponseWriter,r *http.Request) {
 w.Header().Set("Content-Type","text/html")
 html := `<!doctype html>
 <META http-equiv="Content-Type" content="text/html" charset="utf-8">
 <html lang="zh-CN">
   <head>
     <title>Golang</title>
     <meta name="viewport" content="width=device-width,initial-scale=1.0,maximum-scale=1.0,user-scalable=0;" />
   </head>
   <body>
    <div id="app">Welcome!</div>
   </body>
 </html>`
 fmt.Fprintf(w,html)
}

func main() {
 mux := http.NewServeMux()
 mux.Handle("/",http.HandlerFunc(indexHandler))
 mux.HandleFunc("/welcome",htmlHandler)
 http.ListenAndServe(":8001",mux)
}

NewServeMux() 可以建立一個 ServeMux 例項,之前提到 ServeMux 也實現了 ServeHTTP 方法,因此 mux 也是一個 Handler 物件。對於 ListenAndServe() 方法,如果傳入的 handler 引數是自定義 ServeMux 例項 mux ,那麼 Server 例項接收到的路由物件將不再是 DefaultServeMux 而是 mux

開啟服務

首先從 http.ListenAndServe 這個方法開始:

func ListenAndServe(addr string,handler Handler) error {
 server := &Server{Addr: addr,Handler: handler}
 return server.ListenAndServe()
}

func (srv *Server) ListenAndServe() error {
 if srv.shuttingDown() {
  return ErrServerClosed
 }
 addr := srv.Addr
 if addr == "" {
  addr = ":http"
 }
 ln,err := net.Listen("tcp",addr)
 if err != nil {
  return err
 }
 return srv.Serve(tcpKeepAliveListener{ln.(*net.TCPListener)})
}

這裡先建立了一個 Server 物件,傳入了地址和 handler 引數,然後呼叫 Server 物件 ListenAndServe() 方法。

看一下 Server 這個結構體, Server 結構體中欄位比較多,可以先大致瞭解一下:

type Server struct {
 Addr string // TCP address to listen on,":http" if empty
 Handler Handler // handler to invoke,http.DefaultServeMux if nil
 TLSConfig *tls.Config
 ReadTimeout time.Duration
 ReadHeaderTimeout time.Duration
 WriteTimeout time.Duration
 IdleTimeout time.Duration
 MaxHeaderBytes int
 TLSNextProto map[string]func(*Server,*tls.Conn,Handler)
 ConnState func(net.Conn,ConnState)
 ErrorLog *log.Logger

 disableKeepAlives int32  // accessed atomically.
 inShutdown  int32  // accessed atomically (non-zero means we're in Shutdown)
 nextProtoOnce  sync.Once // guards setupHTTP2_* init
 nextProtoErr  error  // result of http2.ConfigureServer if used

 mu   sync.Mutex
 listeners map[*net.Listener]struct{}
 activeConn map[*conn]struct{}
 doneChan chan struct{}
 onShutdown []func()
}

ServerListenAndServe 方法中,會初始化監聽地址 Addr ,同時呼叫 Listen 方法設定監聽。最後將監聽的TCP物件傳入 Serve 方法:

func (srv *Server) Serve(l net.Listener) error {
 ...

 baseCtx := context.Background() // base is always background,per Issue 16220
 ctx := context.WithValue(baseCtx,ServerContextKey,srv)
 for {
  rw,e := l.Accept() // 等待新的連線建立

  ...

  c := srv.newConn(rw)
  c.setState(c.rwc,StateNew) // before Serve can return
  go c.serve(ctx) // 建立新的協程處理請求
 }
}

這裡隱去了一些細節,以便了解 Serve 方法的主要邏輯。首先建立一個上下文物件,然後呼叫 ListenerAccept() 等待新的連線建立;一旦有新的連線建立,則呼叫 ServernewConn() 建立新的連線物件,並將連線的狀態標誌為 StateNew ,然後開啟一個新的 goroutine 處理連線請求。

處理連線

我們繼續探索 connserve() 方法,這個方法同樣很長,我們同樣只看關鍵邏輯。堅持一下,馬上就要看見大海了。

func (c *conn) serve(ctx context.Context) {

 ...

 for {
  w,err := c.readRequest(ctx)
  if c.r.remain != c.server.initialReadLimitSize() {
   // If we read any bytes off the wire,we're active.
   c.setState(c.rwc,StateActive)
  }

  ...

  // HTTP cannot have multiple simultaneous active requests.[*]
  // Until the server replies to this request,it can't read another,// so we might as well run the handler in this goroutine.
  // [*] Not strictly true: HTTP pipelining. We could let them all process
  // in parallel even if their responses need to be serialized.
  // But we're not going to implement HTTP pipelining because it
  // was never deployed in the wild and the answer is HTTP/2.
  serverHandler{c.server}.ServeHTTP(w,w.req)
  w.cancelCtx()
  if c.hijacked() {
   return
  }
  w.finishRequest()
  if !w.shouldReuseConnection() {
   if w.requestBodyLimitHit || w.closedRequestBodyEarly() {
    c.closeWriteAndWait()
   }
   return
  }
  c.setState(c.rwc,StateIdle) // 請求處理結束後,將連線狀態置為空閒
  c.curReq.Store((*response)(nil))// 將當前請求置為空

  ...
 }
}

當一個連線建立之後,該連線中所有的請求都將在這個協程中進行處理,直到連線被關閉。在 serve() 方法中會迴圈呼叫 readRequest() 方法讀取下一個請求進行處理,其中最關鍵的邏輯就是一行程式碼:

serverHandler{c.server}.ServeHTTP(w,w.req)

進一步解釋 serverHandler

type serverHandler struct {
 srv *Server
}

func (sh serverHandler) ServeHTTP(rw ResponseWriter,req *Request) {
 handler := sh.srv.Handler
 if handler == nil {
  handler = DefaultServeMux
 }
 if req.RequestURI == "*" && req.Method == "OPTIONS" {
  handler = globalOptionsHandler{}
 }
 handler.ServeHTTP(rw,req)
}

serverHandlerServeHTTP() 方法裡的 sh.srv.Handler 其實就是我們最初在 http.ListenAndServe() 中傳入的 Handler 物件,也就是我們自定義的 ServeMux 物件。如果該 Handler 物件為 nil ,則會使用預設的 DefaultServeMux 。最後呼叫 ServeMuxServeHTTP() 方法匹配當前路由對應的 handler 方法。

後面的邏輯就相對簡單清晰了,主要在於呼叫 ServeMuxmatch 方法匹配到對應的已註冊的路由表示式和 handler

// ServeHTTP dispatches the request to the handler whose
// pattern most closely matches the request URL.
func (mux *ServeMux) ServeHTTP(w ResponseWriter,r)
}

func (mux *ServeMux) handler(host,path string) (h Handler,pattern string) {
 mux.mu.RLock()
 defer mux.mu.RUnlock()

 // Host-specific pattern takes precedence over generic ones
 if mux.hosts {
  h,pattern = mux.match(host + path)
 }
 if h == nil {
  h,pattern = mux.match(path)
 }
 if h == nil {
  h,pattern = NotFoundHandler(),""
 }
 return
}

// Find a handler on a handler map given a path string.
// Most-specific (longest) pattern wins.
func (mux *ServeMux) match(path string) (h Handler,pattern string) {
 // Check for exact match first.
 v,ok := mux.m[path]
 if ok {
  return v.h,v.pattern
 }

 // Check for longest valid match. mux.es contains all patterns
 // that end in / sorted from longest to shortest.
 for _,e := range mux.es {
  if strings.HasPrefix(path,e.pattern) {
   return e.h,e.pattern
  }
 }
 return nil,""
}

match 方法裡我們看到之前提到的 map[string]muxEntry[]muxEntry 。這個方法裡首先會利用進行精確匹配,在 map[string]muxEntry 中查詢是否有對應的路由規則存在;如果沒有匹配的路由規則,則會進行近似匹配。

對於類似 /path1/path2/path3 這樣的路由,如果不能找到精確匹配的路由規則,那麼則會去匹配和當前路由最接近的已註冊的父路由,所以如果路由 /path1/path2/ 已註冊,那麼該路由會被匹配,否則繼續匹配父路由,知道根路由 /

由於 []muxEntry 中的 muxEntry 按照路由表達是從長到短排序,所以進行近似匹配時匹配到的路由一定是已註冊父路由中最接近的。

至此,Go實現的 http server 的大致原理介紹完畢!

總結

Golang通過 ServeMux 定義了一個多路器來管理路由,並通過 Handler 介面定義了路由處理函式的統一規範,即 Handler 都須實現 ServeHTTP 方法;同時 Handler 介面提供了強大的擴充套件性,方便開發者通過 Handler 介面實現各種中介軟體。相信大家閱讀下來也能感受到 Handler 物件在 server 服務的實現中真的無處不在。理解了 server 實現的基本原理,大家就可以在此基礎上閱讀一些第三方的 http server 框架,以及編寫特定功能的中介軟體。

以上。

參考資料

【Golang標準庫文件--net/http】

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。