Python - Django - 000 - WSGI協議

阿新 • • 發佈：2019-12-31

Web開發的本質

簡答描述Web應用程式的本質，就是我們通過瀏覽器訪問網際網路上指定的網頁檔案展示到瀏覽器上。
流程如下圖：

從更深層次一點的技術角度來看，由一下幾個步驟：（1）瀏覽器，將要請求的內容按照HTTP協議傳送服務端
（2）服務端，根據請求內容找到指定的HTML頁面
（3）瀏覽器，解析請求到的HTML內容展示出來

web開發的歷程

靜態開發：

直接將寫好的html頁面放在伺服器上，然後通過瀏覽器訪問指定伺服器的檔案。

動態開發：

隨著需求變化靜態開發無法滿足需求，當頁面只有部分內容發生變化時，開發相同的頁面。
一是開發上是一種重複工作
二是資料量變化巨大時，速度慢且資料變化也不是定時更新
為了應對這種問題，動態網頁技術誕生。早期的動態網頁開發技術是CGI
CGI全程：Common Gateway Interface，通用閘道器介面，它是一段程式，執行在伺服器上如：HTTP伺服器，提供同客戶端HTML頁面的介面。
CGI程式可以是Python指令碼，PERL指令碼，SHELL指令碼，C或C++程式等等。

CGI流程

WSGI流程

1.WSGI協議定義

WSGI（Web Server Gateway Interface），WSGI既不是伺服器，也不是python模組、框架、API或者任何軟體，他只是一種規範，一種描述web server如何與web application 通訊的規範。要實現WSGI協議，必須同時實現web server和web application，當前執行在WSGI協議之上的web框架有Bottle，Flask，Django。

uwsgi：與WSGI一樣是一種通訊協議，是uWSGI伺服器的獨佔協議，用於定義和傳輸資訊的型別（type of information），每一個uwsgi packet前4byte為傳輸資訊型別的描述，與WSGI協議是兩種東西。

uWSGI：是一個web伺服器，實現了WSGI協議、uwsgi協議、http協議等。

WSGI協議主要包括server和application兩部分：

WSGI server負責從客戶端接收請求，將request轉發給application，將application返回的response返回給客戶端。
WSGI application接收由server轉發的request，處理請求，並將處理結果返回給server。application中可以包括多個棧式的中介軟體（middlewares），這些中介軟體需要同時實現server與application，因此可以在WSGI伺服器與WSGI應用之間起調節作用；對伺服器來說，中介軟體扮演應用程式，對應用程式來說，中介軟體扮演伺服器。

WSGI協議其實是定義了一種server與application解耦的規範，即可以有多個實現WSGI server的伺服器，也可以有多個實現WSGI application的框架，那麼就可以選擇任意的server和application組合實現自己的web應用。例如uWSGI和Gunicorn都是實現了WSGI server協議的伺服器，Flask是實現了WSGI application協議的web框架，可以根據專案實際情況搭配使用。

2.WSGI實現

因為實現WSGI協議必須要有 WSGI server和application，因此需要實現這兩部分內容。

元件Application

應用程式，是一個可重複呼叫的可呼叫物件，在Python中可以是一個函式，也可以是一個類，如果是類的話要實現__call__方法，要求這個可呼叫物件接收2個引數，返回一個內容結果。
接收的2個引數分別是environ和start_response.
（1）environ是web伺服器解析HTTP協議的一些資訊，例如請求方法，請求URL等資訊構成一個Dict物件。
（2）start_response是一個函式，接收2個引數，一個是HTTP狀態碼，一個HTTP訊息中的響應頭。

官網使用WSGI的wsgiref模組實現的小demo

def simple_app(environ,start_response):
    """Simple possible application object"""
    status = '200 OK'
    response_headers = [('Content-type','text/plain; charset=utf-8')]
    start_response(status,response_headers)
    
    return_body = []
    
    for key,value in environ.items():
        return_body.append("{}:{}".format(key,value))
        
    return_body.append("\nHello WSGI!")
    # 返回結果必須是bytes
    return ["\n".join(return_body).encode("utf-8")]
複製程式碼

元件Server

Web伺服器，主要是實現相應的資訊轉換，將網路請求中的資訊，按照HTTP協議將內容拿出，同時按照WSGI協議組裝成新的資料，同時將提供的start_response傳遞給Application。最後接收Application返回的內容，按照WSGI協議解析出。最終按照HTTP協議組織好內容返回就完成了一次請求。
Server操作的步驟如下：
（1）根據HTTP協議內容構建environ
（2）提供一個start_response函式，接收HTTP STATU和HTTP HEADER
（3）將environ和start_response作為引數呼叫Application
（4）接收Application返回的結果
（5）按照HTTP協議，順序寫入HTTP響應頭（start_response接收），HTTP響應體（Application返回結果）
一個實現的server

def make_server(host,port,app,server_class=WSGIServer,handler_class=WSGIRequestHandler):
    """Create a new WSGI server listening on host and port for app"""
    server = server_class((host,port),handler_class)
    server,set_app(app)
    return server
複製程式碼

WSGI規定每個Python程式（Application）必須是一個可呼叫的物件（實現了__call__函式的方法或者類），接受兩個引數environ（WSGI的環境資訊）和start_response（開始響應請求的函式），並且返回iterable。幾點說明：
（1）environ和start_response 由 http_server提供並實現
（2）environ變數包含了環境資訊的字典
（3）Application內部在返回前呼叫start_response
（4）start_response也是一個callable，接受兩個必須的引數，status（HTTP狀態）和response_headers（響應訊息的頭）
（5）可呼叫物件要返回一個值，這個值是可迭代的。

# 可呼叫物件是一個類
class AppClass:
    def __init__(self,environ,start_response):
        self.environ = environ
        self.start = start_response
        
    def __iter__(self):
        status = '200 OK'
        response_headers = [('Content-type','text/plain')]
        self.start(status,response_headers)
        yield "Hello World!\n"
複製程式碼

伺服器程式端

標準要能夠確切的實行，必須要求程式端和伺服器端共同遵守。
（1）準備environ函式
（2）定義start_response函式
（3）呼叫程式端的可呼叫物件

import os
import sys


def run_with_cgi(application):  # application 是程式端的可呼叫物件
    # 準備 environ 引數，這是一個字典，裡面的內容是一次 HTTP 請求的環境變數
    environ = dict(os.environ.items())
    environ['wsgi.input'] = sys.stdin
    environ['wsgi.errors'] = sys.stderr
    environ['wsgi.version'] = (1,0)
    environ['wsgi.multithread'] = False
    environ['wsgi.multiprocess'] = True
    environ['wsgi.run_once'] = True
    environ['wsgi.url_scheme'] = 'http'
    headers_set = []
    headers_sent = []

    # 把應答的結果輸出到終端
    def write(data):
        sys.stdout.write(data)
        sys.stdout.flush()

    # 實現 start_response 函式，根據程式端傳過來的 status 和 response_headers 引數，
    # 設定狀態和頭部
    def start_response(status,response_headers,exc_info=None):
        headers_set[:] = [status,response_headers]
        return write


# 呼叫客戶端的可呼叫物件，把準備好的引數傳遞過去
result = application(environ,start_response)

# 處理得到的結果，這裡簡單地把結果輸出到標準輸出。
try:
    for data in result:
        if data:  # don't send headers until body appears
            write(data)
finally:
    if hasattr(result,'close'):
        result.close()
複製程式碼

3.由Django框架分析WSGI

Django WSGI application

WSGI application應該實現為一個可呼叫iter物件，例如函式、方法、類（包含__call__方法）。需要接受兩個引數：

一個字典，該字典可以包含了客戶端請求的資訊以及其他資訊，可以認為是請求上下文，一般叫做environment（編碼中多簡寫為environ、env）。
一個用於傳送HTTP響應狀態（HTTP status）、響應頭（HTTP headers）的回撥函式，也就是start_response()。通過回撥函式將響應狀態和響應頭返回給server，同時返回響應正文（response body），響應正文是可迭代的、並且包含了多個字串。
下面是Django中application的具體實現部分：

class WSGIHandler(base.BaseHandler):
    initLock = Lock()
    request_class = WSGIRequest

    def __call__(self,start_response):
        # 載入中介軟體
        if self._request_middleware is None:
            with self.initLock:
                try:  # Check that middleware is still uninitialized.
                    if self._request_middleware is None:
                        self.load_middleware()
                except:  # Unload whatever middleware we got
                    self._request_middleware = None
                    raise
            set_script_prefix(get_script_name(environ))  # 請求處理之前傳送訊號
            signals.request_started.send(sender=self.__class__,environ=environ)
            try:
                request = self.request_class(environ)
            except UnicodeDecodeError:
                logger.warning('Bad Request (UnicodeDecodeError)',exc_info=sys.exc_info(),extra={'status_code': 400,}
                response = http.HttpResponseBadRequest()
        else:
        response = self.get_response(request)
        response._handler_class = self.__class__
        status = '%s %s' % (response.status_code,response.reason_phrase)
        response_headers = [(str(k),str(v)) for k,v in response.items()]
        for c in response.cookies.values(): 
            response_headers.append((str('Set-Cookie'),str(c.output(header=''))))
        # server提供的回撥方法，將響應的header和status返回給server
        start_response(force_str(status),response_headers)
        if getattr(response,'file_to_stream',None) is not None and environ.get('wsgi.file_wrapper'):
            response = environ['wsgi.file_wrapper'](response.file_to_stream)
    return response
複製程式碼

可以看出application的流程包括：載入所有的中介軟體,以及執行框架相關的操作，設定當前執行緒指令碼字首，傳送請求開始資訊；處理請求，呼叫get_response()方法處理當前請求，該方法的主要邏輯是通過urlconf找到對應的view和callback，按順序執行各種middleware和callback。呼叫由server傳入的start_response()方法將響應header與status返回給server。返回響應正文。

Django WSGI server

負責獲取http請求，將請求傳遞給WSGI application，由application處理請求後返回response。以Django內建立server為例看一下具體實現。通過runserver執行Django專案，在啟動時都會呼叫下面的run方法，建立一個WSGIServer例項，之後再呼叫其server_forever()方法啟動服務。

def run(addr,wsgi_handler,ipv6=False,threading=False):
    server_address = (addr,port)
    if threading:
        httpd_cls = type(str('WSGIServer'),(socketserver.ThreadingMixIn,WSGIServer),{})
    else:
        httpd_cls = WSGIServer  # 這裡的wsgi_handler就是WSGIApplication
    httpd = httpd_cls(server_address,WSGIRequestHandler,ipv6=ipv6)
    if threading:
        httpd.daemon_threads = True
        httpd.set_app(wsgi_handler)
    httpd.serve_forever()
複製程式碼

下面表示WSGI server伺服器處理流程中關鍵的類和方法：

WSGIServer

run()方法會建立WSGIServer例項，主要作用是接收客戶端請求，將請求傳遞給application，然後將application返回的response返回給客戶端。

建立例項時會指定HTTP請求的handler：WSGIRequestHandler類
通過set_app和get_app方法設定和獲取WSGIApplication例項wsgi_handler
處理http請求時，呼叫handler_request方法，會建立WSGIRequestHandler例項處理http請求
WSGIServer中get_request方法通過socket接收請求資料

WSGIRequestHandler

由WSGIServer在呼叫handler_request時建立例項，傳入request、cient_address、WSGIServer三個引數，__init__方法在例項化同時還會呼叫自身的handler方法
handler方法會建立ServerHandler例項，然後呼叫其run方法處理請求

ServerHandler

WSGIRequestHandler在其handler方法中呼叫run()方法，傳入self.server.get_app()引數，獲取WSGIApplication，然後呼叫例項（call），獲取response，其中會傳入start_response回撥，用以處理返回的headler和status。
通過application獲取response以後，通過finish_response返回response

WSGIHandler

WSGI協議中的application，接收兩個引數，environ字典包含了客戶端請求的資訊以及其他資訊，可以認為是請求的上下文，start_response用於傳送返回status和header的回撥函式
雖然上面弄一個WSGI server設計到多個類實現以及相互引用，但其實原理還是呼叫WSGIHandler，傳入請求引數以及回撥方法start_response()，並將響應返回給客戶端。

Django simple_server

django的simple_server.py模組實現了一個簡單的HTTP伺服器，並給出了一個簡單的demo，可以直接執行，執行結果會將請求中涉及到的環境變數在瀏覽器中展示出來。
其中包括上述描述的整個http請求的所有元件:
ServerHandler,WSGIServer,WSGIRequestHandler，以及demo_app表示的簡易版的WSGIApplication。

if __name__ == '__main__':
    # 通過make_server方法建立WSGIServer例項
    # 傳入建議application，demo_app
    httpd = make_server('',8000,demo_app)
    sa = httpd.socket.getsockname()
    print("Serving HTTP on",sa[0],"port",sa[1],"...")
    import webbrowser
    webbrowser.open('http://localhost:8000/xyz?abc')
    # 呼叫WSGIServer的handle_request方法處理http請求
    httpd.handle_request()  # serve one request,then exit
    httpd.server_close()


def make_server(host,handler_class=WSGIRequestHandler):
    """Create a new WSGI server listening on `host` and `port` for `app`"""
    server = server_class((host,handler_class)
    server.set_app(app)
    return server


# demo_app可呼叫物件，接受請求輸出結果
def demo_app(environ,start_response):
    from io import StringIO
    stdout = StringIO()
    print("Hello world!",file=stdout)
    print(file=stdout)
    h = sorted(environ.items())
    for k,v in h:
        print(k,'=',repr(v),file=stdout)
    start_response("200 OK",[('Content-Type','text/plain; charset=utf-8')])
    return [stdout.getvalue().encode("utf-8")]
複製程式碼

demo_app()表示一個簡單的WSGI application實現，通過make_server()方法建立一個WSGIServer例項，呼叫其handle_request()方法，該方法會呼叫demo_app()處理請求，並最終返回響應。

uWSGI

uWSGI旨在為部署分散式叢集的網路應用開發一套完整的解決方案。主要面向web及其標準服務。由於其可擴充套件性，能夠被無限制的擴充套件用來支援更多平臺和語言。uWSGI是一個web伺服器，實現了WSGI協議，uwsgi協議，http協議等。
uWSGI的主要特點是：

超快的效能
低記憶體佔用
多app管理
詳盡的日誌功能（可以用來分析app的效能和瓶頸）
高度可定製（記憶體大小限制，服務一定次數後重啟等）
uWSGI伺服器自己實現了基於uwsgi協議的server部分，我們只需要在uwsgi的配置檔案中指定application的地址，uWSGI就能直接和應用框架中的WSGI application通訊。