Bottle 框架中的裝飾器類和描述符應用
最近在閱讀Python微型Web框架Bottle的原始碼,發現了Bottle中有一個既是裝飾器類又是描述符的有趣實現。剛好這兩個點是Python比較的難理解,又混合在一起,讓程式碼有些晦澀難懂。但理解程式碼之後不由得為Python語言的簡潔優美讚歎。所以把相關知識和想法稍微整理,以供分享。
正文
Bottle是Python的一個微型Web框架,所有程式碼都在一個bottle.py檔案中,只依賴標準庫實現,相容Python 2和Python 3,而且最新的穩定版0.12程式碼也只有3700行左右。雖然小,但它實現了Web框架基本功能。這裡就不以過多的筆墨去展示Bottle框架,需要的請訪問其網站了解更多。這裡著重介紹與本文相關的重要物件request。在Bottle裡,request物件代表了當前執行緒處理的請求,客戶端傳送的請求資料如表單資料,請求網站和cookie都可以從request物件中獲得。下面是官方文件中的兩個例子
from bottle import request, route, response, template
123456789101112 | # 獲取客戶端cookie以實現登陸時問候使用者功能@route('/hello')defhello():name=request.cookie.username or'Guest'returntemplate('Hello {{name}}',name=name)# 獲取形如/forum?id=1&page=5的查詢字串中id和page變數的值route('/forum')defdisplay_forum():forum_id=request.query.idpage=request |
那麼Bottle是如何實現的呢?根據WSGI介面規定,所有的HTTP請求資訊都包含在一個名為envrion的dict物件中。所以Bottle要做的就是把HTTP請求資訊從environ解析出來。在深入Request類如何實現之前先要了解下Bottle的FormsDict。FormsDict與字典類相似,但擴充套件了一些功能,比如支援屬性訪問、一對多的鍵值對、WTForms支援等。它在Bottle中被廣泛應用,如上面的示例中cookie和query資料都以FormsDict儲存,所以我們可以用request.query.page的方式獲取相應屬性值。
下面是0.12版Bottle中Request類的部分程式碼,0.12版中Request類繼承了BaseRequest,為了方便閱讀我把程式碼合併在一起,同時還有重要的DictProperty的程式碼。需要說明的是Request類__init__傳入的environ引數就是WSGI協議中包含HTTP請求資訊的envrion,而query方法中的_parse_qsl函式可以接受形如/forum?id=1&page=5原始查詢字串然後以[(key1, value1), (ke2, value2), …]的list返回。
Python12345678910111213141516171819202122232425262728293031323334353637 | classDictProperty(object):""" Property that maps to a key in a local dict-like attribute. """def__init__(self,attr,key=None,read_only=False):self.attr,self.key,self.read_only=attr,key,read_onlydef__call__(self,func):functools.update_wrapper(self,func,updated=[])self.getter,self.key=func,self.key orfunc.__name__returnselfdef__get__(self,obj,cls):ifobj isNone:returnselfkey,storage=self.key,getattr(obj,self.attr)ifkey notinstorage:storage[key]=self.getter(obj)returnstorage[key]def__set__(self,obj,value):ifself.read_only:raiseAttributeError("Read-Only property.")getattr(obj,self.attr)[self.key]=valuedef__delete__(self,obj):ifself.read_only:raiseAttributeError("Read-Only property.")delgetattr(obj,self.attr)[self.key]classRequest:def__init__(self,environ=None):self.environ{}ifenviron isNoneelseenvrionself.envrion['bottle.request']=self@DictProperty('environ','bottle.request.query',read_only=True)defquery(self):get=self.environ['bottle.get']=FormsDict()pairs=_parse_qsl(self.environ.get('QUERY_STRING',''))forkey,value inpairs:get[key]=valuereturnget |
query方法的邏輯和程式碼都比較簡單,就是從environ中獲取’QUERY_STRING’,並用把原始查詢字串解析為一個FormsDict,將這個FormsDict賦值給environ[‘bottle.request.query’]並返回。但這個函式的裝飾器的作用就有些難以理解,裝飾器的實現方式都是”dunder”特殊方法,有些晦澀難懂。如果上來就看這些原始碼可能難以理解程式碼實現的功能。那不如這些放一邊,假設自己要實現這些方法,你會寫出什麼程式碼。
一開始你可能寫出這樣的程式碼。
Python1234567891011 | # version 1classRequest:""" some codes here """defquery(self):get=self.environ['bottle.get']=FormsDict()pairs=_parse_qsl(self.environ.get('QUERY_STRING',''))forkey,value inpairs:get[key]=valuereturnget |
這樣確實實現瞭解析查詢字串的功能,但每次在呼叫這個方法時都需要對原始查詢字串解析一次,實際上在處理某特請求時,查詢字串是不會改變的,所以我們只需要解析一次並把它儲存起來,下次使用時直接返回就好了。另外此時的query方法還是一個普通方法,必須使用這樣的方法來呼叫它
Python1234 | # 獲取idrequest.query().id# 獲取pagerequest.query().page |
query後面的小括號讓語句顯得不那麼協調,其實就是我覺得它醜。要是也能和官方文件中的示例實現以屬性訪問的方式獲取相應的資料就好了。所以程式碼還得改改。
Python12345678910111213 | # query method version 2classRequest:""" some codes here """@propertydefquery(self):if'bootle.get.query'notinself.environ:get=self.environ['bottle.get']=FormsDict()pairs=_parse_qsl(self.environ.get('QUERY_STRING',''))forkey,value inpairs:get[key]=valuereturnself.environ['bottle.get.query'] |
第二版改變的程式碼就兩處,一個是使用property裝飾器,實現了request.query的訪問方式;另一個就是在query函式體中增加了判斷’bottle.get.query’是否在environ中的判斷語句,實現了只解析一次的要求。第二版幾乎滿足了所有要求,它表現得就像Bottle中真正的query方法一樣。但它還是有些缺陷。
首先,Request類並不只有query一個方法,如果要編寫完整的Request類就會發現,有很多方法的程式碼與query相似,都是從environ中解析出需要的資料,而且都只需要解析一次,儲存起來,第二次或以後訪問時返回儲存的資料就好了。所以可以考慮將屬性管理的程式碼從方法體內抽象出來,正好Python中的描述符可以實現這樣的功能。另外如果使用Bottle的開發者在寫程式碼時不小心嘗試進行request.query = some_data的賦值時,將會丟擲如下錯誤。
Python1 | >>>AttributeError:can'tsetattribute |
我們確實希望屬性是隻讀的,在對其賦值時應該丟擲錯誤,但這樣的報錯資訊並沒有提供太多有用的資訊,導致調bug時一頭霧水,找不到方向。我們更希望丟擲如
Python1 | >>>AttributeError:Read-only property |
這樣明確的錯誤資訊。
所以第三版的程式碼可以這樣寫
Python12345678910111213141516171819202122232425262728293031323334353637 | # query method version 3classDescriptor:def__init__(self,attr,key,getter,read_only=False):self.attr=attrself.key=keyself.getter=getterself.read_only=read_onlydef__set__(self,obj,value):ifself.read_only:raiseAttributeError('Read only property.')getattr(obj,self.attr)[self.key]=valuedef__get__(self,obj,cls):ifobj isNone:returnselfkey,storage=self.key,getattr(obj,self.attr)ifkey notinstorage:storage[key]=self.getter(obj)returnstorage[key]def__delete__(self,obj):ifself.read_only:raiseAttributeError('Read only property.')delgetattr(obj,self.attr)[self.key]classReqeust:""" some codes """defquery(self):get=self.environ['bottle.get']=FormsDict()pairs=_parse_qsl(self.environ.get('QUERY_STRING',''))forkey,value inpairs:get[key]=valuereturnget query=Descriptor('environ','bottle.get.query',query,read_only=True) |
第三版的程式碼沒有使用property裝飾器,而是使用了描述符這個技巧。如果你之前沒有見到過描述符,在這裡限於篇幅只能做個簡單的介紹,但描述符涉及知識點眾多,如果有不清楚之處可以看看《流暢的Python》第20章屬性描述符,裡面有非常詳細的介紹。
簡單來說,描述符是對多個屬性運用相同存取邏輯的一種方式,如Bottle框架裡我們需要對很多屬性都進行判斷某個鍵是否在environ中,如果在則返回,如果不在,需要解析一次這樣的存取邏輯。而描述符需要實現特定協議,包括__set__, __get__, __delete___方法,分別對應設定,讀取和刪除屬性的方法。他麼的引數也比較特殊,如__get__方法的三個引數self, obj, cls分別對應描述符例項的引用,對第三版的程式碼來說就是Descriptor(‘environ’, ‘bottle.get.query’, query, read_only=True)建立的例項的引用;obj則對應將某個屬性託管給描述的例項物件的引用,對應的應該為request物件;而cls則為Request類的引用。在呼叫request.query時編譯器會自動傳入這些引數。如果以Request.query的方式呼叫,那麼obj引數的傳入值為None,這時候通常的處理是返回描述符例項。
在Descriptor中__get__方法的程式碼最多,也比較難理解,但如果記住其引數的意義也沒那麼難。下面以query的實現為例,我新增一些註釋來幫助理解