[python] 理解metaclass並實現一個簡單ORM框架
metaclass
除了使用type()
動態創建類以外,要控制類的創建行為,還可以使用metaclass。
metaclass,直譯為元類,簡單的解釋就是:
當我們定義了類以後,就可以根據這個類創建出實例,所以:先定義類,然後創建實例。
但是如果我們想創建出類呢?那就必須根據metaclass創建出類,所以:先定義metaclass,然後創建類。
連接起來就是:先定義metaclass,就可以創建類,最後創建實例。
所以,metaclass允許你創建類或者修改類。換句話說,你可以把類看成是metaclass創建出來的“實例”。
metaclass是Python面向對象裏最難理解,也是最難使用的魔術代碼。正常情況下,你不會碰到需要使用metaclass的情況,所以,以下內容看不懂也沒關系,因為基本上你不會用到。
我們先看一個簡單的例子,這個metaclass可以給我們自定義的MyList增加一個add
方法:
定義ListMetaclass
,按照默認習慣,metaclass的類名總是以Metaclass結尾,以便清楚地表示這是一個metaclass:
# metaclass是類的模板,所以必須從`type`類型派生:
class ListMetaclass(type):
def __new__(cls, name, bases, attrs):
attrs[‘add‘] = lambda self, value: self.append(value)
return type.__new__(cls, name, bases, attrs)
有了ListMetaclass,我們在定義類的時候還要指示使用ListMetaclass來定制類,傳入關鍵字參數metaclass
:
class MyList(list, metaclass=ListMetaclass):
pass
當我們傳入關鍵字參數metaclass
時,魔術就生效了,它指示Python解釋器在創建MyList
時,要通過ListMetaclass.__new__()
來創建,在此,我們可以修改類的定義,比如,加上新的方法,然後,返回修改後的定義。
__new__()
方法接收到的參數依次是:
-
當前準備創建的類的對象;
-
類的名字;
-
類繼承的父類集合;
-
類的方法集合。
測試一下MyList
是否可以調用add()
方法:
>>> L = MyList()
>>> L.add(1)
>> L
[1]
而普通的list
沒有add()
方法:
>>> L2 = list()
>>> L2.add(1)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: ‘list‘ object has no attribute ‘add‘
動態修改有什麽意義?直接在MyList
定義中寫上add()
方法不是更簡單嗎?正常情況下,確實應該直接寫,通過metaclass修改純屬變態。
但是,總會遇到需要通過metaclass修改類定義的。ORM就是一個典型的例子。
ORM全稱“Object Relational Mapping”,即對象-關系映射,就是把關系數據庫的一行映射為一個對象,也就是一個類對應一個表,這樣,寫代碼更簡單,不用直接操作SQL語句。
要編寫一個ORM框架,所有的類都只能動態定義,因為只有使用者才能根據表的結構定義出對應的類來。
讓我們來嘗試編寫一個ORM框架。
編寫底層模塊的第一步,就是先把調用接口寫出來。比如,使用者如果使用這個ORM框架,想定義一個User
類來操作對應的數據庫表User
,我們期待他寫出這樣的代碼:
class User(Model):
# 定義類的屬性到列的映射:
id = IntegerField(‘id‘)
name = StringField(‘username‘)
email = StringField(‘email‘)
password = StringField(‘password‘)
# 創建一個實例:
u = User(id=12345, name=‘Michael‘, email=‘[email protected]‘, password=‘my-pwd‘)
# 保存到數據庫:
u.save()
其中,父類Model
和屬性類型StringField
、IntegerField
是由ORM框架提供的,剩下的魔術方法比如save()
全部由metaclass自動完成。雖然metaclass的編寫會比較復雜,但ORM的使用者用起來卻異常簡單。
現在,我們就按上面的接口來實現該ORM。
首先來定義Field
類,它負責保存數據庫表的字段名和字段類型:
class Field(object):
def __init__(self, name, column_type):
self.name = name
self.column_type = column_type
def __str__(self):
return ‘<%s:%s>‘ % (self.__class__.__name__, self.name)
在Field
的基礎上,進一步定義各種類型的Field
,比如StringField
,IntegerField
等等:
class StringField(Field):
def __init__(self, name):
super(StringField, self).__init__(name, ‘varchar(100)‘)
class IntegerField(Field):
def __init__(self, name):
super(IntegerField, self).__init__(name, ‘bigint‘)
下一步,就是編寫最復雜的ModelMetaclass
了:
class ModelMetaclass(type):
def __new__(cls, name, bases, attrs):
if name==‘Model‘:
return type.__new__(cls, name, bases, attrs)
print(‘Found model: %s‘ % name)
mappings = dict()
for k, v in attrs.items():
if isinstance(v, Field):
print(‘Found mapping: %s ==> %s‘ % (k, v))
mappings[k] = v
for k in mappings.keys():
attrs.pop(k)
attrs[‘__mappings__‘] = mappings # 保存屬性和列的映射關系
attrs[‘__table__‘] = name # 假設表名和類名一致
return type.__new__(cls, name, bases, attrs)
以及基類Model
:
class Model(dict, metaclass=ModelMetaclass):
def __init__(self, **kw):
super(Model, self).__init__(**kw)
def __getattr__(self, key):
try:
return self[key]
except KeyError:
raise AttributeError(r"‘Model‘ object has no attribute ‘%s‘" % key)
def __setattr__(self, key, value):
self[key] = value
def save(self):
fields = []
params = []
args = []
for k, v in self.__mappings__.items():
fields.append(v.name)
params.append(‘?‘)
args.append(getattr(self, k, None))
sql = ‘insert into %s (%s) values (%s)‘ % (self.__table__, ‘,‘.join(fields), ‘,‘.join(params))
print(‘SQL: %s‘ % sql)
print(‘ARGS: %s‘ % str(args))
當用戶定義一個class User(Model)
時,Python解釋器首先在當前類User
的定義中查找metaclass
,如果沒有找到,就繼續在父類Model
中查找metaclass
,找到了,就使用Model
中定義的metaclass
的ModelMetaclass
來創建User
類,也就是說,metaclass可以隱式地繼承到子類,但子類自己卻感覺不到。
在ModelMetaclass
中,一共做了幾件事情:
-
排除掉對
Model
類的修改; -
在當前類(比如
User
)中查找定義的類的所有屬性,如果找到一個Field屬性,就把它保存到一個__mappings__
的dict中,同時從類屬性中刪除該Field屬性,否則,容易造成運行時錯誤(實例的屬性會遮蓋類的同名屬性); -
把表名保存到
__table__
中,這裏簡化為表名默認為類名。
在Model
類中,就可以定義各種操作數據庫的方法,比如save()
,delete()
,find()
,update
等等。
我們實現了save()
方法,把一個實例保存到數據庫中。因為有表名,屬性到字段的映射和屬性值的集合,就可以構造出INSERT
語句。
編寫代碼試試:
u = User(id=12345, name=‘Michael‘, email=‘[email protected]‘, password=‘my-pwd‘)
u.save()
輸出如下:
Found model: User
Found mapping: email ==> <StringField:email>
Found mapping: password ==> <StringField:password>
Found mapping: id ==> <IntegerField:uid>
Found mapping: name ==> <StringField:username>
SQL: insert into User (password,email,username,id) values (?,?,?,?)
ARGS: [‘my-pwd‘, ‘[email protected]‘, ‘Michael‘, 12345]
可以看到,save()
方法已經打印出了可執行的SQL語句,以及參數列表,只需要真正連接到數據庫,執行該SQL語句,就可以完成真正的功能。
不到100行代碼,我們就通過metaclass實現了一個精簡的ORM框架。
從廖雪峰官網搬過來的,寫的不錯。
[python] 理解metaclass並實現一個簡單ORM框架