廖雪峰python教程day3-編寫ORM
阿新 • • 發佈:2019-02-10
首先要明確:
ORM的編寫較為複雜,但編寫完成後使用介面進行呼叫則顯得非常簡單。並且ORM編寫模式基本為
-Field模組
-元類MetaClass
-基類Model
有著較為固定的寫法,沒必要重複造輪子,能複用儘量複用。重要的是要理解元類這塊硬骨頭的妙用。
基本思路:
(收集資料;對這些資料進行分類,識別(相對應資料庫),生成SQL語句;最後,連線資料庫,並執行SQL語句進行操作。)
- User類負責收集資料,並嘗試歸類出這些資料對應資料庫表的對映關係,類如對應表的欄位(包含名字、型別、是否為表的主鍵、預設值)等;
- 它的基類負責執行操作,比如資料庫的儲存、讀取,查詢等操作;
- 它的元類負責分類、整理收集的資料並以此建立一些類屬性(如SQL語句)供基類作為引數。
即
- 在一個Web App中,所有的資料,包括使用者資訊,使用者釋出的日誌,評論都放在資料庫中,本次實戰使用MySQL作為資料庫。
- Web App中,有許多地方都要用到資料庫,訪問資料要建立資料庫連線,建立遊標物件,執行SQL語句,然後要處理異常,清理資源等。
- 首先,要封裝資料庫的SELECT,INSERT,UPDATE,DELETE語句
- 其次,由於Web框架使用了基於asyncio的aiohttp,這是基於協程的非同步模型。Web App框架採用非同步IO程式設計,aiomysql為MySQL資料庫提供了非同步IO的驅動。
一旦決定使用非同步,則系統每一層都必須是非同步,“開弓沒有回頭箭”。
一步非同步,步步非同步
期待程式碼
# 建立例項:
user = User(id=123, name='Michael')
# 存入資料庫:
user.insert()
# 查詢所有User物件:
users = User.findAll()
完整程式碼
#!/usr/bin/env python3 # -*- coding: utf-8 -*- import asyncio, logging import aiomysql def log(sql, args=()): logging.info('SQL: %s' % sql) async def create_pool(loop, **kw): logging.info('create database connection pool...') global __pool __pool = await aiomysql.create_pool( host=kw.get('host', 'localhost'), port=kw.get('port', 3306), user=kw['user'], password=kw['password'], db=kw['db'], charset=kw.get('charset', 'utf8'), autocommit=kw.get('autocommit', True), maxsize=kw.get('maxsize', 10), minsize=kw.get('minsize', 1), loop=loop ) #單獨封裝select,其他insert,update,delete一併封裝,理由如下: #使用Cursor物件執行insert,update,delete語句時,執行結果由rowcount返回影響的行數,就可以拿到執行結果。 #使用Cursor物件執行select語句時,通過featchall()可以拿到結果集。結果集是一個list,每個元素都是一個tuple,對應一行記錄。 async def select(sql, args, size=None): log(sql, args) global __pool async with __pool.get() as conn:#開啟pool的方法:with await __pool as conn: # 建立一個結果為字典的遊標 async with conn.cursor(aiomysql.DictCursor) as cur: # 執行sql語句,將sql語句中的'?'替換成'%s' await cur.execute(sql.replace('?', '%s'), args or ()) # 如果指定了數量,就返回指定數量的記錄,如果沒有,就返回所有記錄 if size: rs = await cur.fetchmany(size) else: rs = await cur.fetchall() logging.info('rows returned: %s' % len(rs)) return rs#返回的結果集 async def execute(sql, args, autocommit=True): log(sql) async with __pool.get() as conn: if not autocommit: await conn.begin() try: async with conn.cursor(aiomysql.DictCursor) as cur: await cur.execute(sql.replace('?', '%s'), args) # 獲取操作的記錄數 affected = cur.rowcount if not autocommit: await conn.commit() except BaseException as e: if not autocommit: await conn.rollback()#資料回滾 raise return affected #用於輸出元類中建立sql_insert語句中的佔位符,計算需要拼接多少個佔位符 def create_args_string(num): L = [] for n in range(num): L.append('?') return ', '.join(L) class Field(object): def __init__(self, name, column_type, primary_key, default): self.name = name self.column_type = column_type self.primary_key = primary_key self.default = default def __str__(self): return '<%s, %s:%s>' % (self.__class__.__name__, self.column_type, self.name) class StringField(Field): def __init__(self, name=None, primary_key=False, default=None, ddl='varchar(100)'): super().__init__(name, ddl, primary_key, default) class BooleanField(Field): def __init__(self, name=None, default=False): super().__init__(name, 'boolean', False, default) class IntegerField(Field): def __init__(self, name=None, primary_key=False, default=0): super().__init__(name, 'bigint', primary_key, default) class FloatField(Field): def __init__(self, name=None, primary_key=False, default=0.0): super().__init__(name, 'real', primary_key, default) class TextField(Field): def __init__(self, name=None, default=None): super().__init__(name, 'text', False, default) #定義Model的metaclass元類 #所有的元類都繼承自type #ModelMetaclass元類定義了所有Model基類(繼承ModelMetaclass)的子類實現的操作 # -*-ModelMetaclass:為一個數據庫表對映成一個封裝的類做準備 # 讀取具體子類(eg:user)的對映資訊 #創造類的時候,排除對Model類的修改 #在當前類中查詢所有的類屬性(attrs),如果找到Field屬性,就儲存在__mappings__的dict裡, #同時從類屬性中刪除Field(防止例項屬性覆蓋類的同名屬性) #__table__儲存資料庫表名 class ModelMetaclass(type): # 呼叫__init__方法前會呼叫__new__方法 def __new__(cls, name, bases, attrs): # cls:當前準備建立的類的物件,name:類的名稱, # bases:類繼承的父類集合,attrs:類的方法集合 if name=='Model': return type.__new__(cls, name, bases, attrs) # 獲取table名稱,如果未設定,tableName就是類的名字 tableName = attrs.get('__table__', None) or name logging.info('found model: %s (table: %s)' % (name, tableName)) # 獲取所有的Field(類屬性)和主鍵名: mappings = dict() #儲存對映關係 fields = [] #儲存除主鍵外的屬性 primaryKey = None # key是列名,value是field的子類 for k, v in attrs.items(): if isinstance(v, Field): logging.info(' found mapping: %s ==> %s' % (k, v)) mappings[k] = v if v.primary_key: # 找到主鍵: if primaryKey: raise StandardError('Duplicate primary key for field: %s' % k) primaryKey = k#此列設為列表的主鍵 else: #非主鍵,一律放在fields fields.append(k) if not primaryKey:# 如果遍歷了所有屬性都沒有找到主鍵,則主鍵沒定義 raise StandardError('Primary key not found.') #從類屬性中刪除Field屬性 for k in mappings.keys(): attrs.pop(k)#從類屬性中刪除Field屬性,否則,容易造成執行時錯誤(例項的屬性會遮蓋類的同名屬性) # 儲存非主鍵屬性為字串列表形式 # 將非主鍵屬性變成`id`,`name`這種形式(帶反引號) # repr函式和反引號的功能一致:取得物件的規範字符串表示 # 將fields中屬性名以`屬性名`的方式裝飾起來 escaped_fields = list(map(lambda f: '`%s`' % f, fields)) attrs['__mappings__'] = mappings # 儲存屬性和列的對映關係 attrs['__table__'] = tableName# 儲存表名 attrs['__primary_key__'] = primaryKey # 主鍵屬性名 attrs['__fields__'] = fields # 除主鍵外的屬性名 # 構造預設的SELECT, INSERT, UPDATE和DELETE語句 attrs['__select__'] = 'select `%s`, %s from `%s`' % (primaryKey, ', '.join(escaped_fields), tableName) attrs['__insert__'] = 'insert into `%s` (%s, `%s`) values (%s)' % (tableName, ', '.join(escaped_fields), primaryKey, create_args_string(len(escaped_fields) + 1)) attrs['__update__'] = 'update `%s` set %s where `%s`=?' % (tableName, ', '.join(map(lambda f: '`%s`=?' % (mappings.get(f).name or f), fields)), primaryKey) attrs['__delete__'] = 'delete from `%s` where `%s`=?' % (tableName, primaryKey) return type.__new__(cls, name, bases, attrs) #定義ORM所有對映的基類:Model #Model類的任意子類可以對映一個數據庫表 #Model類可以看做是對所有資料庫表操作的基本定義的對映 #基於字典查詢形式 #Model從dict繼承,擁有字典的所有功能,同時實現特殊方法__getattr__和__setattr__,能夠實現屬性操作 #實現資料庫操作的所有方法,定義為class方法,所有繼承自Model都具有資料庫操作方法 class Model(dict, metaclass=ModelMetaclass): #也可在此處寫 __metaclass__ = ModelMetaclass,與引數處效果相同 def __init__(self, **kw): super(Model, self).__init__(**kw) def __getattr__(self, key): try: return self[key] except KeyError: raise AttributeError(r"'Model' object has no attribute '%s'" % key) def __setattr__(self, key, value): self[key] = value def getValue(self, key): # 返回物件的屬性,如果沒有對應屬性,則會呼叫__getattr__ #直接調回內建函式,注意這裡沒有下劃符,注意這裡None的用處,是為了當user沒有賦值資料時,返回None,調用於update return getattr(self, key, None) def getValueOrDefault(self, key): value = getattr(self, key, None) if value is None: field = self.__mappings__[key] if field.default is not None: value = field.default() if callable(field.default) else field.default logging.debug('using default value for %s: %s' % (key, str(value))) # 將預設值設定進行 setattr(self, key, value) return value # 類方法第一個引數為cls,而例項方法第一個引數為self @classmethod #這裡可以使用User.findAll()是因為:用@classmethod修飾了Model類裡面的findAll() #一般來說,要使用某個類的方法,需要先例項化一個物件再呼叫方法 #而使用@staticmethod或@classmethod,就可以不需要例項化,直接類名.方法名()來呼叫 #申明是類方法:有類變數cls傳入,cls可以做一些相關的處理 #有子類繼承時,呼叫該方法,傳入的類變數cls是子類,而非父類 async def findAll(cls, where=None, args=None, **kw): ' find objects by where clause. ' sql = [cls.__select__] # 如果where查詢條件存在 if where: sql.append('where')# 新增where關鍵字 sql.append(where) # 拼接where查詢條件 if args is None: args = [] orderBy = kw.get('orderBy', None)# 獲取kw裡面的orderby查詢條件 if orderBy: sql.append('order by')# 拼接orderBy字串 sql.append(orderBy)# 拼接orderBy查詢條件 limit = kw.get('limit', None)# 獲取limit查詢條件 if limit is not None: sql.append('limit') if isinstance(limit, int):# 如果limit是int型別 sql.append('?')# sql拼接一個佔位符 args.append(limit)# 將limit新增進引數列表,之所以新增引數列表之後再進行整合是為了防止sql注入 elif isinstance(limit, tuple) and len(limit) == 2:# 如果limit是一個tuple型別並且長度是2 sql.append('?, ?')# sql語句拼接兩個佔位符 args.extend(limit)# 將limit新增進引數列表 else: raise ValueError('Invalid limit value: %s' % str(limit)) rs = await select(' '.join(sql), args) # 將args引數列表注入sql語句之後,傳遞給select函式進行查詢並返回查詢結果 return [cls(**r) for r in rs] @classmethod #查詢某個欄位的數量 async def findNumber(cls, selectField, where=None, args=None): ' find number by select and where. ' # 將列名重新命名為_num sql = ['select %s _num_ from `%s`' % (selectField, cls.__table__)] if where: sql.append('where') sql.append(where) # 限制結果數為1 rs = await select(' '.join(sql), args, 1) if len(rs) == 0: return None return rs[0]['_num_'] @classmethod async def find(cls, pk): ' find object by primary key. ' rs = await select('%s where `%s`=?' % (cls.__select__, cls.__primary_key__), [pk], 1) if len(rs) == 0: return None return cls(**rs[0]) #返回一條記錄,以dict的形式返回,因為cls的父類繼承了dict類 async def save(self): # 獲取所有value args = list(map(self.getValueOrDefault, self.__fields__)) args.append(self.getValueOrDefault(self.__primary_key__)) rows = await execute(self.__insert__, args) if rows != 1: logging.warn('failed to insert record: affected rows: %s' % rows) async def update(self): args = list(map(self.getValue, self.__fields__)) args.append(self.getValue(self.__primary_key__)) rows = await execute(self.__update__, args) if rows != 1: logging.warn('failed to update by primary key: affected rows: %s' % rows) async def remove(self): args = [self.getValue(self.__primary_key__)] rows = await execute(self.__delete__, args) if rows != 1: logging.warn('failed to remove by primary key: affected rows: %s' % rows)