01 如何在python中操作資料庫？

在後端開發中免不掉與資料庫打交道，無非是使用orm或者原生sql來操作資料庫。

在python中通過原生sql操作資料庫，主流就兩種。

• 使用pymysql模組：pymysql支援python2.x和python3.x的版本
• 使用mysqldb模組：mysqldb僅支援python2.x的版本

orm的使用以flask和django為例。

• flask使用的orm是基於SQLAlchemy（SQLAlchemy本就是orm），flask團隊並在SQLAlchemy基礎之上又封裝了一個Flask-SQLchemy並予以應用 。
• django使用的orm是django自帶的orm。

orm的操作資料庫的方式我們已經熟知了，這裡我們聊一聊如何在web中使用原生sql操作資料庫，以及會出現的問題。

02 在web中使用原生sql(pymysql)操作資料庫？

2.1 在web中通過原生sql操作資料庫會出現的問題。

示例1：

把所有的資料庫操作全部都放在了檢視函式裡面。

from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello():
    import pymysql
    CONN = pymysql.connect(host='127.0.0.1',
                           port=3306,
                           user='root',
                           password='123',
                           database='pooldb',
                           charset='utf8')

    cursor = CONN.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    cursor.close()

    print(result)

    return "Hello World"

if __name__ == '__main__':
    app.run()
 

會出現的問題

• 很多個使用者併發的來請求，一個使用者可以理解為一個執行緒，每個執行緒都會跟資料庫建立連線，資料庫承受不了這種量級的連線數。

示例2

為了避免之前每個使用者都建立連線，我們把資料庫連線放到了全域性變數裡面，只會建立一次連線，但是依然會出現問題。

from flask import Flask

app = Flask(__name__)
import pymysql
CONN = pymysql.connect(host='127.0.0.1',
                           port=3306,
                           user='root',
                           password='123',
                           database='pooldb',
                           charset='utf8')

@app.route("/")
def hello():
    cursor = CONN.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    cursor.close()

    print(result)

    return "Hello World"

if __name__ == '__main__':
    app.run()
 

會出現的問題：

• 會出現執行緒安全問題，比如如果第一個使用者拿到了連線給關閉了，而第二個使用者正在進行查詢，第二個使用者查詢的時候第一個使用者把連線斷了，會導致第二個使用者出現問題。
• 假設第一使用者查詢了一下表1，正準備獲取查詢的內容，這時第二個人查詢了一下表2，由於cursor物件都是同一個，第一個人獲取到的查詢內容就是表2的內容了，所以也會出現執行緒安全問題

示例3

為了避免之前的執行緒不安全，在示例2的基礎上加上一把執行緒鎖

from flask import Flask
import threading
app = Flask(__name__)
import pymysql
CONN = pymysql.connect(host='127.0.0.1',
                           port=3306,
                           user='root',
                           password='123',
                           database='pooldb',
                           charset='utf8')

@app.route("/")
def hello():
    with threading.Lock():
        cursor = CONN.cursor()
        cursor.execute('select * from tb1')
        result = cursor.fetchall()
        cursor.close()

        print(result)

    return "Hello World"

if __name__ == '__main__':
    app.run()

會出現的問題：

• 根據程式碼可以發現，只是在示例2的基礎上加了一把執行緒鎖，確實是保證了執行緒安全，但是所有關於資料庫操作的請求變成了序列，無法實現併發了。

小結：

• 如果直接連線坐在檢視函式中，會導致每個使用者都要建立連線，資料庫承受不了這種量級的連線數。
• 如果連線資料庫的內容做成全域性變數的話，無法保證執行緒安全。
• 如果定義全域性變數用於連線資料庫，並且線上程中操作資料庫內容加執行緒鎖頭，就會變成序列，無法保證併發

所以既要控制資料庫的連線數，又要保證執行緒安全，又要保證web的併發，這個時候最終的解決方案是資料庫連線池。

2.1 什麼是資料庫連線池呢？

資料庫連線池概念：資料庫連線池負責分配、管理和釋放資料庫連線，它允許應用程式重複使用一個現有的資料庫連線，而不是再重新建立一個，這項技術能明顯提高對資料庫操作的效能。

圖解：

通俗的講就是，假設資料庫連線池中有5個連線物件，每個使用者簡單理解為一個執行緒，比如現在有6個使用者同時來訪問，6個執行緒去資料庫連線池裡面申請資料庫的連線物件。前5個執行緒每個都申請到了連線物件去操作資料庫，每個執行緒使用完了資料庫連線物件會歸還給資料庫連線池，那麼第6個執行緒會等待前5個執行緒歸還連線物件給連線池，再具體一點是：假設第一個執行緒使用完了連線物件，那麼此時6個執行緒才會結束等待，從而申請到連線物件，以此類推。

2.2 Python資料庫連線池DBUtiles

DBUtils 是Python的一個用於實現資料庫連線池的模組。

首先安裝一下DBUtils模組。

pip install DBUtils

DBUtils連線池的兩種連線模式：

模式一：為每個執行緒建立一個連線，執行緒即使呼叫了close方法，也不會關閉，只是把連線重新放到連線池，僅供自己的執行緒再次使用，當執行緒終止時，連線會自動關閉。（不推薦使用，因為這樣需要自己控制執行緒數量）

import pymysql
from DBUtils.PersistentDB import PersistentDB
from threading import local

POOL = PersistentDB(
    creator=pymysql,  # 使用連結資料庫的模組
    maxusage=None,  # 一個連結最多被重複使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0, # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    closeable=False,
    # 如果為False時， conn.close() 實際上被忽略，供下次使用，再執行緒關閉時，才會自動關閉連結。如果為True時， conn.close()則關閉連結，那麼再次呼叫pool.connection時就會報錯，因為已經真的關閉了連線（pool.steady_connection()可以獲取一個新的連結）
    threadlocal=None,  # 如果為none，用預設的threading.Loacl物件，否則可以自己封裝一個local物件進行替換
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)

def func():
    conn = POOL.connection(shareable=False)
    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    cursor.close()
    conn.close()

func()

模式二：建立一批連線到連線池，供所有執行緒共享使用。

import time
import pymysql
import threading
from DBUtils.PooledDB import PooledDB, SharedDBConnection
POOL = PooledDB(
    creator=pymysql,  # 使用連結資料庫的模組
    maxconnections=6,  # 連線池允許的最大連線數，0和None表示不限制連線數
    mincached=2,  # 初始化時，連結池中至少建立的空閒的連結，0表示不建立
    maxcached=5,  # 連結池中最多閒置的連結，0和None不限制
    maxshared=3,  # 連結池中最多共享的連結數量，0和None表示全部共享。PS: 無用，因為pymysql和MySQLdb等模組的 threadsafety都為1，所有值無論設定為多少，_maxcached永遠為0，所以永遠是所有連結都共享。
    blocking=True,  # 連線池中如果沒有可用連線後，是否阻塞等待。True，等待；False，不等待然後報錯
    maxusage=None,  # 一個連結最多被重複使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)


def func():
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    conn.close()


func()

2.3 實際開發小應用案例：

案例目錄：

- app.py
- db_helper.py

app.py

from flask import Flask
from db_helper import SQLHelper


app = Flask(__name__)

@app.route("/")
def hello():
    result = SQLHelper.fetch_one('select * from t1',[])
    print(result)
    return "Hello World"

if __name__ == '__main__':
    app.run()

db_helper.py

import pymysql
from DBUtils.PooledDB import PooledDB
POOL = PooledDB(
    creator=pymysql,  # 使用連結資料庫的模組
    maxconnections=6,  # 連線池允許的最大連線數，0和None表示不限制連線數
    mincached=2,  # 初始化時，連結池中至少建立的空閒的連結，0表示不建立
    maxcached=5,  # 連結池中最多閒置的連結，0和None不限制
    maxshared=3,  # 連結池中最多共享的連結數量，0和None表示全部共享。PS: 無用，因為pymysql和MySQLdb等模組的 threadsafety都為1，所有值無論設定為多少，_maxcached永遠為0，所以永遠是所有連結都共享。
    blocking=True,  # 連線池中如果沒有可用連線後，是否阻塞等待。True，等待；False，不等待然後報錯
    maxusage=None,  # 一個連結最多被重複使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)


class SQLHelper(object):

    @staticmethod
    def fetch_one(sql,args):
        conn = POOL.connection()
        cursor = conn.cursor()
        cursor.execute(sql, args)
        result = cursor.fetchone()
        conn.close()
        return result

    @staticmethod
    def fetch_all(self,sql,args):
        conn = POOL.connection()
        cursor = conn.cursor()
        cursor.execute(sql, args)
        result = cursor.fetchall()
        conn.close()
        return result

以後在開發的過程中可以基於資料庫連線池，基於pymysql，來實現自己個性化操作資料庫的需求。