1. 程式人生 > 程式設計 >用sqlalchemy構建Django連線池的例項

用sqlalchemy構建Django連線池的例項

都知道django每次請求都會連線資料庫和釋放資料庫連線。Django為每個請求使用新的資料庫連線。一開始這個方法行得通。然而隨著伺服器上的負載的增加,建立/銷燬連線資料庫開始花大量的時間。要避免這個,你可以使用資料庫連線池,這裡使用SQLAlchemy的連線池。使Django持久化資料庫連線。

但這種方法會改變django的程式碼。對框架有侵入

方法 1

實現方法如下:

把django/db/backends/mysql資料夾全部拷貝出來,放在專案的一個libs/mysql下面,然後修改base.py檔案。

或者把django/db/backends/mysql資料夾在django/db/backends/下面複製為mysql_pool資料夾,將base.py中所以import中的mysql替換為mysql_pool,這樣可以直接在settings.py中設定'ENGINE':'django.db.backends.mysql_pool'

找到

try: 
 import MySQLdb as Database
except ImportError as e: 
 from django.core.exceptions import ImproperlyConfigured 
 raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e)

這段程式碼,在下面新增:

from sqlalchemy import pool
Database = pool.manage(Database[,recycle=DATABASE_WAIT_TIMEOUT-1])
#其中DATABASE_WAIT_TIMEOUT為你定義的連線超時時間,必須小於等於mysql裡面的wait_timeout()

結果如下

try: 
 import MySQLdb as Database
except ImportError as e: 
 from django.core.exceptions import ImproperlyConfigured 
 raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e)
from sqlalchemy import pool
Database = pool.manage(Database)

然後找到get_connection_params(self)函式程式碼:

def get_connection_params(self):
 kwargs = {
  'conv':django_conversions,'charset':utf8
  }
  ...

修改為:

def get_connection_params(self):
 kwargs = {
  'charset':utf8
  }
  ...

注意:如果不改變此處的kwargs,將會出現:TypeError:unhashable type:'dict' 的錯誤。

原樣用kwargs傳的話,sqlalchemy的pool會報unhashable錯誤,那是因為kwargs中有個key(conv)對應的value(django_conversions)是個字典,在pool中會把(key,value)組成元組作為新的key儲存在pool中,但是因為value(django_conversions)是dict,不允許作為key的

在mysql裡使用 show status 或 show processlist檢視連線情況

方法 2

直接在settings.py同級目錄下的init.py檔案中新增如下程式碼

from django.conf import settings
from django.db.utils import load_backend
import sqlalchemy.pool as pool
import logging
pool_initialized=False

def init_pool():
  if not globals().get('pool_initialized',False):
   global pool_initialized
   pool_initialized = True
   try:
    backendname = settings.DATABASES['default']['ENGINE']
    backend = load_backend(backendname)

    #replace the database object with a proxy.
    backend.Database = pool.manage(backend.Database)

    backend.DatabaseError = backend.Database.DatabaseError
    backend.IntegrityError = backend.Database.IntegrityError
    logging.info("Connection Pool initialized")
   except:
    logging.exception("Connection Pool initialization error")

init_pool()

然後修改django/db/backends/mysql/base.py檔案

找到get_connection_params(self)函式程式碼:

修改為:

def get_connection_params(self):
 kwargs = {
  'charset':utf8
  }
  ...

同理,不修改kwargs將會出現:TypeError:unhashable type:'dict' 的錯誤。

以上兩種方法都要改變django的程式碼,有一定入侵性,第二種方法改變要小一點

django 1.7
python 2.7
sqlalchemy 1.0

這篇用sqlalchemy構建Django連線池的例項就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。