【轉】嵌入式資料庫系統Berkeley DB
UNIX/LINUX平臺下的資料庫種類非常多,參考資料1中列舉了其中的大部分。通常,我們在設計UNIX/LINUX平臺下的應用軟體時,如果資料種類繁多,資料與資料之間關係比較複雜,就會選用一些大型的企業級資料庫系統,如DB2,ORACLE、SYBASE等,如果軟體規模不大,就傾向選用如MYSQL、POSTGRESQL等中小型資料庫。例如使用PHP/PERL + MYSQL/POSTGRESQL設計網站基本上是一個很常規的做法。但是,當應用軟體管理的資料型別較少(特別注意:這並不是說需要管理的資料量小),資料管理本身不復雜,且對資料操作要求高效率,則由大名鼎鼎的Berkeley(美國加州大學伯克利分校)開發的 Berkeley DB可能是一個很明智的選擇。
DB綜述
DB最初開發的目的是以新的HASH訪問演算法來代替舊的hsearch函式和大量的dbm實現(如AT&T的dbm,Berkeley的ndbm,GNU專案的gdbm),DB的第一個發行版在1991年出現,當時還包含了B+樹資料訪問演算法。在1992年,BSD UNIX第4.4發行版中包含了DB1.85版。基本上認為這是DB的第一個正式版。在1996年中期,Sleepycat軟體公司成立,提供對DB的商業支援。在這以後,DB得到了廣泛的應用,當前最新版本是4.3.27。
DB支援幾乎所有的現代作業系統,如LINUX、UNIX、WINDOWS等,也提供了豐富的應用程式介面,支援C、C++、JAVA、PERL、TCL、PYTHON、PHP等。DB的應用十分廣泛,在很多知名的軟體中都能看到其身影。例如
Dirnames: Berkeley DB (Btree, version 9, native byte-order)
Filemd5s: Berkeley DB (Hash, version 8, native byte-order)
值得注意的是DB是嵌入式資料庫系統,而不是常見的關係/物件型資料庫,對SQL語言不支援,也不提供資料庫常見的高階功能,如儲存過程,觸發器等。
DB的設計思想
DB的設計思想是簡單、小巧、可靠、高效能。如果說一些主流資料庫系統是大而全的話,那麼DB就可稱為小而精。DB提供了一系列應用程式介面(API),呼叫本身很簡單,應用程式和DB所提供的庫在一起編譯成為可執行程式。這種方式從兩方面極大提高了DB的效率。第一:DB庫和應用程式執行在同一個地址空間,沒有客戶端程式和資料庫伺服器之間昂貴的網路通訊開銷,也沒有本地主機程序之間的通訊;第二:不需要對SQL程式碼解碼,對資料的訪問直截了當。
DB對需要管理的資料看法很簡單,DB資料庫包含若干條記錄,每一個記錄由關鍵字和資料(KEY/VALUE)構成。資料可以是簡單的資料型別,也可以是複雜的資料型別,例如C語言中結構。DB對資料型別不做任何解釋, 完全由程式設計師自行處理,典型的C語言指標的"自由"風格。如果把記錄看成一個有n個欄位的表,那麼第1個欄位為表的主鍵,第2--n個欄位對應了其它資料。DB應用程式通常使用多個DB資料庫,從某種意義上看,也就是關係資料庫中的多個表。DB庫非常緊湊,不超過500K,但可以管理大至256T的資料量。
DB的設計充分體現了UNIX的基於工具的哲學,即若干簡單工具的組合可以實現強大的功能。DB的每一個基礎功能模組都被設計為獨立的,也即意味著其使用領域並不侷限於DB本身。例如加鎖子系統可以用於非DB應用程式的通用操作,記憶體共享緩衝池子系統可以用於在記憶體中基於頁面的檔案緩衝。
DB核心資料結構
資料庫控制代碼結構DB:包含了若干描述資料庫屬性的引數,如資料庫訪問方法型別、邏輯頁面大小、資料庫名稱等;同時,DB結構中包含了大量的資料庫處理函式指標,大多數形式為 (*dosomething)(DB *, arg1, arg2, …)。其中最重要的有open,close,put,get等函式。
資料庫記錄結構DBT:DB中的記錄由關鍵字和資料構成,關鍵字和資料都用結構DBT表示。實際上完全可以把關鍵字看成特殊的資料。結構中最重要的兩個欄位是 void * data和u_int32_t size,分別對應資料本身和資料的長度。
資料庫遊標結構DBC:遊標(cursor)是資料庫應用中常見概念,其本質上就是一個關於特定記錄的遍歷器。注意到DB支援多重記錄(duplicate records),即多條記錄有相同關鍵字,在對多重記錄的處理中,使用遊標是最容易的方式。
資料庫環境控制代碼結構DB_ENV:環境在DB中屬於高階特性,本質上看,環境是多個數據庫的包裝器。當一個或多個數據庫在環境中開啟後,環境可以為這些資料庫提供多種子系統服務,例如多線/程序處理支援、事務處理支援、高效能支援、日誌恢復支援等。
DB中核心資料結構在使用前都要初始化,隨後可以呼叫結構中的函式(指標)完成各種操作,最後必須關閉資料結構。從設計思想的層面上看,這種設計方法是利用面向過程語言實現面對物件程式設計的一個典範。
DB資料訪問演算法
在資料庫領域中,資料訪問演算法對應了資料在硬碟上的儲存格式和操作方法。在編寫應用程式時,選擇合適的演算法可能會在運算速度上提高1個甚至多個數量級。大多數資料庫都選用B+樹演算法,DB也不例外,同時還支援HASH演算法、Recno演算法和Queue演算法。接下來,我們將討論這些演算法的特點以及如何根據需要儲存資料的特點進行選擇。
B+樹演算法:B+樹是一個平衡樹,關鍵字有序儲存,並且其結構能隨資料的插入和刪除進行動態調整。為了程式碼的簡單,DB沒有實現對關鍵字的字首碼壓縮。B+樹支援對資料查詢、插入、刪除的常數級速度。關鍵字可以為任意的資料結構。
HASH演算法:DB中實際使用的是擴充套件線性HASH演算法(extended linear hashing),可以根據HASH表的增長進行適當的調整。關鍵字可以為任意的資料結構。
Recno演算法: 要求每一個記錄都有一個邏輯紀錄號,邏輯紀錄號由演算法本身生成。實際上,這和關係型資料庫中邏輯主鍵通常定義為int AUTO型是同一個概念。Recho建立在B+樹演算法之上,提供了一個儲存有序資料的介面。記錄的長度可以為定長或不定長。
Queue演算法:和Recno方式接近, 只不過記錄的長度為定長。資料以定長記錄方式儲存在佇列中,插入操作把記錄插入到佇列的尾部,相比之下插入速度是最快的。
對演算法的選擇首先要看關鍵字的型別,如果為複雜型別,則只能選擇B+樹或HASH演算法,如果關鍵字為邏輯記錄號,則應該選擇Recno或Queue演算法。當工作集關鍵字有序時,B+樹演算法比較合適;如果工作集比較大且基本上關鍵字為隨機分佈時,選擇HASH演算法。Queue演算法只能儲存定長的記錄,在高的併發處理情況下,Queue演算法效率較高;如果是其它情況,則選擇Recno演算法,Recno演算法把資料儲存為平面檔案格式。
DB常用函式使用範例
#include <db.h>
#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
/* DB的函式執行完成後,返回0代表成功,否則失敗 */
void print_error(int ret)
{
if(ret != 0)
printf("ERROR: %s\n",db_strerror(ret));
}
/* 資料結構DBT在使用前,應首先初始化,否則編譯可通過但執行時報引數錯誤 */
void init_DBT(DBT * key, DBT * data)
{
memset(key, 0, sizeof(DBT));
memset(data, 0, sizeof(DBT));
}
void main(void)
{
DB *dbp;
DBT key, data;
u_int32_t flags;
int ret;
char *fruit = "apple";
int number = 15;
typedef struct customer
{
int c_id;
char name[10];
char address[20];
int age;
} CUSTOMER;
CUSTOMER cust;
int key_cust_c_id = 1;
cust.c_id = 1;
strncpy(cust.name, "javer", 9);
strncpy(cust.address, "chengdu", 19);
cust.age = 32;
/* 首先建立資料庫控制代碼 */
ret = db_create(&dbp, NULL, 0);
print_error(ret);
/* 建立資料庫標誌 */
flags = DB_CREATE;
/* 建立一個名為single.db的資料庫,使用B+樹訪問演算法,本段程式碼演示對簡單資料型別的處理 */
ret = dbp->open(dbp, NULL, "single.db", NULL, DB_BTREE, flags, 0);
print_error(ret);
init_DBT(&key, &data);
/* 分別對關鍵字和資料賦值和規定長度 */
key.data = fruit;
key.size = strlen(fruit) + 1;
data.data = &number;
data.size = sizeof(int);
/* 把記錄寫入資料庫中,不允許覆蓋關鍵字相同的記錄 */
ret = dbp->put(dbp, NULL, &key, &data,DB_NOOVERWRITE);
print_error(ret);
/* 手動把快取中的資料重新整理到硬碟檔案中,實際上在關閉資料庫時,資料會被自動重新整理 */
dbp->sync();
init_DBT(&key, &data);
key.data = fruit;
key.size = strlen(fruit) + 1;
/* 從資料庫中查詢關鍵字為apple的記錄 */
ret = dbp->get(dbp, NULL, &key, &data, 0);
print_error(ret);
/* 特別要注意資料結構DBT的欄位data為void *型,所以在對data賦值和取值時,要做必要的型別轉換。 */
printf("The number = %d\n", *(int*)(data.data));
if(dbp != NULL)
dbp->close(dbp, 0);
ret = db_create(&dbp, NULL, 0);
print_error(ret);
flags = DB_CREATE;
/* 建立一個名為complex.db的資料庫,使用HASH訪問演算法,本段程式碼演示對複雜資料結構的處理 */
ret = dbp->open(dbp, NULL, "complex.db", NULL, DB_HASH, flags, 0);
print_error(ret);
init_DBT(&key, &data);
key.size = sizeof(int);
key.data = &(cust.c_id);
data.size = sizeof(CUSTOMER);
data.data = &cust;
ret = dbp->put(dbp, NULL, &key, &data,DB_NOOVERWRITE);
print_error(ret);
memset(&cust, 0, sizeof(CUSTOMER));
key.size = sizeof(int);
key.data = &key_cust_c_id;
data.data = &cust;
data.ulen = sizeof(CUSTOMER);
data.flags = DB_DBT_USERMEM;
dbp->get(dbp, NULL, &key, &data, 0);
print_error(ret);
printf("c_id = %d name = %s address = %s age = %d\n",
cust.c_id, cust.name, cust.address, cust.age);
if(dbp != NULL)
dbp->close(dbp, 0);
}
DB遊標使用範例
遊標是依賴於資料庫控制代碼的,應用程式程式碼框架如下:
12345678910 | /* 定義一個遊標變數 */ DBC * cur; /* 首先開啟資料庫,再開啟遊標 */ dbp->open(dbp, ……); dbp->cursor(dbp, NULL, &cur, 0); /* do something with cursor */ /* 首先關閉,在關閉資料庫 */ cur->c_close(cur); dbp->close(dbp, 0); |
在遊標開啟後,可以以多種方式遍歷特定記錄。
1234567 | Memset(&key, 0, sizeof(DBT)); Memset(&data, 0, sizeof(DBT)); /* 因為KEY和DATA為空,則遊標遍歷整個資料庫記錄 */ While((ret = cur->c_get(cur, &key, &data, DB_NEXT)) == 0) { /* do something with key and data */ } |
當想查詢特定關鍵字對應的記錄,則應對關鍵字賦值,並把cur->c_get()函式中標誌位設定為DB_SET。例如:
123456 | key.data = "xxxxx"; key.size = XXX; While((ret = cur->c_get(cur, &key, &data, DB_SET)) == 0) { /* do something with key and data */ } |
遊標的作用還有很多,如查詢多重記錄,插入/修改/刪除記錄等。
DB環境使用範例
本文前面已說明環境是DB資料庫的包裝器,提供多種高階功能。應用程式程式碼框架如下:
1234567891011121314151617181920212223242526 | /* 定義一個環境變數,並建立 */ DB_ENV *dbenv; db_env_create(&dbenv, 0); /* 在環境開啟之前,可呼叫形式為dbenv->set_XXX()的若干函式設定環境 */ /* 通知DB使用Rijndael加密演算法(參考資料>)對資料進行處理 */ dbenv->set_encrypt(dbenv, "encrypt_string", DB_ENCRYPT_AES); /* 設定DB的快取為5M */ dbenv->set_cachesize(dbenv, 0, 5 * 1024 * 1024, 0); /* 設定DB查詢資料庫檔案的目錄 */ dbenv->set_data_dir(dbenv, "/usr/javer/work_db"); /* 開啟資料庫環境,注意後四個標誌分別指示DB啟動日誌、加鎖、快取、事務處理子系統 */ dbenv->open(dbenv,home,DB_CREATE|DB_INIT_LOG|DB_INIT_LOCK| DB_INIT_MPOOL |DB_INIT_TXN, 0); /* 在環境開啟後,則可以開啟若干個資料庫,所有資料庫的處理都在環境的控制和保護中。 注意db_create函式的第二個引數是環境變數 */ db_create(&dbp1, dbenv, 0); dbp1->open(dbp1, ……); db_create(&dbp2, dbenv, 0); dbp1->open(dbp2, ……); /* do something with the database */ /* 最後首先關閉開啟的資料庫,再關閉環境 */ dbp2->close(dbp2, 0); dbp1->close(dbp1, 0); dbenv->close(dbenv, 0); |
DB軟體的安裝和編譯
從DB的官方站點http://www.sleepycat.com/下載最新的軟體包db-4.3.27.tar.gz,解壓到工作目錄,進入該目錄,依次執行下列三條命令即可。
123 | ../dist/configure make make install |
執行make uninstall,則可解除安裝已安裝的DB軟體。
DB預設把庫和標頭檔案安裝在目錄/usr/local/BerkeleyDB.4.3/下,使用gcc test.c -ggdb -I/usr/local/BerkeleyDB.4.3/include/ -L/usr/local/BerkeleyDB.4.3/lib/ -ldb -lpthread就可正確編譯程式。如果讀者的測試主機作業系統為RED HAT9,則安裝的DB版本可能是4.0。特別要注意到這兩個版本的庫是不相容的。例如開啟資料庫函式DB->open(),在4.0版本中入參為6個,而在4.3版中則為7個(可自行比較兩個庫的標頭檔案db.h中DB->open函式的定義)。因為在DB相關的應用程式中,open函式基本上都是要執行的,所以如果函式和版本不匹配,編譯肯定會出錯。當然,編譯完成後,可以使用命令ldd檢視庫的依賴關係。
總結
DB是一個具有工業強度的嵌入式資料庫系統,資料處理的效率很高。DB功能的穩定性歷經時間的考驗,在大量應用程式中使用便是明證。可以想見,在同等程式碼質量的條件下,軟體的BUG數和程式碼的長度是成正比的,相對幾十兆、幾百兆大型資料庫軟體,DB的只有不到500K的大小!
從實現功能上看,DB是輕量級資料庫系統,或可稱為"極" 輕量級資料庫系統。但是,我認為不能因此而心存輕視之意,所謂"尺有所短,寸有所長",以絕對角度比較工具之間的好壞是沒有什麼意義的,關鍵在於對工具的選擇和運用(似乎可以參考一下極限程式設計的思想)。也許,正確的"表達正規化"應該是:在當前應用背景下,選擇這種工具是最合適的。