摘 要： 針對多源異構環境下資料的特點，提出一種資料同步複製新方案。該方案解決了多源異構環境下資料庫的訪問，資料的獲取與複製，動態資料來源的處理以及同步過程中資料衝突與同步的實時性等問題。最後將所提出的方案應用於某省高速公路車輛監控系統中，達到了實際應用要求，表明了該方案的正確性與有效性。

0 引言

隨著計算機技術的不斷髮展，各種不同資料結構型別的資料庫深入到不同的應用領域，尤其是那些地域上分散而管理上又相對集中的跨地域集團公司或者企業單位[1]。雖然使用資料同步技術可以提高資料資訊的集中管理，提高整個分散式資料庫系統的響應速度和可靠性[2]，但是由於資料的異構性和多樣性，資料同步複製仍存在許多問題。本文針對資料同步複製中出現的問題，提出了一種多源異構資料同步複製的方法，該方法可以解決不同型別資料庫之間的訪問、資料的實時獲取與複製、同步過程中資料衝突以及實際應用中資料來源動態產生的處理、系統中斷資料丟失等問題。

1 多源異構資料同步複製技術

1.1 傳統的資料同步複製技術

傳統的分散式資料同步複製就是由資料庫自身同構複製技術實現的，當源表發生變化時，由資料庫引擎引發同步事件，把源表中變化的資料同步更新到目標資料庫中，但是這種複製技術只能在同構資料庫之間使用[2]。

目前各資料庫開發商在各自的資料庫同構複製的基礎上提出了異構資料庫的複製方案，例如Microsoft SQL Server提出了出版者/預訂者同步方案[3-6]，Oracle中採用多主複製和物化檢視的方案來實現資料同步的功能[4-6]，DB使用CCD表來實現異構資料庫之間的複製。雖然各廠商研發出輔助工具更好地完善了資料同步複製的功能，但是複製方案仍依賴於自己的資料庫管理系統（Database Management System，DBMS）核心技術，不能保證完全與DBMS無關。

1.2 多源異構資料的同步複製

通常情況下，多源異構資料所在的分散式網路結構如圖1所示。圖中下級資料庫存在多個且分佈在不同的物理位置上，它們的表結構甚至採用的系統也不一樣。

與傳統資料同步相比，多源異構資料的同步複製存在如下幾個難點：（1）多個下級伺服器的資料庫會因為使用各種不同的資料模型來表示和儲存資料，導致資料格式的混亂，訪問介面獨立。（2）需同步複製的下級資料來源是動態的，比如下級資料庫中某些表是按日或月動態生成的。（3）某些情況下，不能對下級資料庫的表結構進行任何改變。當表是動態生成時，無法修改表結構因此不能利用資料庫本身的複製功能。（4）同步過程中能對重複的資料進行過濾並進行衝突處理。

2 多源異構資料同步複製方案

從多源異構環境下的資料同步特點可以看出，資料同步複製要解決的問題包括：（1）異構資料庫的訪問；（2）資料的獲取與複製；（3）動態資料來源的處理；（4）資料衝突與同步實時性。

2.1 異構資料庫的訪問

當前主流的資料庫型別有SQL Server、Oracle、Mysql、DB2D等。針對不同型別的資料庫，本文采用ADO技術訪問資料庫，其連線資料庫的形式為：“Provider=SQLOLEDB.1/SQLNCLI10.1；Data Source=%s；Presist Security Info=False；User ID=%s；Password=%s；Initial Catalog=%s”，其中：Provider針對資料來源不同，可選擇SQLOLEDB.1和SQLNCLI10.1兩種驅動方式。

2.2 資料的獲取與複製

資料的獲取與複製指從下級源資料庫中讀取資料，然後將所讀取的資料複製到上級資料庫中並標記同步完成的過程。根據下級資料來源中表結構有可修改與不可修改兩種情況，分別設計方案：

（1）表結構可修改時，在下級資料庫的表中增加新欄位int sendok，並設定欄位的預設值為0。每同步成功一條資料，將sendok欄位的值設定為1，若沒有同步成功，仍設定為0，其流程圖如圖2所示。

（2）表結構不允許修改時，在上級資料庫中新建輔助表來記錄下級資料庫的同步操作過程。設定同步跟蹤記錄的表名為Track，表中欄位定義如表1所示。

在同步過程中，下級資料庫中的資料是不斷更新的，需要設定定時同步複製機制來完成同步。首先需要獲取當前的系統時間和最近一次上傳的結束時間，若當前系統時間小於上次上傳的結束時間，則放棄本次更新，等待下次更新。若當前系統時間大於上次結束時間，則進行該時間段內新資料的同步操作。同步後，判斷此次操作是否成功，成功置1，否則置0，並在追蹤表中記錄操作，流程圖如圖3所示。

2.3 動態資料來源的處理

在下級資料庫中，由於不同資料庫中表的建立方式不同，有些下級是按日或按月來動態生成新表，會增加上級對下級資料來源的查詢難度，此時需根據表形成的規律來查詢。例如有些資料來源中表是以固定字元加年月日作為表名，需獲取表的名稱，再根據表形成的規律自動拼裝來獲取日期資訊。同步複製前，系統需要檢測是否有新表，若存在新表則進行資料同步的操作，不存在則退出。

2.4 資料衝突與同步實時性

與傳統資料同步複製不同，多源異構下的資料衝突主要是由於網路異常造成的重複同步，以及為了保證資料一致性而不斷檢查與複製下級資料來源等造成的。因此在設計上級資料庫中表的屬性時，設定表的主鍵，對每條資料同步時先檢查相同主鍵的記錄是否存在，如果存在則返回。

同步的實時性取決於資料上傳的時間間隔，時間間隔越短，實時性越好，但計算機與網路負荷越大；反之，實時性差，計算機與網路負荷就小。為了解決這個矛盾，可採用動態快取機制提高同步的實時性，即將已同步資料的主鍵及關鍵欄位資訊，動態地儲存在記憶體快取中，從而有效地減少了計算機與網路的負擔。

3 多源異構下資料同步複製技術的應用

為了驗證所提出方案的正確性和有效性，結合某省高速公路車輛監控系統的資料同步任務進行實際應用研究。

在高速公路網路系統中，收費站出入口以及眾多斷面節點基本實現了全線無盲點監控，各個地點的子系統均記錄了所經車輛的車牌、時間、車型等流水資訊。為了實現對車輛在整個交通網路中執行情況的監控，首要的任務就是將這些分散於各子系統的車輛流水資料實時同步複製到一箇中心資料庫中。

3.1 軟體的設計

通過分析，高速公路系統資料來源可歸納為三類：收費站、主線卡口和服務區，其特點如下：（1）存在的資料庫管理系統有SQL Server 2000、SQL Server 2008、Oracle 9i；（2）資料存放的方式多樣，包括單一表、按月生成表、按日生成表等；（3）有些表結構可修改，有些表結構不能修改，比如按月生成表的情況，因此無法獲得生成表的原始碼。

為了實現對以上情況的靈活處理，軟體以XML格式的方式配置資料來源的情況，同時利用多執行緒技術實現對多個數據源的同時處理，整個軟體的總體結構如圖4所示。

3.2 系統實現

高速公路車輛資料採集系統提供對全線各子系統中的車輛流水資料的實時收集功能，即實現對各個分散資料來源的異構資料的同步複製。該軟體系統以Visual C++語言進行開發，利用本文提出的多源異構下資料同步複製方案，並結合多執行緒技術提升軟體的執行效率。整個系統的執行介面如圖5所示。

從圖5可以看出，該系統可同時將多個下級資料來源的資料同步複製到一個上級資料庫伺服器中，實現對車輛流水資料的集中整合。該系統經實際測試，已實現了23 h不間斷執行，資料同步複製未發現多出一條記錄或者少一條記錄，資料正確率100%，在系統可靠性與資料完整性方面均達到了資料同步複製的要求。

4 結論

本文針對多源異構資料同步的實時性、可靠性、通用性的需求進行了研究，提出了一種資料同步複製方案，解決了異構環境下資料庫之間資料共享的問題，並結合高速公路監控系統的實際專案進行了測試，驗證了該方案具有可實用性並取得了預期的效果。

參考文獻

[1] 胡金龍，許衛，房福龍.異構資料庫同步複製技術研究與實現[J].長江科學院院報，2011，6（28）：71-75.

[2] 王婉菲，張志浩.分散式資料庫系統的複製機制及應用[J].計算機工程與科學，2003，25（1）：88-91.

[3] 楊鵬.異構資料庫同步中介軟體技術的研究與實現[D].長沙：國防科學技術大學，2007.

[4] 趙中華.基於XML的異地異構資料庫的資料同步技術的研究[D].濟南：山東輕工業學院，2009.

[5] 譚德才.基於郵件系統的遠端異構資料庫同步的設計與實現[D].廣州：華南理工大學，2010.

[6] 姜亦學.分散式資料庫系統同步技術研究[D].長春：長春理工大學，2008.