使用SSIS建立同步資料庫資料任務
SSIS(SQL Server Integration Services)是用於生成企業級資料整合和資料轉換解決方案的平臺。使用 Integration Services 可解決複雜的業務問題,具體表現為:複製或下載檔案,傳送電子郵件以響應事件,更新資料倉庫,清除和挖掘資料以及管理 SQL Server 物件和資料。這些包可以獨立使用,也可以與其他包一起使用以滿足複雜的業務需求。Integration Services 可以提取和轉換來自多種源(如 XML 資料檔案、平面檔案和關係資料來源)的資料,然後將這些資料載入到一個或多個目標。
下面我使用SSIS來演示一個實際例子。比如我有一個數據庫,出於備份資料或者其它的目的,會定期的對這個資料庫的資料遷移到其它的資料庫去。遷移的時候,有些新增的欄位會被插入備份資料庫,而有些被修改過的欄位也會在備份資料庫被修改。現在我們就用SSIS來完成這項任務。
首先在我源資料庫db_source和目標資料庫db_destination中執行以下SQL建立好需要的表,就以這一個表test_1來進行示範。
CREATE TABLE [dbo].[test_1]( [Id] [int] IDENTITY(1,1) NOT NULL primary key, [Name] [varchar](50) NULL, [Age] [int] NULL )
建好表好在源資料表中可以隨便加幾條記錄,目標資料庫暫時留空。
現在我們開啟VS,建立一個Intergration Services Project。(注意:如果SQL Server 裝的是Express版的話是沒有這個專案工程模板的)
建立好工程後,在Control Flow這個Tab下拖入一個Data Flow Task,如下圖:
雙擊這個Data Flow Task,我們就會進入Data Flow這個Tab標籤中。
然後我們在左邊工具欄裡找到OLE DB Source,繼續拖兩個OLE DB Source出來。分別給它們命名為Source DB和Destination DB。
將資料來源拖出來後,雙擊它,可以對它進行一些設定,主要就是連結資料庫及選擇你要進行遷移的表或者檢視等設定,這裡我就不詳細說明了。注意一點的是就像上圖所示,如果一個圖形上出現一個紅X的話說明設定有錯誤。
再來就是拖兩個Sort及一個Merge Join出來,將之前的資料來源箭頭分別指向兩個Sort,最後兩個Sort出來的資料同時輸入Merge Join中。
分別雙擊兩個Sort,鉤選表中的ID,對ID這個欄位進行一次排序。因為Merge Join這個流程要求輸入的資料是已排序好的。這個排序也可以直接在資料來源中對它們的輸出欄位設定SortKeyPosition這個屬性來排序這裡我們第一次從Sort拉箭頭到Merge Join的時候,會讓我們選擇這個輸入的資料是作為左輸入還是右輸入,我們按照圖示的那樣,左邊的作為左輸入,右邊的作為右輸入。然後我們雙擊Merge Join,按照如下圖所示設定:
這裡打鉤的是這個流程之後輸出的資料,Join Type需要選擇為Left outer join,因為左邊是我們的原始資料表,右邊是我們備份的表,右表可以看成是一個左表的一個子集,如果左表有的資料,右表沒有的,那些就是需要新插入備份資料庫的資料。本文來自http://www.14271.com/bcnews/bw/20120918334.html
現在我們需要一個分支,即新的資料需要插入備份資料庫中,而已有的資料需要更新為新的值。我們從工具欄中拖入一個Conditional Split來進行這樣的分支處理。我們將Merge Sort中的輸出指向Conditional Split,然後雙擊Conditional Split,如下圖所示設定(注意條件一個是ISNULL,一個是非ISNULL)。
這時它們的輸入值就被分成兩種條件輸出,最後我們再拖入一個OLE DB Destination來插入資料和一個OLE DB Command來更新資料庫,最終流程如下圖:
雙擊設定OLE DB Destionation,選擇好資料匯入的目標資料庫中的表,這裡需要注意的就是要鉤選Keep identity這個選項,因為我建立表的時候對ID欄位使用了自增屬性。
雙擊設定OLE DB Command,首先在Connection Managers這個Tab中選擇好連結物件,然後在Component Properties這個選項卡中,設定你的SqlCommand屬性。如下圖:
這裡的引數值都是用?號來代替,之後在Column Mappings這個Tab中設定代替值實際代替的列,如下圖:
至此,任務就建立完畢了,沒有編寫任何程式碼,直接拖拉完成了。現在可以直接在VS中按F5執行看下效果,我們的目標資料表將插入源資料表中的值。然後我們修改一下原資料表,再來執行一下上面這個任務,就可以在目標資料庫中看到更改了。
那麼如何去定時完成任務哩?這裡可以用SQL Server Agent去呼叫上面我們寫好的包, 或者在Windows計劃任務中使用DTExec.exe去執行上面的任務。