ADF 第三篇:Integration runtime和 Linked Service
Azure Data Factory 系列部落格:
- ADF 第一篇:Azure Data Factory介紹
- ADF 第二篇:使用UI建立資料工廠
- ADF 第三篇:Integration runtime和 Linked Service
Integration runtime(IR) 是Azure 資料工廠在不同的網路環境中進行資料整合的元件,用於幾個環境中:
- Data Flow:在託管的Azure計算環境中執行Data Flow
- Data movement:把儲存在公用網路(public network)和私有網路(on-premises或private network)之間複製資料
- Activity dispatch:排程(dispatch)和監視在各種計算服務(例如 Azure Databricks、azure HDInsight、Azure 機器學習、Azure SQL 資料庫、SQL Server 等)上執行的轉換活動。
- SSIS package execution:在託管的 Azure 計算環境中本機執行 SQL Server 整合服務 (SSIS) 包
在資料工廠中,活動(Activity)定義要執行的動作,Linked service 定義目標資料儲存,或計算服務。整合執行時(Integration runtime)提供了活動(Activity)和Linked Services之間的橋樑,它被連結服務或活動引用,提供一個計算環境,用於執行Activity,或者分派Activity,這使得ADF可以在滿足安全性和合規性需求的同時,以最高效的方式在最接近目標資料儲存或計算服務的區域中執行活動。
一,IR的型別
資料工廠提供了三種類型的IR,每種型別的IR 適用的網路環境如下表所示:
Azure IR的作用:
- 可以在Azure上執行Data Flow
- 在cloud 資料儲存之間執行Copy Activity
- 在public network上分派轉換活動(Transform Activity)
Self-hosted IR的作用:
- 在雲資料儲存和私有網路儲存之間執行Copy Activity
- 對本地(on-premises)或Azure虛擬網路種的計算資源執行轉換活動(Transform Activity)
如果想在私有網路環境中執行資料整合,那麼可以在on-premises環境(私有網路環境)中安裝Self-hosted IR。
Azure-SSIS IR:
用於執行SSIS packages,通過把Azure-SSIS IR加入到on-premises的網路中,資料工廠可以用於本地資料訪問(on-premises data access)。
二,建立Self-Hosted IR
通過Azure Data Factory UI來建立,
選擇Self-Hosted 型別,選擇手動設定(Manual setup),
點選“Download and install integration runtime”,下載安裝包,並複製 authentication key,黏貼到"Register Integration Runtime (Self-hosted)" 頁面中:
點選頁面底部的“Register” 按鈕完成Self-Hosted IR的註冊。
三,Linked Service
連線服務(Linked services )類似於連線字串,用於定義ADF連線到外部資源時所需要的連線資訊,連線服務定義如何連線到外部資料來源,而資料集代表外部源資料的結構。
而Linked Services 依賴於Integration runtimes,因此,我們在建立Linked Service之前,需要建立Integration runtimes。
參考文件:
Linked services in Azure Data Factory
Integration runtime in Azure Data Fac