StreamSets 從Mysql到Hbase(帶kerberos認證)的實時資料採集
引言
最近在研究StreamSets,就做了個簡單Demo熟悉它的使用,由於我們的hbase是cdh版的,且帶有kerberos認證,與streamsSet怎麼配帶kerberos認證的Hbase中文資料甚少,所以本人就去官網翻看了一下。
環境介紹
安裝streamSets這裡我不作過多介紹,這方面的網上資料有不少。我採用的是核心包安裝(Core Tarball),版本為streamsets-datacollector-core-3.6.1.tgz。因為是核心包安裝,所以需要新增hbase的庫,hbase的庫是在cdh。
安裝步驟:主介面點選那個盒子,然後點選cdh安裝就好,完全是圖形化的。
mysql配置
正常的新建Pipelines我就不多說,大家可以參看https://cloud.tencent.com/developer/article/1078852
可以配置一部分就先預覽一下:
帶kerberos認證hbase配置
這個就比較麻煩了!網上基本沒有什麼中文資料有說明。
kerberos認證的配置,可參看官網:https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/DCConfig.html#concept_hnm_n4l_xs
具體步驟:
1、將Kerberos配置檔案krb5.conf複製到Data Collector計算機。預設位置是/etc/krb5.conf。
注:安裝streamset的機器需要注意一下hosts檔案,ip到主機名的對映。
2、修改Data Collector配置檔案sdc.properties將Data Collector配置為使用Kerberos。
3、重新啟動Data Collector.
4、在streamset的hbase配置中勾選kerberos認證選項,如上圖。
總結
這個效果圖: