大資料最火的平臺------> streamsets
一 、環境搭建
1.環境準備
maven 3.23+ ------> 下載地址 http://maven.apache.org/download.cgi
jdk 1.8.x ------> 下載地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Node ------> 下載地址 https://nodejs.org/en/download/
Git ------> 下載地址 https://git-for-windows.github.io/
streamsets程式碼
下載地址 https://streamsets.com/ 或者 https://github.com/streamsets/datacollector
注意:datacollector 和 datacollector Api 都要下載
2.安裝軟體(以上環境安裝完成後)
進入Node中
1. install npm
2. npm -g install bower
3. npm -g install grunt-cli
3.打包操作
mvn clean install -DskipTests
mvn package -Pdist,ui -DskipTests
二 、部署streamsets
1.將打好的包(dist/target目錄下)壓縮成.zip,並上傳到虛擬機器中,datacollector\dist\target\streamsets-datacollector-2.0.0.0
2.在虛擬機器上解壓streamsets
unzip streamsets.zip
3.進入到streamsets根目錄下,啟動專案
bin/streamsets dc
注意:
異常1:
../bin/streamsets :許可權不夠
解決辦法
chmod +x bin/streamsets
異常2:
../libexec/_sdc :許可權不夠
解決辦法
chmod +x ../libexec/_sdc