1. 程式人生 > >大資料最火的平臺------> streamsets

大資料最火的平臺------> streamsets

一 、環境搭建

1.環境準備 

  maven 3.23+  ------> 下載地址 http://maven.apache.org/download.cgi

  jdk 1.8.x   ------> 下載地址  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  Node ------> 下載地址 https://nodejs.org/en/download/

  Git  ------> 下載地址  https://git-for-windows.github.io/

  streamsets程式碼  

   下載地址  https://streamsets.com/   或者 https://github.com/streamsets/datacollector

注意:datacollector 和 datacollector Api 都要下載

2.安裝軟體(以上環境安裝完成後)

  進入Node中

  1. install npm 

  2. npm -g install bower 

  3. npm -g install grunt-cli

3.打包操作

  mvn clean install -DskipTests

  mvn package -Pdist,ui -DskipTests

二 、部署streamsets

1.將打好的包(dist/target目錄下)壓縮成.zip,並上傳到虛擬機器中,datacollector\dist\target\streamsets-datacollector-2.0.0.0

2.在虛擬機器上解壓streamsets

     unzip streamsets.zip

3.進入到streamsets根目錄下,啟動專案

    bin/streamsets dc 

注意:

  異常1:

    ../bin/streamsets :許可權不夠

  解決辦法

   chmod +x bin/streamsets

 異常2:

    ../libexec/_sdc :許可權不夠

  解決辦法

   chmod +x ../libexec/_sdc