1. 程式人生 > 其它 >Datax-web 叢集化部署使用

Datax-web 叢集化部署使用

環境準備

1)基礎軟體安裝
MySQL (5.5+) 必選,對應客戶端可以選裝, Linux服務上若安裝mysql的客戶端可以通過部署指令碼快速初始化資料庫
JDK (1.8.0_xxx) 必選
DataX 必選
Python (2.x) (支援Python3需要修改替換datax/bin下面的三個python檔案,替換檔案在doc/datax-web/datax-python3下) 必選,主要用於排程執行底層DataX的啟動指令碼,預設的方式是以Java子程序方式執行DataX,使用者可以選擇以Python方式來做自定義的改造

2)硬體環境 三臺主機
cdh-01
cdh-02
cdh-03

Datax 安裝

  1. DataX下載地址
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 

  2.解壓 & 測試

tar -xvf datax-web-2.1.2.tar.gz

  cd datax/bin

python datax.py ../job/job.json

Datax-web 安裝

1.點選下載提取碼:cpsk

2.進入解壓目錄,執行一鍵安裝指令碼

./bin/install.sh

3.全部選 Y ,配置 MySQL 即可

4.配置
修改./modules/datax-executor/bin/env.properties (修改內容為datax解壓目錄下的datax.py位置)

### 執行datax的python指令碼地址
PYTHON_PATH=/opt/datax/bin/datax.py

5.啟動

./bin/start-all.sh

6.訪問
http://192.168.10.151:9527/index.html
admin/123456

到此,單機版的datax-web 已經可以正常使用,接下來部署叢集。

新增 Executor

新新增的Executor 需要安裝datax、datax-web(可以只安裝datax-executor)
1.修改 modules/datax-executor/bin/env.properties,指定datax.py 位置

## PYTHON指令碼執行位置
#PYTHON_PATH
=/home/hadoop/install/datax/bin/datax.py PYTHON_PATH=/opt/datax/bin/datax.py

2.修改/modules/datax-executor/conf/application.yml
指定 datax-web 地址

addresses: http://192.168.10.151:9527
appname:自己指定隨意

3.啟動

./bin/start.sh -m datax-executor

4.開啟web 頁面,選擇執行器,新增

5.到此 ,叢集式datax-web 已經部署完畢,構建任務時可以選擇不同的執行器。