• 本文目的
• 1.安裝jdk8並配置環境變數
• 2.安裝python
• 3.安裝datax
• 4.下載安裝datax-web
  • 4.1 安裝mysql
  • 4.2 安裝datax-web
  • 4.3 修改執行指令碼位置
  • 4.4 啟動datax-web
  • 4.5 開放外網埠然後訪問後臺

本文目的

本文旨在記錄安裝datax和datax-web的過程和解決其中遇到的一些問題，大部分安裝過程都可以在官方文件找到DataX,datax-web。
唯一遇到的問題是：datax自檢指令碼報錯，刪除對應目錄下的隱藏檔案即可，參考:自檢指令碼報錯

1.安裝jdk8並配置環境變數

vi /etc/profile

JAVA_HOME=/home/jdk1.8.0_251  
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export PATH=$JAVA_HOME/bin:$PATH  
 

source /etc/profile
java -version

2.安裝python

linux一般都已經自帶python環境了，沒有的話自行安裝下
python -V

3.安裝datax

mkdir -p /home/datax
cd /home/datax
下載datax安裝包
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
解壓安裝包
tar -zxvf datax.tar.gz
測試自檢指令碼
python /home/datax/datax/bin/datax.py /home/datax/datax/job/job.json
此時會報錯：找不到某個檔案，但實際去找這些檔案是有的，此時需要刪除plugin下的隱藏檔案(ls -la

再次執行
python /home/datax/datax/bin/datax.py /home/datax/datax/job/job.json
稍等即可看到執行結果

2022-05-11 15:19:43.103 [job-0] INFO  JobContainer - 
任務啟動時刻                    : 2022-05-11 15:19:33
任務結束時刻                    : 2022-05-11 15:19:43
任務總計耗時                    :                 10s
任務平均流量                    :          253.91KB/s
記錄寫入速度                    :          10000rec/s
讀出記錄總數                    :              100000
讀寫失敗總數                    :                   0
 

4.下載安裝datax-web

參考地址：
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

4.1 安裝mysql

參考地址:
https://www.cnblogs.com/simple-young/p/15432579.html

4.2 安裝datax-web

cd /home/datax/datax-web-2.1.2/bin
./install.sh
期間會提示安裝各個模組和設定mysql密碼，按提示進行即可

4.3 修改執行指令碼位置

作者的原文：

vi ./modules/{module_name}/bin/env.properties

執行datax的python指令碼地址
PYTHON_PATH=

### 保持和datax-admin服務的埠一致；預設是9527，如果沒改datax-admin的埠，可以忽略
DATAX_ADMIN_PORT=

對應修改
cd /home/datax/datax-web-2.1.2/modules/datax-executor/bin/
vi env.properties

PYTHON_PATH=/home/datax/datax/bin/datax.py
DATAX_ADMIN_PORT=9527

4.4 啟動datax-web

cd /home/datax/datax-web-2.1.2
./bin/start-all.sh

4.5 開放外網埠然後訪問後臺

後臺地址
http://ip:9527/index.html
使用者名稱/密碼：
admin/123456