在 M1 下搭建 DolphinScheduler 開發除錯環境
Apache DolphinScheduler 是一個分散式去中心化,易擴充套件的視覺化 DAG 工作流任務排程系統。致力於解決資料處理流程中錯綜複雜的依賴關係,使排程系統在資料處理流程中開箱即用
M1 因為架構的原因,目前還存在比較多的問題,但是開發者都在積極適配。目前全網還沒有搜尋到任何在 M1 下搭建 DolphinScheduler 開發除錯環境的資料,所以就有了這篇部落格,希望能給大家提供思路,這篇部落格之前是釋出在我的 CSDN 上
環境情況
- macOS Big Sur 11.3
- OpenJDK 64-Bit Server VM (Zulu 8.52.0.23-CA-macos-aarch64)
- IntelliJ IDEA Version: 2021.1
- Docker version 20.10.6
- Node v14.17.0
M1 部署時遇到的問題
1. 資料庫及其驅動
使用 Docker 安裝 mysql-server,簡化安裝流程,需要配套使用 8.0 的驅動連線
2. Zookeeper
使用 Docker 部署,簡化安裝流程
3. Node
推薦使用 Node v14.17.0
v16.2.0 安裝依賴時會提示:“node-sass: Command failed ” 的錯誤
按照官網指導,使用下面的命令單獨安裝 node-sass 依賴還是會有問題
npm install node-sass --unsafe-perm # 單獨安裝node-sass依賴
4. ARM 架構導致的問題
啟動 MasterServer 和 WorkerServer 後會提示錯誤:
2021-06-04 10:03:13.410 ERROR 2097 --- [tBeatExecutor_1] o.a.d.server.registry.HeartBeatTask : error write heartbeat info java.lang.NoClassDefFoundError: Could not initialize class oshi.jna.platform.mac.SystemB$XswUsage at oshi.hardware.platform.mac.MacGlobalMemory.<init>(MacGlobalMemory.java:46) ~[oshi-core-3.9.1.jar:3.9.1] at oshi.hardware.platform.mac.MacHardwareAbstractionLayer.getMemory(MacHardwareAbstractionLayer.java:65) ~[oshi-core-3.9.1.jar:3.9.1] at org.apache.dolphinscheduler.common.utils.OSUtils.availablePhysicalMemorySize(OSUtils.java:100) ~[classes/:na] at org.apache.dolphinscheduler.server.registry.HeartBeatTask.run(HeartBeatTask.java:93) ~[classes/:na]
原因就是 DolphinScheduler 使用了 OSHI,OSHI 是一個基於 JNA 的獲取作業系統和硬體資訊的 Java 庫,而 JNA 是從 5.7.0 開始支援 AArch64
所以 DolphinScheduler 目前依賴的 OSHI 版本還不支援 M1 硬體,相關的 Issue:
Apple M1 hardware incompatibility for JNA Native class #1462
解決方法就是 將 OSHI 依賴換成 5.7.4,並指定 JNA 版本為 5.8.0
<properties>
<oshi.core.version>5.7.4</oshi.core.version>
<jna.version>5.8.0</jna.version>
<!-- 省略其他 properties -->
</properties>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>net.java.dev.jna</groupId>
<artifactId>jna</artifactId>
<version>${jna.version}</version>
</dependency>
<dependency>
<groupId>net.java.dev.jna</groupId>
<artifactId>jna-platform</artifactId>
<version>${jna.version}</version>
</dependency>
<!-- 省略其他 dependency -->
</dependencies>
</dependencyManagement>
新版的 OSHI 對比舊版本,API 有變動,所以需要修改 OSUtils 和 OshiTest,這裡給出我的程式碼,僅供參考,同時需要注意時效性
M1 部署 DolphinScheduler 完整流程
參考官方的 環境搭建文件操作,簡化了部分步驟
1. 克隆倉庫
git clone https://github.com/apache/dolphinscheduler.git
2. 切換到 dev 分支
git checkout dev #切換到dev分支
git pull #同步分支
3. 安裝 Node
安裝 Node v14.17.0
4. 安裝 Zookeeper
使用 Docker 簡單部署一下
docker run -d --name zookeeper -p 2181:2181 zookeeper
5. 安裝資料庫
使用 Docker 安裝 mysql-server
# 啟動 MySQL 容器,設定預設密碼為:1234
docker run --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=1234 -d mysql/mysql-server
這時使用宿主機連線沒有授權訪問,需要進入mysql修改mysql訪問許可權
# 進入容器
docker exec -it mysql bash
# 登入 MySQL
mysql -u root -p
# 輸入 MySQL 密碼
# 授權
CREATE USER 'root'@'%' IDENTIFIED BY 'root';
GRANT ALL ON *.* TO 'root'@'%';
# 重新整理許可權
flush privileges;
# 更改預設的身份認證外掛,“1234” 為預設密碼
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '1234';
# 重新整理許可權
flush privileges;
建立 DolphinScheduler 資料庫
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
6. 前端依賴
# 進入專案 UI 目錄
cd dolphinscheduler-ui
# 下載依賴
npm install
7. 搭建後端
-
將專案匯入IDEA,更新相關的依賴
-
dolphinscheduler-dao 的 resource 目錄下 datasource.properties 資料庫相關的配置
註釋掉 PostgreSQL 相關的配置,並根據實際配置修改 MySQL 相關配置
# datasource configuration # spring.datasource.driver-class-name=org.postgresql.Driver # spring.datasource.url=jdbc:postgresql://127.0.0.1:5432/dolphinscheduler # spring.datasource.username=root # spring.datasource.password=root # mysql spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false spring.datasource.username=root spring.datasource.password=1234
-
修改根 pom.xml
修改 MySQL Connector 版本號,並修改 OSHI 版本號
<properties> <mysql.connector.version>8.0.11</mysql.connector.version> <oshi.core.version>5.7.4</oshi.core.version> <!-- 省略其他 properties --> </properties>
新增 JNA 依賴,並將 mysql-connector-java 依賴的 scope 修改為 compile
<dependencyManagement> <dependencies> <dependency> <groupId>net.java.dev.jna</groupId> <artifactId>jna</artifactId> <version>${jna.version}</version> </dependency> <dependency> <groupId>net.java.dev.jna</groupId> <artifactId>jna-platform</artifactId> <version>${jna.version}</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>${mysql.connector.version}</version> <scope>compile</scope> </dependency> <!-- 省略其他 dependency --> </dependencies> </dependencyManagement>
重新整理 Maven 依賴
執行 org.apache.dolphinscheduler.dao.upgrade.shell.CreateDolphinScheduler 的 main 方法,自動插入專案所需的表和資料
8. 修改
由於使用了新版的 OSHI,所以需要修改 OSUtils 和 OshiTest:
9. 啟動專案
- 保證依賴的 MySQL、Zookeeper 處於啟動狀態
- 依此配置 VM Options 並啟動:MasterServer、WorkerServer、ApiApplicationServer,其他模組這裡暫不啟動
// MasterServer main 位置:org.apache.dolphinscheduler.server.master.MasterServer
// MasterServer VM Options
-Dlogging.config=classpath:logback-master.xml -Ddruid.mysql.usePingMethod=false
// WorkerServer main 位置:org.apache.dolphinscheduler.server.worker.WorkerServer
// WorkerServer VM Options
-Dlogging.config=classpath:logback-worker.xml -Ddruid.mysql.usePingMethod=false
// ApiApplicationServer main 位置:org.apache.dolphinscheduler.api.ApiApplicationServer
// ApiApplicati onServer VM Options
-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=api
10. 啟動前端 UI 模組
cd dolphinscheduler-ui
npm run start
訪問 http://localhost:8888
登入 DolphinScheduler
管理員預設賬號: admin
管理員預設密碼: dolphinscheduler123