環境篇：Atlas2.1.0相容CDH6.3.2部署
阿新 • • 發佈：2020-12-16
# 環境篇：Atlas2.1.0相容CDH6.3.2部署
> Atlas 是什麼?
> Atlas是一組可擴充套件和可擴充套件的核心基礎治理服務，使企業能夠有效地滿足Hadoop中的合規性要求，並允許與整個企業資料生態系統整合。
>
> Apache Atlas為組織提供了開放的元資料管理和治理功能，以建立其資料資產的目錄，對這些資產進行分類和治理，併為資料科學家，分析師和資料治理團隊提供圍繞這些資料資產的協作功能。
> 如果沒有Atlas
>
> 大資料表依賴問題不好解決，元資料管理需要自行開發，如：hive血緣依賴圖
>
> 對於表依賴問題，沒有一個可以查詢的工具，不方便錯誤定位，即業務sql開發
- 官網：[http://atlas.apache.org](http://atlas.apache.org/)
- 表與表之間的血緣依賴
- 欄位與欄位之間的血緣依賴
## 1 Atlas 架構原理
## 2 Atlas 安裝及使用
> 安裝需要元件，HDFS、Yarn、Zookeeper、Kafka、Hbase、Solr、Hive，Python2.7環境
>
> 需要Maven3.5.0以上，jdk_151以上，python2.7。
### 2.1 下載原始碼包2.0.0，IDEA開啟
- 因與CDH整合，修改`pom`檔案
- 在repositories標籤中增加CDH倉庫
```xml
cloudera https://repository.cloudera.com/artifactory/cloudera-repos
true
false
```
### 2.2 修改相關版本與CDH版本對應
```java
7.4.0
3.0.0-cdh6.3.2
2.1.0-cdh6.3.2
7.4.0-cdh6.3.2
2.1.1-cdh6.3.2
2.2.1-cdh6.3.2
2.11
3.4.5-cdh6.3.2
1.4.7-cdh6.3.2
```
### 2.3 相容Hive2.1.1
- 所需修改的專案位置：`apache-atlas-sources-2.1.0\addons\hive-bridge`
①.org/apache/atlas/hive/bridge/HiveMetaStoreBridge.java 577行
```java
String catalogName = hiveDB.getCatalogName() != null ? hiveDB.getCatalogName().toLowerCase() : null;
```
改為：
```java
String catalogName = null;
```
②.org/apache/atlas/hive/hook/AtlasHiveHookContext.java 81行
```java
this.metastoreHandler = (listenerEvent != null) ? metastoreEvent.getIHMSHandler() : null;
```
改為：C:\Users\Heaton\Desktop\apache-atlas-2.1.0-sources\apache-atlas-sources-2.1.0\addons
```java
this.metastoreHandler = null;
```
### 2.3 編譯
```
mvn clean -DskipTests package -Pdist -X -T 8
```
- 編譯完成的檔案在此目錄`apache-atlas-sources-2.1.0\distro\target`
### 2.5 安裝
```
mkdir /usr/local/src/atlas
cd /usr/local/src/atlas
#複製apache-atlas-2.1.0-bin.tar.gz到安裝目錄
tar -zxvf apache-atlas-2.1.0-bin.tar.gz
cd apache-atlas-2.1.0/
```
### 2.6 修改配置檔案
>
```
### 2.7 整合Hbase
- 新增hbase叢集配置檔案到apache-atlas-2.0.0/conf/hbase下(這裡連線的路徑需要和上面atlas-env.sh配置中一樣)
```ruby
ln -s /etc/hbase/conf/ /usr/local/src/atlas/apache-atlas-2.1.0/conf/hbase/
```
### 2.8 整合Solr
- 將apache-atlas-2.1.0/conf/solr檔案拷貝到solr所有節點的安裝目錄下，更名為`atlas-solr`
```bash
scp -r /usr/local/src/atlas/apache-atlas-2.1.0/conf/solr [email protected]:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/
scp -r /usr/local/src/atlas/apache-atlas-2.1.0/conf/solr [email protected]:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/
scp -r /usr/local/src/atlas/apache-atlas-2.1.0/conf/solr [email protected]:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/
#在solr節點
cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/
mv solr/ atlas-solr
#在任意solr節點修改solr對應的bash
vi /etc/passwd
/sbin/nologin 修改為 /bin/bash
#切換solr使用者執行
su solr
/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/bin/solr create -c vertex_index -d /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/atlas-solr -shards 3 -replicationFactor 2
/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/bin/solr create -c edge_index -d /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/atlas-solr -shards 3 -replicationFactor 2
/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/bin/solr create -c fulltext_index -d /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/solr/atlas-solr -shards 3 -replicationFactor 2
#如果建立錯誤，可使用 /opt/cloudera/parcels/CDH/lib/solr/bin/solr delete -c ${collection_name} 刪除
#切換root使用者繼續配置其他
su root
```
- solr web控制檯： http://cdh01.cm:8983 驗證是否啟動成功
### 2.9 整合kafka
- 建立kafka-topic
```ruby
kafka-topics --zookeeper cdh01.cm:2181,cdh02.cm:2181,cdh03.cm:2181 --create --replication-factor 3 --partitions 3 --topic _HOATLASOK
kafka-topics --zookeeper cdh01.cm:2181,cdh02.cm:2181,cdh03.cm:2181 --create --replication-factor 3 --partitions 3 --topic ATLAS_ENTITIES
kafka-topics --zookeeper cdh01.cm:2181,cdh02.cm:2181,cdh03.cm:2181 --create --replication-factor 3 --partitions 3 --topic ATLAS_HOOK
```
### 2.10 啟動測試
```java
cd /usr/local/src/atlas/apache-atlas-2.1.0/
./bin/atlas_start.py
#停止：./bin/atlas_stop.py
```
- http://cdh01.cm:21000
- 預設使用者名稱和密碼為：admin
### 2.11 整合Hive
- 將 atlas-application.properties 配置檔案，壓縮加入到 atlas-plugin-classloader-2.0.0.jar 中
```java
#必須在此路徑打包，才能打到第一級目錄下
cd /usr/local/src/atlas/apache-atlas-2.1.0/conf
zip -u /usr/local/src/atlas/apache-atlas-2.1.0/hook/hive/atlas-plugin-classloader-2.1.0.jar atlas-application.properties
```
- 修改 hive-site.xml
```xml
hive.exec.post.hooks
org.apache.atlas.hive.hook.HiveHook
```
- 修改 hive-env.sh 的 Gateway 客戶端環境高階配置程式碼段（安全閥）
```java
HIVE_AUX_JARS_PATH=/usr/local/src/atlas/apache-atlas-2.1.0/hook/hive
```
- 修改 HIVE_AUX_JARS_PATH
- 修改 hive-site.xml 的 HiveServer2 高階配置程式碼段（安全閥）
```java
hive.exec.post.hooks
org.apache.atlas.hive.hook.HiveHook
hive.reloadable.aux.jars.path
/usr/local/src/atlas/apache-atlas-2.1.0/hook/hive
```
- 修改 HiveServer2 環境高階配置程式碼段
```java
HIVE_AUX_JARS_PATH=/usr/local/src/atlas/apache-atlas-2.1.0/hook/hive
```
- 將配置好的Atlas包發往各個hive節點後重啟叢集
```java
scp -r /usr/local/src/atlas/apache-atlas-2.1.0 [email protected]:/usr/local/src/atlas/
scp -r /usr/local/src/atlas/apache-atlas-2.1.0 [email protected]:/usr/local/src/atlas/
```
> 更新配置重啟叢集
- 將atlas配置檔案copy到/etc/hive/conf下(叢集各個節點)
```java
scp /usr/local/src/atlas/apache-atlas-2.1.0/conf/atlas-application.properties [email protected]:/etc/hive/conf
scp /usr/local/src/atlas/apache-atlas-2.1.0/conf/atlas-application.properties [email protected]:/etc/hive/conf
scp /usr/local/src/atlas/apache-atlas-2.1.0/conf/atlas-application.properties [email protected]:/etc/hive/conf
```
### 2.12 再次啟動 Atlas
```java
#啟動
./bin/atlas_start.py
#停止：./bin/atlas_stop.py
```
> 注意監控日誌，看是否報錯。主要日誌application.log
### 2.13 將 Hive 元資料匯入 Atlas
- atlas節點新增hive環境變數
```java
vim /etc/profile
#>>>
#hive
export HIVE_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive
export HIVE_CONF_DIR=/etc/hive/conf
export PATH=$HIVE_HOME/bin:$PATH
#<<<
source /etc/profile
```
- 執行atlas指令碼
```java
./bin/import-hive.sh
#輸入使用者名稱：admin；輸入密碼：admin(如修改請使用修改的)
```
> 體驗