003-Ambari一鍵自動化部署指令碼

阿新 • • 發佈：2019-01-14

微信搜尋公眾號：BearData，關注更多內容。

根據前兩篇 “Ambari大資料平臺搭建利器(一)&(二)”，我們已經完成大資料平臺的搭建，但是我們發現安裝Ambari的步驟比較繁瑣。我們發現手動部署存在以下的劣勢：

每個節點都要執行重複的命令，我們前兩篇測試的節點只有三個，如果生產環境有上百個節點，這也是工作量比較大的一件事。
如果是基於專案的平臺，如果有幾十甚至上百個客戶，安裝平臺就是一件比較麻煩的事。
如果我們修改了原始碼，在測試環境中，很有可能要來回解除安裝，安裝。
人工操作會有一定的風險。

基於上述，我們打算寫一套指令碼，主要是安裝Ambari server和agent，以及前期的環境檢查，準備，修復，解除安裝。

注：如果只是個人測試學習，或者基於雲端部署一套大資料平臺，可以手動操作，這種場景是一次性的操作，並且之後很少再重新部署。

本篇主要是基於前兩篇的基礎上做的，因此需要對前兩篇內容需要了解一下。

整體流程

環境檢查：檢查服務安裝的每個節點是否滿足安裝Ambari的條件，如JDK，OpenSSL，Ambari Server需要檢查PostgreSQL等等。

環境修復：如果某些節點或者所有節點不滿足安裝條件，則需要通過修復來滿足安裝條件，如JDK沒有安裝，則需要安裝JDK，並且設定環境變數。

安裝Ambari：如果條件滿足，則在指定的節點安裝Ambari Server以及在每個節點安裝Ambari agent。

解除安裝Ambari：解除安裝Ambari Server及Ambari agent。

技術選型

程式語言：Python
由於要在每個節點執行相同的命令(Server和Agent有區別)，所以要選一種封裝了SSH的庫，我們選擇Python中的Fabric。
指令碼是執行在安裝Ambari Server的節點上的，為了不影響原系統中的Python，我們需要在指令碼中搭建Python虛擬環境。

技術實現

配置檔案

配置檔案主要配置了程式中需要讀取的靜態屬性。

[node_host]: 配置安裝agent的節點IP和主機名

節點IP=主機名，如 192.168.163.130 = bigdata001

[domain_name]: 域名配置字尾

suffix = 域名字尾，如 suffix = bdp.com

[host_certification]: 操作使用者名稱密碼

host_user = 使用者名稱

host_password = 密碼

[server_host]: Ambari Server 安裝主機IP

server_ip = 主機IP

[language]: 配置安裝時的語言

language = zh_CN

#language = en_US

[ntp]: 配置ntp時間同步server，如果沒有配置該項，並且在外網連通的情況下會讀取網路時間

#ntp_server = 192.168.163.130

[resource_path]：源相關配置

main_version = 2.6.2.0 #Ambar大i版本號

min_version = 155 #Ambari小版本號

yum_host_ip = 192.168.70.52 #yum源地址

HDP = ambari,HDP,HDP-UTILS #Ambari源的資料夾

[java_home]: JDK 安裝路徑

java_home = /opt/jdk1.8.0_111

[python_virtual_path]：Python虛擬環境路徑

py_path = ~/py_virtual

[software_package]：環境修復，虛擬環境所依賴的軟體包

jdk = jdk-8u102-linux-x64.tar.gz

openssl = openssl-1.1.0a.tar.gz

postgresql = postgresql-9.2.15.tar.gz

httpd = httpd-2.2.31.tar.gz

python = Python-2.7.5.tgz

ruby = ruby-2.0.0.tar.gz

ntp = ntp-service-centos7.tar.gz

setuptools = setuptools-36.0.0.tar.gz

ecdsa = ecdsa-0.13.tar.gz

pycrypto = pycrypto-2.6.1.tar.gz

paramiko = paramiko-1.17.2.tar.gz

[remove]：解除安裝時所刪除的包，目錄，使用者等資訊

#############解除安裝安裝包(RPM包)###############

remove_package = hadoop_2*,hdp-select*,ranger*,zookeeper*,bigtop*,atlas-metadata*,ambari-agent,postgresql*,spark*,smartsense-hst,ambari-metrics*,ambari-infra*,ambari-logsearch*,opentsdb*,redis*,hbase*,tez*,hive*,pig*,sqoop*,storm*,flume*,kafka*,zeppelin*,mahout*,slider*,cassandra*,phoenix*,extjs*,knox*,oozie*,accumulo*,elasticsearch_*,mysql_*,mycat_*,keepalived_*,haproxy_*,logstash_*,kibana_*,solr_*,rstudio-server_*,ceph*,kylin_*,greenplum_*

#################刪除使用者##########################

remove_user = ambari-qa,ams,falcon,flume,hbase,hcat,hdfs,hive,kafka,livy,mahout,mapred,oozie,opentsdb,redis,spark,sqoop,tez,yarn,zeppelin,zookeeper,cassandra,infra- solr,storm,livy,logsearch,knox,atlas,kms,ranger,accumulo,elasticsearch,mysqldb,mycat,keepalived,haproxy,logstash,kibana,solr,rstudio-server,ceph,kylin,gpadmin

####################刪除目錄###############################

remove_dir = /etc/,/var/lib/,/tmp/,/usr/lib/,/var/log/,/var/run/,/var/tmp/,/usr/bin/,/tmp/,/var/,/opt/,/data/

########################刪除檔案##################################

remove_file=ambari*,ams*,falcon*,flume*,hadoop*,hbase*,hive*,kafka*,oozie*,opentsdb*,postgresql,spark*,sqoop*,zeppelin,zookeeper*,storm*,smartsense,hadoop*,phoenix*,redis,slider,tez*,pig*,pgsql,cassandra,webhcat,mahout,hcat,accumulo*,hdfs*,mapred*,ranger*,slider*,atlas*,yarn*,worker-lanucher,beeline,logsearch*,knox*,ranger*,elasticsearch,mysqldb,mycat,keepalived,haproxy,logstash,kibana,solr,service_solr,rstudio-server,ceph,kylin,greenplum

########################刪除特殊目錄#########################################

spec_dir = /usr/hdp,/hadoop,/kafka*,/usr/share/HDP-oozie,/var/local/osd*,/etc/systemd/system/multi-user.target.wants/[email protected]*.service

以上就是配置檔案內容及說明。