hadoop基礎----hadoop實戰(十一)-----hadoop管理工具---CDH的目錄結構瞭解
我們在進行hadoop和hive叢集的使用和操作時經常需要獲取hadoop和hive的版本以及從伺服器上獲取它們的相關jar包,才能保證驅動一致執行正常。
但是我們發現使用CDH安裝的hadoop和hive叢集找不到它們的相關jar包,因為CDH安裝叢集的過程對我們來說是透明的。
(透明:在計算機中,客觀存在並且執行著但是我們看不到的特性。)
針對這種情況,對CDH的目錄結構進行了解就非常重要了。
我這裡以CDH 5.13.0版本為例進行解析,其他版本的目錄類似。
所有元件的配置以及安裝元件目錄–最經常用的目錄
ls /opt/cloudera/parcels/CDH
如下:
/opt/cloudera/parcels/CDH/bin是hadoop叢集以及元件的啟動停止操作檔案資料夾
/opt/cloudera/parcels/CDH/etc是hadoop叢集以及元件的配置檔案資料夾
/opt/cloudera/parcels/CDH/lib是hadoop叢集以及元件的jar包資料夾
cm日誌目錄
/var/log/cloudera-scm-server CDH服務端日誌資料夾
/var/log/cloudera-scm-agent CDH客戶端日誌資料夾
hadoop日誌目錄
ls /var/log/hadoop-hdfs
程式安裝目錄
ls /usr/share/cmf/
Agent程式程式碼
ls /usr/lib64/cmf/
如圖:
cm agent的配置目錄
ls /etc/cloudera-scm-agent/
cm agent配置檔案為/etc/cloudera-scm-agent/config.ini
cm server的配置目錄(cm主節點才有)
ls /etc/cloudera-scm-server/
cm主節點sever的database settings的檔案是/etc/cloudera-scm-server/db.properties。
下載的服務軟體包快取資料
ls /opt/cloudera/parcel-cache/
下載的服務軟體包資料(parcels)(cm主節點才有)
ls /opt/cloudera/parcel-repo/
CM 客戶端/服務端、Hadoop各個元件的配置檔案都在/etc目錄下
hadoop配置檔案目錄
ls /etc/hadoop/
涉及到Hadoop日誌儲存位置的共有三個地方的配置檔案,分別是
/etc/Hadoop/conf/hadoop-env.sh
/usr/lib/hadoop/libexec/hadoop-config.sh
/etc/default/hadoop
該三處檔案的起作用的優先順序分別是Hadoop-env.sh > Hadoop-config.sh > /etc/default/Hadoop
hive配置檔案目錄
ls /etc/hive/
hbase配置檔案目錄
ls /etc/hbase/
服務執行時所有元件的配置檔案目錄
ls /var/run/cloudera-scm-agent/process/
CDH安裝完成後,服務啟動時,Hadoop各元件配置檔案會被放置於/var/run/cloudera-scm-agent/process/目錄下。
所有jar包所在目錄
ls /opt/cloudera/parcels/CDH/jars
按元件來看jar包則在/opt/cloudera/parcels/CDH/lib目錄。
Hive倉庫目錄
ls /user/hive/warehouse
HiveServer2日誌目錄
/var/log/hive
Zookeeper資料目錄(主節點才有)
ls /var/lib/zookeeper