1. 程式人生 > >hadoop基礎----hadoop實戰(十一)-----hadoop管理工具---CDH的目錄結構瞭解

hadoop基礎----hadoop實戰(十一)-----hadoop管理工具---CDH的目錄結構瞭解

我們在進行hadoop和hive叢集的使用和操作時經常需要獲取hadoop和hive的版本以及從伺服器上獲取它們的相關jar包,才能保證驅動一致執行正常。

但是我們發現使用CDH安裝的hadoop和hive叢集找不到它們的相關jar包,因為CDH安裝叢集的過程對我們來說是透明的。
(透明:在計算機中,客觀存在並且執行著但是我們看不到的特性。)

針對這種情況,對CDH的目錄結構進行了解就非常重要了。

我這裡以CDH 5.13.0版本為例進行解析,其他版本的目錄類似。

所有元件的配置以及安裝元件目錄–最經常用的目錄

ls /opt/cloudera/parcels/CDH

如下:

/opt/cloudera/parcels/CDH/bin是hadoop叢集以及元件的啟動停止操作檔案資料夾
/opt/cloudera/parcels/CDH/etc是hadoop叢集以及元件的配置檔案資料夾
/opt/cloudera/parcels/CDH/lib是hadoop叢集以及元件的jar包資料夾

cm日誌目錄

/var/log/cloudera-scm-server CDH服務端日誌資料夾
/var/log/cloudera-scm-agent CDH客戶端日誌資料夾

hadoop日誌目錄

ls /var/log/hadoop-hdfs

程式安裝目錄

ls /usr/share/cmf/

Agent程式程式碼

ls /usr/lib64/cmf/

如圖:

cm agent的配置目錄

ls /etc/cloudera-scm-agent/


cm agent配置檔案為/etc/cloudera-scm-agent/config.ini

cm server的配置目錄(cm主節點才有)

ls /etc/cloudera-scm-server/


cm主節點sever的database settings的檔案是/etc/cloudera-scm-server/db.properties。

下載的服務軟體包快取資料

ls /opt/cloudera/parcel-cache/

下載的服務軟體包資料(parcels)(cm主節點才有)

ls /opt/cloudera/parcel-repo/

CM 客戶端/服務端、Hadoop各個元件的配置檔案都在/etc目錄下

hadoop配置檔案目錄

ls /etc/hadoop/


涉及到Hadoop日誌儲存位置的共有三個地方的配置檔案,分別是
/etc/Hadoop/conf/hadoop-env.sh
/usr/lib/hadoop/libexec/hadoop-config.sh
/etc/default/hadoop
該三處檔案的起作用的優先順序分別是Hadoop-env.sh > Hadoop-config.sh > /etc/default/Hadoop

hive配置檔案目錄

ls /etc/hive/

hbase配置檔案目錄

ls /etc/hbase/

服務執行時所有元件的配置檔案目錄

ls /var/run/cloudera-scm-agent/process/

CDH安裝完成後,服務啟動時,Hadoop各元件配置檔案會被放置於/var/run/cloudera-scm-agent/process/目錄下。

所有jar包所在目錄

ls /opt/cloudera/parcels/CDH/jars

按元件來看jar包則在/opt/cloudera/parcels/CDH/lib目錄。

Hive倉庫目錄

ls /user/hive/warehouse

HiveServer2日誌目錄

/var/log/hive

Zookeeper資料目錄(主節點才有)

ls /var/lib/zookeeper