介紹

Ganglia是UC Berkeley發起的一個開源叢集監視專案，設計用於監控數以千計的節點。Ganglia主要是用來監控系統性能，如：cpu、mem、硬碟利用率，I/O負載、網路流量情況等，通過曲線很容易見到每個節點的工作狀態，對合理調整、分配系統資源，提高系統整體效能起到重要作用。

Ganglia的核心包含gmond、gmetad以及一個Web前端。
gmond（Ganglia Monitoring Daemon）是一種輕量級服務，安裝在每臺需要收集指標資料的節點主機上。gmond在每臺主機上完成實際意義上的指標資料收集工作，並通過偵聽/通告協議和叢集內其他節點共享資料。使用gmond，你可以很容易收集很多系統指標資料，如CPU、記憶體、磁碟、網路和活躍程序的資料等。
gmetad（Ganglia Meta Daemon）是一種從其他gmetad或gmond源收集指標資料，並將其以RRD格式儲存至磁碟的服務。gmetad為從主機組收集的特定指標資訊提供了簡單的查詢機制，並支援分級授權，使得建立聯合監測域成為可能。
gweb（Ganglia Web）是一種利用瀏覽器顯示gmetad所儲存資料的PHP前端。在Web介面中以圖表方式展現叢集的多種不同指標資料。

ganglia系統架構

1.管理節點通過gmetad.conf配置檔案中的代理節點主機列表地址和代理節點相互通訊，大概三分鐘輪詢一次。
2.管理節點收集每個代理節點的機器執行資訊，這些資訊是通過XML協議進行傳輸。
3.管理節點收集到代理節點的XML協議後，解析成管理節點需要的資料格式。
4.再通過管理節點的PHP程式呼叫rrdtool工具，將資料轉換成圖形。
5.當用戶在瀏覽器上輸入管理節點的url地址就可以看見圖形化的資料了。

Hadoop原生的支援ganglia監控，並且可以自己配置metric。

上面的說明中管理節點向代理節點發送多播訊息，ganglia當然也支援單播通訊。

EPEL

企業版Linux附加軟體包（Extra Packages for Enterprise Linux，EPEL）是一個由特別興趣小組建立、維護並管理的，針對紅帽企業版Linux(RHEL)及其衍生髮行版(比如CentOS、Scientific Linux、Oracle Enterprise Linux)的一個高質量附加軟體包專案。
EPEL的軟體包通常不會與企業版Linux官方源中的軟體包發生衝突，或者互相替換檔案。
CentOS使用者可以直接通過yum install epel-release安裝並啟用EPEL源。
更多EPEL的資訊參見EPEL。
在CentOS上用yum安裝gmod和gmetad需要提前安裝EPEL。

配置gmond

/etc/ganglia/gmond.conf

globals欄位裡send_metadata_interval設定為10，表示每10秒傳送一次資料。如果不使用多播，這個值應設為一個正整數，60秒是一個合理值。

cluster欄位裡的name標識叢集的名字。

udp_send_channel欄位裡，mcast_join為多播模式，如果是單播模式需要註釋掉mcast_join，並新增
host = 127.0.0.1（伺服器的IP地址）
port = 8649（傳送資料的埠）

udp_recv_channel {
  port = 8649   // 接收資料的埠號，如果是用單播模式則要刪除mcast_join
}

配置gmetad

/etc/ganglia/gmetad.conf

data_source標識一個要監控的叢集（一些gmond或另一個gmetad）。格式為：
data_source "my cluster" [polling interval] address1:port addreses2:port ...
polling interval預設15秒。
埠預設8649。

setuid_username ganglia
設定執行使用者

rrd_rootdir “/var/lib/ganglia/rrds”
gmetad儲存round-robin資料庫的位置，要保證這個目錄可以被上面設定的使用者讀寫

安裝過程

yum install ganglia-gmond
yum install ganglia-gmetad
然後要安裝gweb就，這個需要的依賴比較多，我也不知道哪個裝哪個不裝，索性都裝上吧：
yum install php rrdtool rrdtool-devel ganglia-web apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel

啟動

需要先關閉SELinux
service gmond start
service gmetad start
service httpd restart

讓外部機器也可以訪問本機ganglia

修改/etc/httpd/conf/httpd.conf，在檔案末尾新增下列資訊，並重啟httpd服務即可。

<location /ganglia>
    order deny,allow
    deny from all
    allow from all
</location>

Hadoop

./etc/hadoop/目錄下有兩個配置檔案：hadoop-metrics.properties和hadoop-metrics2.properties。

組播

區域性連結地址：224.0.0.0～224.0.0.255，用於區域網，路由器不轉發屬於此範圍的IP包；
預留組播地址：224.0.1.0～238.255.255.255，用於全球範圍或網路協議；
管理許可權地址：239.0.0.0～239.255.255.255，組織內部使用，用於限制組播範圍；
我理解，第一種是區域網用的，第二種是全球統一分配，第三種可以內部使用，但需要限制ttl跳數。

參考