flume之叢集監控 Ganglia 部署配置
flume支援http,ganglia,custom監控模式
http很簡單,就是開放一個埠可以通過http請求拿取當前agent的各項資料
ganglia是一個開源的叢集監控解決方案,自帶統計,web展現
custom就是自定義方案了。
當然為了圖省事,少弄些web畫圖之類用ganglia就可以了
這裡給下最後的效果圖:
效果就是這麼醜醜的
但是夠用了
廢話不多說,正式進入主題
ganglia分為三部分
服務端,客戶端,web端
gmetad,gmond,ganglia-web
gmond是一個終端採集agent,負責收集機器資訊,及flume傳給他的資訊
gmetad就負責輪訓配置的各個gmond機器,獲取資料
ganglia-web是php實現的web站點
安裝上最簡單的就是yum install,apt-get了
自己公司用的阿里雲所以就一下ok了
伺服器安裝:
安裝apache php
yum install httpd php
安裝gmetad
yum install -y rrdtool perl-rrdtool rrdtool-devel #rddtool安裝
yum -y install apr-devel
yum install ganglia-gmetad -y
yum install ganglia-web
客戶端安裝
yum install -y ganglia-gmond
客戶端安裝完,gmond的配置檔案在/etc/ganglia/gmond.conf
裡面要改的配置就是source名稱,要跟gmetad一致
然後用組網模式或者單點模式,組網模式沒有試過,
用的單點,配置本機的ip。
服務端安裝,gmetad在/etc/ganglia/gmetad.conf上
主要修改data_source把之前裝的gmond機器都寫上
name跟前面的對應,一個gmond對應一條,名字不能
全部重複(ganglia顯示格式grid-》source-》node)
這裡還涉及到flume的配置:
-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=127.0.0.1:8649
為了部署方便我使用了127.0.0.1的本機地址模式
這時候在ganglia上看就是localhost,如果使用具體的ip地址就會是你的網路名
都用localhost的話source就不能一樣了。不然衝突。
當然也可以把一些節點用一個gmond來收集,這個自己理解是可以
但是沒有嘗試。
就這麼簡單,so easy,自己但是是摸索了快一天
直接的原始碼安裝遇到了一些問題,依賴的外掛太多
一定要制定對的路勁才行。
rrds路勁一定要對,
php伺服器對應的幾個目錄要有許可權讀寫。