Bosh Health Monitor原始碼

Bosh HealthMonitor（BHM）是Bosh裡面的一個元件，負責收集BoshAgent收集到的各個元件的資訊，比如cpu,mem,disk等。BHM有兩種事件，一種是Bosh::Monitor::HeartBeat以及Bosh::Monitor::Alert。另外一個概念是plugin，在BHM裡面有很多外掛，這些外掛負責具體地怎麼去處理一個HeartBeat或者Alert事件。在health_monitor.yml檔案中有一個plugins選項：

plugins:
- name: logger
  events:
 - alert

- name: tsdb

 events:

- alert

- heartbeat

options:

host: 10.134.16.220

port: 4242
 

這個plugins選項負責設定某一個外掛對什麼事件感興趣，比如tsdb選項對alert，heartbeat事件都感興趣。

在原始碼裡面儲存這樣一個數組@plugins，這裡儲存了事件和外掛的對應關係。

@plugins[''alert]=['logger','heartbeat'],當收到某一個事件的時候就比如alert時候，就會查詢這個陣列，然後分別呼叫相應logger的Plugin::process方法。

AgentManger類是負責管理所有客戶端的agent以及deployments選項。

DirectorMonitor負責訂閱hm.director.alert訊息，觀察director的宣告週期，當

EventProcesser是所有外掛處理器的一個通用介面，所有的事件經過這個處理器。然後呼叫各種各樣的c外掛。

在啟動的時候AgentManger::setup_events時候，

@processor.add_plugin(lookup_plugin(plugin["name"],plugin["options"]), plugin["events"])

lookup_plugin會根據這個建立一個plugininstance。

訂閱hm.agent.heartbeat.*，hm.agent.alert.*，

這些訊息的處理函式都會呼叫AgentManger::process_event

process_event(kind,subject, payload = {})

kind—alert,heartbeart

subject—hm.agent.heartbeat.<agent_id> 提取最後一個欄位就可以知道是那一個agent

case kind.to_s

然後根據訊息的型別，呼叫相應的處理函式

when "alert"

on_alert(agent,message)

when "heartbeat"

on_heartbeat(agent,message)

when "shutdown"

on_shutdown(agent,message)

else

@logger.warn("Nohandler found for `#{kind}' event")

end

on_shutdown只是remove_agent將其從AgentManger::agents裡面移除。

定時操作：

在啟動的時候BHM會啟動幾個定時器操作。

EM.add_periodic_timer(@intervals.poll_director) { poll_director }

poll_director會從director獲得deployment以及agent_id名稱，然後根據AgentManger自身維護的@deployments以及@agent_id決定留下deployments以及agent_id

poll_director函式主要負責去director裡面取出資料，填充到@agents，@developments裡面

Dirrctor::fetch_deployments

獲取部署的名稱。

AgentManger::sync_deployments來同步deployments

sync_deployments把從director裡面拿部署叢集的名稱，和在@deployments裡面儲存的名稱進行比較，如果發現@deployments沒有的staledeployment那麼就從@deployments裡面刪除。同時從@agent裡面刪除這個staledeployment的所有agent。

AgentManger::sync_agents(deployment_name,vms)

Director::get_deployment_vms(deployment_name)獲取部署名稱所對應的vms，在get_deployment_vms獲取的資料是這樣的，eg:

[{"agent_id":"a3e91d0a-a5a3-41ca-abe3-57d256d28e45","cid":"vm-a34c83e0-209c-467c-8eec-e26470997a0c","job":"mysql_node_100","index":0},

{"agent_id":"11fd6005-5d84-4819-8d62-89a9cdd1c15b","cid":"vm-0c503d2a-f1cf-4685-a581-9744afcb3cf9","job":"dea","index":2},

{"agent_id":"16b9dddc-9c2d-426d-88e7-7aaaba703a65","cid":"vm-7d150ca7-4a19-4993-abf2-db654ed3853e","job":"stager","index":0},

@deployment[deployname][agentdid]這一系列陣列。@deploymenst是一個Hashdeployment=>agentids

另外一個定時操作是analyze_agents

一次性分析所有agents

首先獲取所有的#Agents from managed deployments

把AgentManger::@[email protected]，對於這些多出來的agent

[email protected][agent_id]---Bosh::Monitor::Agent

Agent有兩個方法，time_out?以及rogue?

time_out?用現在的時間減去上次更新的時間(由hearbeat更新時間)如果大於在health_monitor.yml裡面的agent_timeout的時間，那麼就超時了

rogue?比較難理解

rogue?現在時間減去[email protected]_at如果超過了rogue_agent_alert時間並且未出現在任何deployment中，那麼他就是rouge。@discovered_at是如何更新的？

在Agent.new的時候也更新@discovered_at

Agent.new在同步sync_agents時候出現，

在定期poll_director時候會出現，會根據poll_director的結果來更新@deployments，一切以poll_director的結果為基準，沒有的就刪除。

HeartBeat更新發現新的id會放在@agent裡面

定期地analyze_agent

儲存在@deployments儲存的id和在@agent裡面的id進行分析。

(@agents.keys.to_set -processed).each do |agent_id|
@logger.warn("Agent#{agent_id} is not a part of any deployment")
analyze_agent(agent_id)
count += 1
end

多出來的id就立刻進行分析，呼叫analyze_agent

發現新id，但是已經超時了，那麼就發出一個alert事件。

如果發現這個agent_id沒有存在任何deployment，也就是deployment為null，通過HeartBeat發現的新id都沒有deployment,如果超過rogue_agent_alert時間那麼就是rogue;