1. 程式人生 > >docker mesos集群資源調度平臺

docker mesos集群資源調度平臺

最大 font tee sos marathon info host 增加 清理

mesos原理與架構

首先,再次需要強調 Mesos 自身只是一個資源調度框架,並非一整套完整的應用管理平臺,所以只有 Mesos 自己是不能幹活的。但是基於 Mesos,可以比較容易地為各種應用管理框架或者中間件平臺(作為 Mesos 的應用)提供分布式運行能力;同時多個框架也可以同時運行在一個 Mesos 集群中,提高整體的資源使用效率。
Mesos 對自己定位範圍的劃分,使得它要完成的任務很明確,其它任務框架也可以很容易的與它進行整合。

基本單元
Mesos 中有三個基本的組件:
管理服務(master)
任務服務(slave)
應用框架(framework)。


管理服務 - master


跟大部分分布式系統中類似,主節點起到管理作用,將看到全局的信息,負責不同應用框架之間的資源調度和邏輯控制。應用框架需要註冊到管理服務上才能被使用。
用戶和應用需要通過主節點提供的 API 來獲取集群狀態和操作集群資源。

任務服務 - slave
負責匯報本從節點上的資源狀態(空閑資源、運行狀態等等)給主節點,並負責隔離本地資源來執行主節點分配的具體任務。
隔離機制目前包括各種容器機制,包括 LXC、Docker 等。


應用框架 - framework
應用框架是實際幹活的,包括兩個主要組件:
調度器(scheduler):註冊到主節點,等待分配資源;
執行器(executor):在從節點上執行框架指定的任務(框架也可以使用 Mesos 自帶的執行器,包括 shell 腳本執行器和 Docker 執行器)。


應用框架可以分兩種:一種是對資源的需求是會擴展的(比如 Hadoop、Spark 等),申請後還可能調整;一種是對資源需求大小是固定的(MPI 等),一次申請即可。

調度
對於一個資源調度框架來說,最核心的就是調度機制,怎麽能快速高效地完成對某個應用框架資源的分配,是核心競爭力所在。最理想情況下(大部分時候都無法實現),最好是能猜到應用們的實際需求,實現最大化的資源使用率。
Mesos 為了實現盡量優化的調度,采取了兩層(two-layer)的調度算法。

Mesos 擁有許多引人註目的特性,包括:

  • 支持數萬個節點的大規模場景(Apple、Twitter、eBay 等公司實踐);
  • 支持多種應用框架,包括 Marathon、Singularity、Aurora 等;
  • 支持 HA(基於 ZooKeeper 實現);
  • 支持 Docker、LXC 等容器機制進行任務隔離;
  • 提供了多個流行語言的 API,包括 Python、Java、C++ 等;
  • 自帶了簡潔易用的 WebUI,方便用戶直接進行操作。

安裝與使用

安裝

安裝主要需要 mesos、zookeeper 和 marathon 三個軟件包。
Mesos 也采用了經典的主-從結構,一般包括若幹主節點和大量從節點。其中,mesos master 服務和 zookeeper 需要部署到所有的主節點,mesos slave 服務需要部署到所有從節點。marathon 可以部署到主節點。

主機名 IP地址 安裝服務
mesos-node1 192.168.132.131 mesos-master,mesos-slave,marathon,zookeeper,haproxy
mesos-node2 192.168.132.132 mesos-master,mesos-slave,marathon,zookeeper,haproxy
mesos-node3 192.168.132.133 mesos-master,mesos-slave,marathon,zookeeper,haproxy

源碼編譯

docker 安裝

略過

zookeeper集群安裝

略過

mesos+marathon集群部署(三臺服務器上都要做同樣的操作)

1、安裝mesosphere倉庫

rpm -ivh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm

2、安裝mesos和marathon

yum -y install mesos marathon

3、增加zookeeper配置

$cat /etc/mesos/zk
zk://192.168.132.131:2181,192.168.132.132:2181,192.168.132.133:2181/mesos

4、配置mesos-hostname

echo 本地IP地址 | tee /etc/mesos-master/ip
echo 本地IP地址 | tee /etc/mesos-master/hostname
echo 本地IP地址 | tee /etc/mesos-slave/ip
echo 本地IP地址 | tee /etc/mesos-slave/hostname
echo 2 > /etc/mesos-master/quorum #這個數字要大於安裝的master節點的總數的0.5倍,即一半

5、配置mesos-master slave marathon開機自啟動並啟動

systemctl enable mesos-master mesos-slave marathon
systemctl start mesos-master mesos-slave marathon

6、分別編輯3臺服務器的marathon,修改配置如下:

mkdir -p /etc/marathon/conf
cd /etc/marathon/conf
vim hostname 
添加:
192.168.132.131 (其他2臺為132,133)

重啟服務命令:

systemctl restart mesos-master
systemctl restart marathon.service
systemctl restart mesos-slave

7、在瀏覽器打開任意一臺服務的mesos

http://192.168.132.131:5050/

技術分享圖片

技術分享圖片

這裏如果客戶端顯示不了的話,可以嘗試清理mesos日誌:
清理mesos:rm -rf /var/lib/mesos/*

8、配置marathon,使其可以創建docker容器(三臺服務器上都要做同樣的操作):

在所有mesos-slave上增加配置參數,並重啟

# echo ‘docker,mesos‘ | tee /etc/mesos-slave/containerizers
# systemctl restart mesos-slave #重啟Mesos-slave

9、在瀏覽器中打開marathon,默認端口8080

http://192.168.132.131:8080

docker mesos集群資源調度平臺