Author: Mao, James

    Mesos 計算框架是一個開源的叢集管理平臺，他提供了高效的，高可靠的，跨應用/框架的資源隔離和共享，在其之上可以執行Hadoop，Spark，JBoss，Ruby On Rails等應用框架，支援多種資源的計劃分配。其中主要的一個目的就是有效的利用和共享計算資源，避免資源的浪費。Mesos 起源於Twitter和AirBnB，Twitter和AirBnB的很多核心服務以及大資料基礎架構就是建立在Mesos之上的。從Mesos開源開始就受到了業界廣泛的關注，eBay 是最早將這個平臺上搭建Jenkins CI的公司之一，同時我們也對完善這個系統做出了貢獻，本文就eBay在Apache Mesos 上搭建Jenkins CI 做一個比較系統的介紹。

Jenkins CI的兩種模式

    eBay的Jenkins CI 採用的是獨佔模式，每個人都可以申請一臺VM，預裝好Jenkins，他的優點是獨立，隔離，你在上面執行任務不會影響到其他人，其他人的任務也不會影響到你， 但是缺點也是明顯的，一臺VM往往有4個CPU，16GB的記憶體， 這樣對資源造成很大的浪費，大部分的時間你申請的VM都處於閒置狀態。

    Payal 的CI 採用的是Master/Slave模式， 統一的入口介面，但是你提交的任務是提交到Slave 叢集上，這樣的好處是大家共享Slave叢集資源，不必每人獨佔VM， VM的數量肯定大幅下降，但是缺點是Jenkins Master/Slave配置不靈活，Master需要知道所有的Slave節點的資訊，而且不能做到資源自動化的增加和回收。

    利用Apache Mesos/Marathon就可以很好的解決以上兩種模式的缺點。讓資源最大力度地的優化，同時配置也靈活並且自動化。

什麼是Mesos？

    Mesos是 Apache top level 的專案，是叢集管理軟體，用以有效利用計算資源，構建一個高可用、容錯的、可伸縮的系統。他為分散式的應用和框架提供有效的資源隔離和共享。在此之上你可以執行Hadoop, Hypertable, Spark, Marathon, JBoss, Ruby on Rails, Memcache, Jenkins CI等應用框架。

    Mesos 充分利用了當前流行的cgroups(Linux), zones (Solaris)中提供的CPU/記憶體/IO/檔案系統的隔離特性。Mesos想要做的是將如此多樣的計算資源整合在一起，對使用者來說就像一臺超級計算機。之前你的架構可能是將不同的應用部署在不同的叢集上，比如，為了Jenkins CI， 你搭建了一個叢集，為了Jira系統，你搭建在另外一個叢集上，為Hadoop，你又建了一個叢集。Mesos的目的就是將所有這些叢集的資源整合起來，而你的這些應用通過Mesos部署在這個大的叢集上，就像你在一臺超級計算機上安裝了不同的軟體一樣。

    Google也有類似Mesos這樣的專案的 Borg” 和 “Omega”。這些就是Google叢集管理的祕密武器。（warehouse-scale computing）

Mesos 架構

    Mesos 架構上基本上是由Mesos Master , Mesos Slave和Frameworks 組成, Master 由ZooKeeper來負責災備， 同一時間只有一個Master (Leader) 來管理所有Slave， Frameworks 通過Mesos API呼叫在Slave上執行任務 (Framework Tasks)。 流行的Framework 包括Hadoop, MPI, 等。

    一個Framework由兩個重要的部件組成

• 一個Scheduler 用以從Master接受和註冊資源；
• 一個Executor 是啟動在Slave上的一個程序用以執行任務。

詳解工作流程:

1. 當Slave有空閒資源時，向Master彙報他的資源情況，比如有幾個CPU，多少記憶體空閒；
2. 通過分配規則(Allocation Policy)， Master確定多少資源可以供給每個Framework；
3. Master 將資源資訊(Offer)分發給Framework， Framework Scheduler 挑選其中的一個Offer；
4. 當一個Framework接受Offer後，他會向Mesos提供一個希望在這個Offer上執行的任務的描述；
5. 隨後Master會將這個任務發給提供這個Offer的Slave
6. 最後，Framework的Executor將啟動來執行這個任務。

Mesos - Jenkins

     Jenkins Master/Slave 排程是一個可擴充套件的框架。

     Mesos Jenkins Plugin 通過對Jenkins Master/Slave 的擴充套件，利用Mesos API排程Mesos Slave資源來完成Jenkins Job的執行。

     安裝此Jenkins Plugin後，在系統管理中，能看到如下圖所示的配置

    從閱讀Mesos Jenkins Plugin 的原始碼我們可以看出，他也是Mesos Scheduler的實現

     Mesos Jenkins 的歷史很短，用的人也不是很多，所以自然會有很多bug，在使用過程中，我們對Mesos Jenkins Plugin 做了很多修訂， 你可以在這裡找到eBay對這個專案的貢獻。

Mesos High Availability

    上圖的配置項Mesos Master用來配置你的Mesos Master 的地址， 不過你可能注意到是zk://xxx:2181,什麼是zk協議？ Zk是ZooKeeper的通訊協議。

    所以實際上Jenkins 是從ZooKeeper那裡得到Mesos Master地址, 而且ZooKeeper 一般都是配置一個Leader，兩個Standby，所以在上面的配置中，你會看到有3個ZooKeeper地址。 這樣做的好處是為了防止Single Point Failure。

    Mesos Master 啟動指令碼

   Master 啟動時候就將自己註冊到了ZooKeeper， 這個時候ZooKeeper 就知道了有哪幾臺Mesos Master 在系統裡。

    Mesos Slave啟動指令碼

    Slave 啟動時候會問ZooKeeper 要Master地址， 一旦得到後，Slave就可以直接

呼叫Master

    同一個時間只會有一臺ZooKeeper 作為Leader， 也只會有一臺Mesos Master 作為Leader， 當Leader掛起後，會重新選舉一臺作為Leader。

什麼是Marathon？

    從這個名字“馬拉松”可以猜到，他就是用來管理long-running 任務/服務。比如執行一個web 應用 (tomcat, play等), 這樣的一個應用執行的時間是很長的，如果這個應用壞掉了，Marathon可以幫你很快的在叢集裡找到另外一臺伺服器上啟動起來，繼續為使用者提供服務。甚至是Marathon自己也可以用Marathon來管理。你將他想象成是叢集版的init.d。旨在為使用者提供基於事件(event subscriptions)的高可用性的服務和監控。

    Marathon可以執行像Tomcat，Rails，Django，Play這樣的Web應用，Marathon提供了一套REST API 用來啟動，關閉這些應用，也提供了一套擴充套件這些應用的能力(Scale-in, Scale-out)。

    下圖比較直觀的描述了Mesos Master/Slave和Framework之間的關係:

    關於Marathon這裡有一個比較直觀的例子，左圖假設中間的機器上部署了一個Solr一個Play，如果這臺機器掛了， 那麼Marathon可以無縫的在叢集中找到另外一臺有空閒的伺服器上重新啟動一個Solr，在另外一臺機器上啟動一個新的Play。

ZooKeeper + Mesos + Marathon + Jenkins

    Jenkins Master 從本質上來說就是一個Web Application, jenkins.war 就是核心， 從前文我們已經瞭解到Marathon可以用來在Mesos上動態部署Web Application 而且可以保證應用的Availability. 所以我們自然就想到了用Marathon來部署Jenkins Master。而且這個Master裡已經安裝並配置好了Mesos Jenkins Plugin, 這樣當用戶拿到Jenkins Master 時候，他的Job就會利用Mesos 的資源排程，在Slave上執行。下圖就是eBay Jenkins CI 在Mesos 上執行的基本示意圖。

    啟動Marathon

    在前端， 利用Nginx 的反向代理，給使用者生成一個唯一的CI標識，比如http://ebayci.com/zhangsan, 這就是張三的Jenkins CI 入口, zhansan 並不關心Jenkins Master具體執行在那臺Server 上。這一切都是Marathon來控制的。

    假設張三的伺服器掛了phx-40560.abc.com， Marathon會監聽到這個Event，並會將這個Event發出來，此時Marathon 會自動從Mesos Slave 叢集裡找一臺空閒的VM來分配給張三， 並更新Nginx

    整個過程對於張三來說是透明的。

結語

    在eBay， DevEx team已經將Jenkins CI 部署在Mesos + Marathon上。

    Mesos和Docker的搭配可以為我們提供更好的隔離性。

    未來我們會架設更多的Framework共存在Mesos上，來達到計算資源最大限度的利用。比如Hadoop。