1. 程式人生 > >Bluemix平臺一步一步搭建ZooKeeper + Mesos + Marathon平臺管理Docker叢集之一

Bluemix平臺一步一步搭建ZooKeeper + Mesos + Marathon平臺管理Docker叢集之一

最近在Youtube看Docker視訊的過程中不幸看到了Mesos的介紹,然後就有一種一見如故的感覺,最終根據mesosphere官網的文件在IBM的Bluemix虛擬機器上搭建了基於ZooKeeper + Mesos + Marathon的平臺。

搭建之前先簡單瞭解下各個元件是做什麼的。(來自wikipedia及其他網路)

ZooKeeper:Zookeeper 分散式服務框架是 Apache Hadoop 的一個子專案,它主要是用來解決分散式應用中經常遇到的一些資料管理問題,如:統一命名服務、狀態同步服務、叢集管理、分散式應用配置項的管理等。官網:https://zookeeper.apache.org/

Mesos:來自mesosphere的定義是Mesos是下一代的雲資料中心的kernel,它是Apache下的開源分散式資源管理框架,作者之一Benjamin在Mesosconf上一直強調Mesos只做kernel的事情,只做scheduling,並不實際執行任務。現該作者也去了Mesosphere公司做雲資料中心作業系統DC/OS的工作(看起來很令人興奮的軟體)。

Marathon:是Mesos的一個框架,能夠支援執行長期任務,也與這個名字有點關聯,馬拉松本身就是長時間要完成的任務,它可以提供REST API服務,可以通過HAProxy實現服務發現和負載均衡。(負載均衡可以看mesosphere公司開源的marathon-lb 

https://github.com/mesosphere/marathon-lb/)

Docker:就不用介紹了吧。記住它是應用容器引擎,可以給微服務提供完美的執行環境,儘量一個容器只有一個服務。

下面說一下伺服器的執行環境:總共六臺伺服器,三臺執行Mesos-master,4臺執行Mesos-slave,伺服器都是IBM Bluemix上申請的虛擬機器,處於一個vpn網路裡,底層是基於Openstack的架構,在底層是Softlayer和Cloudfoundry。

Server Name Internal Ip Operation System Roles
bastion.shanker 192.168.0.33 Centos 6.7 Mesos Master1,ZooKeeper, slave, Jenkins,Haproxy
dbmaster.shanker 192.168.0.28 Centos 6.7 Mesos Master2,ZooKeeper
dbslave2.shanker 192.168.0.31 Centos 6.7 Mesos Master3,ZooKeeper
dbslave3.shanker 192.168.0.32 Centos 6.7 Mesos Slave
dbslave.shanker 192.168.0.29 Ubuntu 14.04 Mesos Slave
dbarbiter.shanker 192.168.0.30 Ubuntu 14.04 Mesos Slave,Mysql Slave

軟體安裝:

RedHat 6 / CentOS 6

1 2 3 4 # Add the repository sudo rpm -Uvh http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm  yum -y install mesos marathon zookeeper

所有機器用ansible安裝Java:

1 2 ansible mesos -m shell -a "wget http://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.tar.gz " ansible mesos -m shell -a "tar zxf jdk-8u73-linux-x64.tar.gz -C /usr/java/

匯入jre到.zshrc,然後用ansible分發下去:

1 2 3 export JAVA_HOME=/usr/java/jdk1.8.0_73 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

Master Node Setup

ZooKeeper的配置:

在三臺ZooKeeper server上設定ID,這個數字必須是1到255的整數,並且每個節點的ID是不一樣的。

1 sudo zookeeper --server-initialize --myid=<YOUR ID HERE>

編輯/etc/zookeeper/conf/zoo.cfg,在每臺機器上都需要新增zk 叢集的伺服器名稱,ip地址,埠號等資訊:server.A=B:C:D

1 2 3 server.1=192.168.0.33:2888:3888 server.2=192.168.0.28:2888:3888 server.3=192.168.0.31:2888:3888

A:代表一個1-255的整數,是第幾號伺服器,可以隨便定義。

B:代表伺服器的ip地址。

C:代表伺服器與叢集中的Leader通訊的埠。

D:代表如果叢集中的Leader down了,需要用這個埠來重新選舉,如果使用一臺主機多個zk例項,這個D的值不能與C相同。

zk最終的配置:

1 2 3

相關推薦

Bluemix平臺搭建ZooKeeper + Mesos + Marathon平臺管理Docker叢集之一

最近在Youtube看Docker視訊的過程中不幸看到了Mesos的介紹,然後就有一種一見如故的感覺,最終根據mesosphere官網的文件在IBM的Bluemix虛擬機器上搭建了基於ZooKeeper + Mesos + Marathon的平臺。 搭建之前

如何使用Zookeeper+Mesos+Marathon搭建Docker叢集管理平臺

Mesos概述 Apache Mesos 是一款基於多資源(記憶體、CPU、磁碟、埠等)排程的開源叢集管理套件,能使容錯和分散式系統更加容易使用。其採用了Master/Slave結構來簡化設計,將Master做的儘可能輕量級,僅儲存了各種計算框架(Framwork)和Mesos Slave的狀態資訊,

CentOS 7 搭建LAMP

centos7 lamp一、準備環境1、系統版本[[email protected]/* */ ~]# cat /proc/versionLinux version 3.10.0-514.16.1.el7.x86_642、關防火墻[[email protected]/* */ ~]#

用Html5/CSS3做Winform,教你搭建CefSharp開發環境(附JavaScript異步調用C#例子,及全部源代碼)上

轉載 界面設計 右鍵 異步 一個 由於 編寫 scrip 調用 本文為雞毛巾原創,原文地址:http://www.cnblogs.com/jimaojin/p/7077131.html,轉載請註明 CefSharp說白了就是Chromium瀏覽器的嵌入式核心,我們用此開發W

搭建 vue

runtime onf 9.png 目錄 save 項目目錄 -h png css 一步一步搭建 自己搭建類似與vue-cli的框架 第一步:搭建項目目錄結構進入項目目錄1.vue_demo>npm init -y (如果沒有y則需要自己去寫配置信息)2.安裝依賴包

#使用abp框架與vue寫我是月老的小工具(2) 後臺搭建初體驗

使用 IT UC 文件 情況 base https 檢查 目標 #使用abp框架與vue一步一步寫我是月老的小工具(2) 後臺搭建初體驗 一、續上前言 關於這個小玩意的產品思考,假設我暫時把他叫我是月老熱心人 這是一個沒有中心的關系鏈,每個人進入以後都

AngularJs + WebApi + EF + SqlServer 搭建項目()

face -s .html .cn 基本上 implement del easy ddd 搭建一個簡單的WebAPI項目,當做一個小記錄,順便蹚一下坑,歡迎各種懟。 概要:創建項目目錄 一、創建一個空的解決方案 EasyDemo 二、添加一個WebAPI項目到 Easy

AngularJs + WebApi + EF + SqlServer 搭建項目(三)

調整 成了 目的 mil ive 數據 分鐘 基礎數據結構 接下來 上一篇,我們完成了對數據庫和數據模型的創建,這一篇我們將進行倉儲的建立。 概要:   基於DDD(領域驅動設計)的倉儲建造Repository和UnitOfWork搭配簡單使用。 一、創建上下文 二、創建

mysql 架構篇系列 2 復制架構搭建(異復制)

stat 如果 rep 目的 end com version none 3.6 一. 環境準備   1.1 主庫環境(172.168.18.201) 環境 說明 查看腳本 操作系統版本 CentOS Linux release 7.4.1708

如何用 phpwind 搭建論壇、教你搭建phpwind

本文介紹如何使用輕量應用伺服器的phpwind映象搭建一個論壇。 優惠資訊: 學生請點右邊:學生優惠產品-雲翼計劃-超值9.5元即可,需要學生證 阿里雲限時紅包:最高1888元雲產品通用紅包,可疊加官網常規優惠使用,不領白不領!! 輕量伺服器:最實惠最方便最快速的伺服器,從入門級到高配都有

JAVA帶你實現微信公眾號開發()--接入微信公眾平臺

(一)接入流程解析 在我們的開發過程中無論如何最好的參考工具當然是我們的官方文件了:http://mp.weixin.qq.com/wiki/8/f9a0b8382e0b77d87b3bcc1ce6fbc104.html 通過上面我們可以看出其中接入微信公眾平臺開發,開發者需要按照如下

SpringBoot搭建Activiti整合流程設計器(教你配置)

轉載請註明出處:猿小雷,https://blog.csdn.net/qq_34638225 1、框架搭建 在IDE裡新建SpringBoot專案,在pom.xml裡引入如下依賴 pom.xml <?xml version="1.0" e

瞭解Cocos2dx 3.0 正式版本開發環境搭建(Win32/Android)

cocos2d-x 3.0釋出有一段時間了,作為一個初學者,我一直覺得cocos2d-x很坑。每個比較大的版本變動,都會有不一樣的專案建立方式,每次的跨度都挺大……   但是憑心而論,3.0RC版本開始 環境搭建、專案建立、編譯的方式更加人性化了。   現在我們進

配置 docker on centos 7.2 搭建一個全新的生產環境

阿里雲買臺新的伺服器 系統用centos 7.2 ssh root:{ip} 連上伺服器 groupadd daisho 新增一個組 useradd -d /home/daisho -g daisho -m -p [password] daisho 新增一個

keras 2.x python3看圖說話模型搭建

outline 感想 說明 dataset jupyter reference 感想 我最近找到了一篇比較好的看圖說話模型的入門教程,地址為:https://fairyonice.github.

教你用PHP+MySql搭建網站 No.0 準備工作

新開一個系列教程吧,這次是講如何用PHP+MySQL搭建網站。 之前一直有想過搭建自己的個人網站,然後上週通過阿里雲申請的域名和空間都通過稽核了,於是就開始研究如何用PHP+MYSQL搭建網站,研究了差不多兩週,總算搞定了一個小型的blog類的網站。當然,整個過程是通過學習

教你如何搭建自己的視訊聚合站

前言 作為一個爐石傳說玩家,經常有事沒事開著直播網站看看大神們的精彩表演。不過因為各個平臺互相挖人的關係,導致關注的一些主播分散到了各個直播平臺,來回切換有點麻煩,所以萌生了做一個視訊聚合站的想法。 我主要去採集鬥魚、熊貓等的爐石區的主播資訊。雖然各個站點的人氣資訊有水分,但還

用vue-cli 與vuex搭建一個筆記應用()

寫這篇文章是因為想學習一下vuex,說實話,一直在用vue,但是它核心的vuex卻還沒有用過。 https://segmentfault.com/a/1190000005015164 這篇文章寫得很好,就是有點舊了,那個時候是1年前寫的吧。 現在我將用vu

搭建-分散式伺服器部署之mysql叢集-主從複製與讀寫分離

傳統專案模型: 1.傳統的裝置搭建時,如果採用單臺伺服器.則會出現很多的問題.如果伺服器出現宕機/斷電/硬體裝置的損壞,都會直接影響使用者體驗. 2.如果傳統專案中遇到了高併發的情況.單臺伺服器不足以支援 分散式的處理: 傳統資料庫中存在

Spring入門,搭建入門Spring Web應用

如何快速搭建一個入門的Spring Web應用? 開發工具:IDEA 2017 環境準備:Maven 3.3,jdk 1.7,mysql 5.5 一步一步搭建一個完整的Spring Web應用,例項應用按持久層、業務層、展現層進行組織。需求就是實現一個簡單的