1. 程式人生 > >資源管理系統

資源管理系統

方便 對比 gem per 定時任務 splay base 固定 data-

RMS(Resource Management System)是基於Tecs Director 和Tecs Openstack的資源管理系統。所處位置如下:

技術分享圖片

    1. 最底層是Tecs OpenStack,這個沒啥說的就是管理硬件資源

    2. 中間Director(訪問信息:http://10.62.45.252:10080/uniportal/ DomainAdmin/DomainAdmin_123 ),這個系統的可以對接多個雲環境,也就是對接底層的Tecs環境。在這一層進行資源的虛擬化。可以在這個系統上上傳鏡像,創建虛機,刪除虛機,創建VDC(Virtual Data Cener)。其中VDC是一個虛擬的資源集合,定義了資源的CPU核數,內存大小,磁盤空間,租約時間等。

    3. 最上面一層RMS(Resource Management System),就是我們正在需要做的一個系統,需要提供資源申請,資源調度,資源回收,任務管理,資源監控,資產管理等功能。這些涉及到資源創建,刪除,查詢的都有Director提供的API(詳細參加附件《對外接口說明書》)。

      1. 資源申請:用戶在RMS上申請一套PaaS,UME環境資源,需要用戶選擇PaaS版本,UME版本,環境規模,租約時間等之後提交創建相應的環境

        技術分享圖片

      2. 資源調度:初步的想法,列出可用的VDC(目前是手工創建好VDC並在這基礎上創建PaaS,一個VDC就只部署一套PaaS),如果資源空閑且可用就可以直接分配給用戶,如果沒有或者不可用就調用Jenkins任務進行創建PaaS。調用Jenkins需要傳遞的參數,及一些基本表結構數據請參見:http://wiki.zte.com.cn/pages/viewpage.action?pageId=46547017

        技術分享圖片

      3. 資源回收:兩種場景,用戶自行釋放資源,租約到期管理員強制回收。資源回收的操作就是調用Director的API刪除相應環境資源的所有虛機

      4. 任務管理:主要就是一個定時任務去同步Director上創建的VDC以及相應的資源信息到RMS上進行入庫,用戶申請的時候首先查詢RMS的表裏是否有數據,再去執行創建。

      5. 資源監控:監控一套PaaS應用的狀態,這是一個組合概念。包括環境是否在用(所有虛機運行正常),空閑(所有虛機正常但長期不用或者未分配給用戶),異常(有某些虛機出現異常,環境不可用)。
        技術分享圖片

      6. 資產管理:就是一個簡單的資產信息登記管理,方便統計資產的使用率,資產狀況等。

      7. RMS API:對外提供資源查詢、申請、回收的API
      8. 技術分享圖片
      9. 一、資源結構模型

        1、概念和術語說明

        英文縮寫中文含義解釋

        DC(Data Center)

        數據中心 數據中心是這樣一種設施,它被設想用來為一個或多個組織安置、管理、支持那些被認為至關重要的計算、網絡和存儲資源。在OES的機房管理使用的Director中,有上海、西安、深圳三個數據中心
        vDC(Virtual Data Center) 虛擬數據中心 director上是一組虛擬資源的容器, 是TECS向租戶提供資源的基本單位。可以理解對應1套測試環境:UME項目可以對應一整套PaaS環境(含Gbase等第三方的工具在內)所需要分配的資源;EMS項目可以對應一整套EMS環境(EMS\ICM\ZDC\OMMR\OMMB以及對應的網元模擬器)。VDC的資源大小可能不是固定的,會隨著應用的資源消耗增加而改變。
        Cloud environment 雲環境 對應是TECS,1套雲環境對應就是1套TECS環境

        2、環境資源模型

        技術分享圖片

        說明:

        a. 一個DC包含多套雲環境(Tecs),一套雲環境會劃分多個vDC(Tecs租戶),一個vDC會部署一套PaaS環境或者一套EMS環境。

        b. 一套PaaS目前只部署一套UME,以後PaaS支持多租戶後會部署多套UME

        c. 一套EMS環境會包含EMS,OMM,ICM,ZDC

        3、物理資源模型

        技術分享圖片技術分享圖片

        技術分享圖片說明:

        a. 一個DC包含多套雲環境(Tecs),一套雲環境對應一個刀框,一個刀框多塊刀片,一塊刀片對應一種用途

        b. 一套磁陣有多塊磁盤,一套磁陣可供多個刀框共享使用

        c. 一塊刀片會對應一種用途,一套磁陣會對應多種用途

        (1)刀框:

        刀框編號刀框類型刀片數量CPU內存管理IP數據中心采購時間資產編號
        ZX-CS-001 ZTE-E900 16 900G 2000G 10.62.123.11 上海 2017-10-11 ZX-55624983

        (2)刀片

        刀片編號刀片類型管理IP使用狀態數據中心采購時間資產編號
        ZX-CS-001 BL460c 10.62.123.13 已用 上海 2017-10-11 ZX-55621212

        (3)磁陣

        磁陣編號磁陣類型磁盤數量容量管理IP數據中心采購時間資產編號
        ZX-Rack-001 ZTE-KS3200 24 12000G 10.62.123.12 上海 2017-10-11 ZX-55624212

        (4)用途

        用途編號項目用途分類使用方式刀框編號刀片數量磁陣編號使用時間
        201705225 UME PT/ST/FT/開發聯調/項目集成 VM/裸金屬 ZTE-E900 3 ZX-Rack-001 2017-10-15

        說明:

        a. 刀框、刀片都要有統一的編號,刀框要和雲環境對應。刀框和刀片對應。

        b. 刀框、刀片、磁陣在采購之後先通過RMS錄入系統,然後根據使用用途規劃設備使用

        二、數據監控:雲環境使用率(實際是雲環境的CPU,內存)

        序號數據中心雲環境CPU總量內存總量CPU剩余量內存剩余量CPU使用率內存使用率
        01 上海 SH_UME_ZX_01 1540 3519 0 204 100% 94%

        三、物理資源規劃:物理設備可以按照需求進行劃分環境使用情況

        序號問題解決思路備註
        1

        PaaS資源提供給團隊之後,如何避免團隊私自重建PaaS,

        使得RMS環境統計不準確?

        PaaS網絡監控,發現IP不通時間超過一設定值或者

        PaaS的版本號與RMS管理不一致,則將該IP禁止訪問。

        PaaS環境網絡是我們監控PaaS是否一直

        提供服務的判斷條件。另外PaaS的版本也

        要與RMS管理一致。

        2

        有些團隊申請比較多的資源,資源是否真正使用了,

        使用了多少,能否有數據說話?

        對環境的數據進行監控和統計,關於占有率問題,可以把數據統計之後,

        先人工分析和觀察,再制定資源回收的規則.

        環境1周資源占用率最近3天訪問用戶數使用團隊
        1 CPU/內存/存儲占用/IO的流量 用戶訪問環境的紀錄 團隊名稱
        2 .. ... ..

        以UME的CI流水線為基準,統計分析PaaS對資源的占用率

        1)OKI對CI流水線資源的規劃數據,比如CPU、內存的分配

        2)監控CI流水線實際運行過程中對物理資源占用情況,CPU、內存、存儲

        3)通過監控數據和規劃數據對比,分析出規劃資源是否合理

        4)要能夠把數據按照PaaS版本進行統計和匯總,做歷史對比,比如半年數據對比

        王慶帥10103088 蘇高波10227238 石勇10159532 顧誼10183302

        VDC名稱使用用戶版本號數據中心開始時間結束時間CPU平均CPU峰值內存平均內存峰值

        單套環境數據:

        通過資源占有率和用戶訪問數據為依據,

        判斷環境是否有人使用,以及使用的頻次.

        如果數據低於設定值,資源團隊可以考慮

        回收資源.

        匯總數據:

        技術分享圖片

        技術分享圖片技術分享圖片

        技術分享圖片

        3 提供的環境,如何監控環境是否正常運行?

      10. 技術分享圖片

資源管理系統