大資料與雲端計算
阿新 • • 發佈:2020-10-11
大資料與雲端計算的關係
雲端計算長定義和短定義:
長定義:雲端計算是一種商業計算模型。它將計算任務分佈在大量計算機構成的資源池上,使各種應用系統能夠根據需要獲取計算力、儲存空間和資訊服務。
短定義:雲端計算是通過網路按需提供可動態伸縮的廉價計算服務。
雲端計算的7個特點
超大規模,虛擬化,高可靠性,通用性,高可伸縮性,按需服務,極其廉價。
雲端計算按服務型別大致分為三類:
將軟體作為服務
將平臺作為服務
將基礎設施作為服務
國外雲端計算的先行者:
亞馬遜的雲端計算稱為Amazon Web Services(AWS)
谷歌是最大的雲端計算技術的使用者
微軟緊跟雲端計算步伐,推出了Windows Azure作業系統
雲端計算實現機制
管理中介軟體層和資源池層是雲端計算技術的最關鍵部分,SOA構建層的功能更多依靠外部設施提供
SO構建層(封裝成標準的WebServices服務):
- 服務介面
- 服務註冊
- 服務查詢
- 服務訪問
- 服務工作流
管理中介軟體層(實現雲端計算的資源管理):
- 使用者管理(提供使用者互動介面,識別使用者身份,建立執行環境,計費等):賬號管理,使用者環境配置,使用者互動管理,使用計費
- 任務管理(使用者任務映像的部署和管理,任務排程,任務執行,任務生命期管理):映像部署和管理,任務排程,任務執行,生命期管理
- 資源管理(均衡使用雲資源節點,檢測節點故障並試圖恢復或遮蔽之並對資源的使用用情況進行監視統計):負載均衡,故障檢測,故障恢復,監視統計
- 安全管理:身份認證,訪問授權,綜合防護,安全審計
資源池層(將大量相同型別的資源構成同構或接近同構的資源池):
- 計算資源池
- 儲存資源池
- 網路資源池
- 資料資源池
- 軟體資源池
物理資源層(計算機,儲存器,網路設施,資料庫和軟體):
- 計算機
- 儲存器
- 網路設施
- 資料庫
- 軟體
雲端計算壓倒性的成本優勢:
提供彈性的服務,在超大資源池中動態分配和釋放資源
雲端計算平臺的規模極大,比較容易平穩
整體負載資源利用率達到80%左右,是傳統模式5~7倍