快取技術在華為公有云環境中的挑戰與應用
12月1日,ACMUG & CRUG 2018 技術沙龍全國巡演第十站在西安舉辦。華為雲中間件產品經理 Kevin 在會上帶來了《快取技術在華為公有云環境中的挑戰與應用》主題演講,為大家介紹和分享了華為雲分散式快取服務(Distributed Cache Service,簡稱DCS)的應用與挑戰。
分享亮點
-
DCS快取體系結構和使用模式
-
使用案例
-
DCS的挑戰與探索
華為雲分散式快取服務DCS作為華為雲中最受歡迎的服務之一,為使用者提供即開即用、安全可靠、彈性擴容、便捷管理等的線上分散式快取能力。以下是本次主題演講的主要內容:
DCS快取體系結構和使用模式
目前華為雲分散式快取DCS提供了Redis、Memcached和記憶體資料網格等多款引擎,供開發者選擇。華為雲分散式快取DCS除了提供通用快取場景外,在以下模式上實現了突破:
-
邊快取
-
HTTP Session會話與複製
-
改變資料抓取
-
只通過分散式快取寫入資料庫、處理分散式記憶體平行計算Map reduced
-
類SQL查詢
最新發布的華為雲分散式快取DCS2.0重新定義了快取架構,為使用者提供效能更強勁、服務更可靠的分散式快取服務,主要特點有:
-
1.8秒建立一個快取例項
-
2.快取操作300% faster(無縫HW、SW/OS整合)
-
3.按需擴充套件(動態增加新快取容量)
-
4.強大的安全性:多租戶隔離;通過快取溢位、快取持久化和alert/notification的SLA保證
引擎和使用案例
-
案例一
背景:某APP業務應用部署在華為公有云上,由於DB延遲導致請求峰值對業務造成影響,高達500000的併發量使資料庫成為瓶頸。
解決方案:在使用華為雲分散式快取DCS後,效能和併發提升十倍,大大減輕了資料庫的負載壓力,加速了應用訪問。
-
案例二
背景:某搜尋引擎提供商需要大量收集和分析業務資料(如新聞、社交媒體、部落格、聊天室、線上論壇等),業務量呈指數級增長。而在此過程中,由於大量採集資料冗餘,流程、建模和分析時間大幅增加,導致業務低效。
解決方案:該搜尋引擎商存在大規模資料訪問,對資料查詢效率要求高。使用華為雲分散式快取DCS能夠有效提高資料查詢效率,降低資料庫儲存成本。使用華為雲分散式快取DCS後,該搜尋引擎商節省了近70%的部署成本,資料流程效率提升了一倍。
DCS的挑戰與探索
總體來說,華為雲分散式快取DCS面臨的挑戰包括:
-
公有云IMDG生態建設
-
企業雲轉型(從私有云到混合私有云再到公有云)
-
跨雲提供商遷移
-
更可靠、可預測、智慧、可互操作的智慧快取
-
硬體優化(FPGA、AEP平臺、快取解除安裝等)
華為雲分散式快取DCS面臨的探索有:
-
快取用Write-through/Write-behind方式寫入
-
資料變更捕獲
-
智慧快取 OLAP 、快取流式資料和實時資料分析
-
將快取服務從一個雲提供商無縫遷移到另一個雲提供商
-
新介質AEP(non-volatile記憶體NVM技術)在快取中的使用
傳統應用缺乏外部公共介面,傳統資料中心基礎設施的獨立性較為薄弱,跨雲快取服務提供商的快取服務和快取資料的熱遷移還不夠公開透明等等,以上列舉的問題都是華為雲分散式快取DCS需要更多地關注和解決的,以便為使用者提供更好的服務。
華為雲分散式快取DCS會一直在快取技術領域不斷探索和追求,為使用者提供高可靠、高效能、企業級的雲快取服務,幫助企業應用快速上雲,從容面對數字時代的轉型和挑戰。