1. 程式人生 > >秋意正濃,和儲存大師們來一場美麗的邂逅

秋意正濃,和儲存大師們來一場美麗的邂逅

640?wx_fmt=gif

秋天的武漢是美麗的,你可以去落雁島看一次夕陽,鸕鶿們結伴飛向遠處,泛著金色漣漪的湖面,倒映在水中,亦或是約上幾個好友一起去木蘭雲霧山打板慄,那裡的板栗不僅個大、肉嫩,而且皮薄、味甜,或者是騎車去東湖綠道,體驗一次東湖綠道中的“郊野道”,在親水場所、林中棧道中穿梭,當然,你還可以參加UCan下午茶的活動,在暖暖的光谷創業咖啡館中,美美的泡上一個下午,接受知識的薰陶。

UCan下午茶是UCloud於2017年啟動的系列技術沙龍。該沙龍不僅會分享UCloud最新的技術重點,同時也會誠邀業界相關方向的技術大咖一同交流、分享。誠意滿滿的乾貨、鮮活生動的案例內容,將使每位參與者不負午後時光,場場“悟”有所值。“UCan下午茶-2018”秉承了去年技術為先、實踐為主的宗旨,堅持為大家分享真正的技術乾貨。而這次的武漢站將給大家帶來分散式儲存方面的精彩內容,希望對分散式儲存感興趣而又身在武漢的朋友能來捧場!

隨著資訊時代的到來,人類產生的資料呈指數級增長,傳統儲存逐漸已經無法適應這樣的資料增長速度,因此,分散式儲存系統應運而生。分散式儲存系統將資料儲存在物理上分散的多個儲存節點上,對這些節點的資源進行統一的管理與分配,並向用戶提供檔案系統訪問介面,其主要解決了本地檔案系統在儲存容量、擴充套件性、高效能、高可靠等方面的問題。而要談到分散式儲存系統技術,就要先從分散式儲存系統的典型架構講起。


640?wx_fmt=png

分散式儲存系統典型架構


目前比較主流的分散式檔案系統架構,如下圖所示,通常包括主控伺服器(或稱元資料伺服器、名字伺服器等,通常會配置備用主控伺服器以便在故障時接管服務,也可以兩個都為主的模式),多個數據伺服器(或稱儲存伺服器,儲存節點等),以及多個客戶端,客戶端可以是各種應用伺服器,也可以是終端使用者。

640?wx_fmt=jpeg

分散式檔案系統的資料儲存解決方案,歸根結底是將大問題劃分為小問題。大量的檔案,均勻分佈到多個數據伺服器上後,每個資料伺服器儲存的檔案數量就少了,另外通過使用大檔案儲存多個小檔案的方式,總能把單個數據伺服器上儲存的檔案數降到單機能解決的規模;對於很大的檔案,將大檔案劃分成多個相對較小的片段,儲存在多個數據伺服器上。目前,很多本地檔案系統對超大檔案的支援已經不存在問題了,如ext3檔案系統使用4k塊時,檔案最大能到4T,ext4則能支援更大的檔案,只是受限於磁碟的儲存空間。


640?wx_fmt=png

常見的分散式儲存系統


目前,常見的分散式儲存系統有Hadoop HDFS、OpenStack的物件儲存Swift、Ceph、公有云分散式儲存等。

Hadoop分散式檔案系統(HDFS)是一個分散式檔案系統,適用於商用硬體上高資料吞吐量對大資料集的訪問的需求。該系統仿效了谷歌檔案系統(GFS),資料在相同節點上以複製的方式進行儲存以實現將資料合併計算的目的。該系統的主要設計目標包括:容錯,可擴充套件性,高效性和可靠性。HDFS採用了MapReduce,不遷移資料而是以將處理任務遷移到物理節點(儲存資料)的方式降低網路I/O。HDFS是Apache Hadoop的一個子專案並且安裝Hadoop。

OpenStack Swift提供一個類似Amazon S3的物件儲存。其主要特點為是所有的儲存物件都有自身的元資料和一個URL,這些物件在儘可能唯一的區域複製3次,而這些區域可被定義為一組驅動器,一個節點,一個機架等。

Ceph是一個遵循LGPL協議的儲存平臺,它可以在單個分散式節點上同時支援物件儲存,塊儲存和檔案儲存。Cphe主要設計的初衷是變成一個可避免單節點故障的分散式檔案系統,EB級別的擴充套件能力,而且是一種開源自由軟體,許多超融合的分散式檔案系統都是基於Ceph開發的,作為開源軟體在超融合商業領域的應用,Ceph因為效能等問題被詬病,但不乏許多廠商在Ceph上不斷優化和努力。

公有云提供的分散式儲存系統則有谷歌的雲端儲存、Amazon的S3,微軟的Azure Bolb,阿里的OSS,UCloud的UFS以及雲端儲存等。


640?wx_fmt=png

分散式儲存系統涉及的技術


分散式儲存系統涉及的技術主要涉及介面、穩定性、效能等方面。

介面方面

ISCSI的系統介面可能企業儲存上雲的主要介面,這個方式可以有效相容當前所有傳統儲存系統的介面形態,同時對於後端定製性更強,有利於快速變化的雲端計算技術的迭代更新。

網際網路新業務要求儲存系統在提供塊和檔案介面的同時,也需要提供物件儲存、NoSQL等儲存形態,同時在這樣的形態之上需要儲存系統整合圖片處理、視訊處理、特徵提取等更多的計算服務,一站滿足很多使用者公共的處理要求。

穩定性方面

跨資料中心和跨地域的容災將是儲存系統的標準配置,同時對於容災進行動態調整和靈活的定價策略將吸引更多的使用者。

容器技術和只能交換網路需要進一步和儲存系統進行結合,在資料安全和隔離性方面給儲存系統帶來巨大變化。目前基於程序內部的佇列和優先順序控制始終處於被動狀態,不能在源頭上就達到資料流量和優先順序的控制,增加了系統的消耗。

效能方面

儲存節點的資料處理將使用專用硬體裝置接管來實現資料處理加速,並將資料處理和儲存資料的過程合併。儲存節點將整合更多的硬體,例如FPGA、RDMA網絡卡、GPU,這些硬體為特定的資料處理帶來加速效果,同時降低功耗。

作業系統核心將不會再參與資料的I/O處理,所以要依賴資料分散式演算法對核心程序、記憶體管理和檔案系統進行有效對的排程。


640?wx_fmt=png

儲存大咖悉數登場暢談分散式儲存


而上面這些技術,都將在11月8日武漢舉辦的UCan下午茶活動中得到儲存大咖們的詳細講解。這些大咖們包括:

640?wx_fmt=jpeg

鄧瑾先後就職於騰訊,七牛,UCloud,負責海量儲存相關的產品開發和運營。在UCloud期間主要負責物件儲存,檔案儲存等分散式儲存系統。目前致力於為公司和客戶提供穩定統一的基礎儲存設施。個人技術興趣主要集中於分散式理論,資料庫和檔案系統方向。

640?wx_fmt=jpeg

李明宇,中國新一代IT產業聯盟分散式儲存分委會祕書長,榮獲中國軟體協會“優秀CTO”稱號。在分散式系統領域有十年以上研發經驗,曾在中科院國家級重點實驗室擔任專項課題組技術負責人,現兼任西安交通大學研究生院外聘專家和企業導師。

640?wx_fmt=jpeg

葉恆,UCloud網路磁碟產品(UDisk)核心研發工程師,主導和參與網路磁碟從老架構到新架構的整個設計和研發過程,目前正在研發超高效能儲存框架。對服務後端技術、儲存技術,高效能儲存有豐富的研發經驗。

640?wx_fmt=jpeg

盧波,深信服儲存研發專家,8年儲存設計開發經驗,負責過統一儲存、超融合儲存的架構設計和開發,目前主要負責深信服分散式儲存(EDS)的產品規劃。個人對檔案系統,物件儲存和大資料比較感興趣。

他們將為來參加此次UCan下午茶的觀眾帶來包括UCloud 分散式檔案系統產品架構解析、分散式儲存中的資料分佈演算法、雲硬碟架構升級和效能提升詳解以及基於CephFS的改進及優化等相關內容的講解。

怎麼樣,這些大咖陣容夠豪華吧?演講內容夠勁爆吧?那你就不要猶豫了,現在會場門票還有少數空餘,趕緊抓緊時間報名吧!

時間:2018年11月10日 下午13:00

地點:武漢 青年眾創空間光谷創業咖啡

地址:大智街辦事處解放大道1435號青少年宮體育館一樓(地鐵一號線、二號線,循禮門站)

猛擊下列連結報名:

  • https://bss.csdn.net/cview/reg/?project_id=3831&identy_id=1957

點選“閱讀原文”,也可進入報名頁面。

640?wx_fmt=gif

640?wx_fmt=gif