1. 程式人生 > >儲存技術趨勢預測與分析

儲存技術趨勢預測與分析

資訊計算現已進入以資料為中心的時代,儲存行業是目前最熱門的領域之一。面對不斷出現的儲存需求新挑戰,我們該如何把握儲存的未來發展方向呢?本人根據自己的經驗和理解嘗試預測和分析一下儲存的未來技術趨勢,與儲存同行分享,不當之處還請大家批評指正。

1、儲存虛擬化

 儲存虛擬化是目前以及未來的儲存技術熱點,它其實並不算是什麼全新的概念,RAID、LVM、SWAP、VM、檔案系統等這些都歸屬於其範疇。儲存的虛擬化技術有很多優點,比如提高儲存利用效率和效能,簡化儲存管理複雜性,綠色節省,降低運營成本等。現代資料應用在儲存容量、I/O效能、可用性、可靠性、利用效率、管理、業務連續性等方面對儲存系統不斷提出更高的需求,基於儲存虛擬化提供的解決方案可以幫助資料中心應對這些新的挑戰,有效整合各種異構儲存資源,消除資訊孤島,保持高效資料流動與共享,合理規劃資料中心擴容,簡化儲存管理以及綠色節能等。目前最新的儲存虛擬化技術有自動分級儲存(HSM)、自動精減配置(Thin provision)、雲端儲存(Cloud storage)、分散式檔案系統(Distributed file system),另外還有諸如動態記憶體分割槽、SAN和NAS虛擬化。虛擬化可以柔性地解決不斷出現的新儲存需求問題,因此我們可以斷言儲存虛擬化仍將是未來儲存的發展趨勢之一,當前的虛擬化技術會得到長足發展,未來新虛擬化技術將層出不窮。

2、固態硬碟

 固態硬碟(SSD, solid state disk)是目前倍受儲存界廣泛關注的儲存新技術,它被看作是一種革命性的儲存技術,可能會給儲存行業甚至計算機體系結構帶來深刻變革。在計算機系統內部,L1 cache、L2 cache、匯流排、記憶體、外存、網路介面等儲存層次之間,目前來看記憶體與外存之間的儲存鴻溝最大,磁碟I/O通常成為系統性能瓶頸。SSD與傳統磁碟不同,它是一種電子器件而非物理機械裝置,它具有體積小、能耗小、搞干擾能力強、定址時間極小(甚至可以忽略不計)、IOPS高、I/O效能高等特點。因此,SSD可以有效縮短記憶體與外存之間的儲存鴻溝,計算機系統中原本為解決I/O效能瓶頸的諸多元件和技術的作用將變得越來越微不足道,甚至最終將被淘汰出局。試想,如果SSD效能達到記憶體甚至L1/L2 cache,後者的存在還有什麼意義,資料預讀和快取技術也將不再需要,計算機體系結構也將會隨之發生重大變革。對於儲存系統來說,SSD最大突破是大幅提高了IOPS,摩爾定理的效力再次顯現,通過簡單地用SSD替換傳統磁碟,就可能可以達到和超越綜合運用快取、預讀、高併發、資料區域性性、磁碟排程策略等軟體技術的效用。SSD目前對IOPS要求高的儲存應用最為有效,主要是大量隨機讀寫應用,這類應用包括網際網路行業和CDN行業的海量小檔案儲存與訪問(圖片、網頁)、資料分析與挖掘領域的OLTP等。SSD已經開始被廣泛接受並應用,當前主要的限制因素包括價格、使用壽命、寫效能抖動等。從最近兩年的發展情況來看,這些問題都在不斷地改善和解決,SSD的發展和廣泛應用將勢不可擋。

3、重複資料刪除

 重複資料刪除(Deduplication)是一種目前主流且非常熱門的儲存技術,可對儲存容量進行有效優化。它通過刪除資料集中重複的資料,只保留其中一份,從而消除冗餘資料。這種技術可以很大程度上減少對物理儲存空間的需求,從而滿足日益增長的資料儲存需求。Dedupe技術可以幫助眾多應用降低資料儲存量,節省網路頻寬,提高儲存效率、減小備份視窗,節省成本。Dedupe技術目前大量應用於資料備份與歸檔系統,因為對資料進行多次備份後,存在大量重複資料,非常適合這種技術。事實上,dedupe技術可以用於很多場合,包括線上資料、近線資料、離線資料儲存系統,可以在檔案系統、卷管理器、NAS、SAN中實施。Dedupe也可以用於資料容災、資料傳輸與同步,作為一種資料壓縮技術可用於資料打包。為什麼dedupe技術目前主要應用於資料備份領域,而其他領域應用少呢?這主要由兩方面的原因決定的,一是資料備份應用資料重複率高,非常適合dedupe技術。二是dedupe技術的缺陷,主要是資料安全、效能。dedupe使用hash指紋來識別相同資料,存在產生資料碰撞並破壞資料的可能性。dedupe需要進行資料塊切分、資料塊指紋計算和資料塊檢索,消耗可觀的系統資源,對儲存系統性能產生影響。資訊呈現的指數級增長方式給儲存容量帶來巨大的壓力,而dedupe是最為行之有效的解決方案,因此固然其有一定的不足,它大行其道的技術趨勢無法改變。更低碰撞概率的hash函式、多核、GPU、SSD等,這些技術推動dedupe走向成熟,由作為一種產品而轉向作為一種功能,逐漸應用到近線和線上儲存系統。ZFS已經原生地支援dedupe技術,我們相信將會不斷有更多的檔案系統、儲存系統支援這一功能。

4、雲端儲存

 雲端計算無疑是現在最熱門的IT話題,不管是商業噱頭還是IT技術趨勢,它都已經融入了我們每個人工作與生活當中。雲端儲存亦然。雲端儲存即DaaS(儲存即服務),專注於向用戶提供以網際網路為基礎的線上儲存服務。它的特點表現為彈性容量(理論上無限大)、按需付費、易於使用和管理。雲端儲存主要涉及分散式儲存(如分散式檔案系統、IPSAN、資料同步、複製)、資料儲存(如重複資料刪除、資料壓縮、資料編碼)和資料保護(如RAID、CDP、快照、備份與容災)等技術領域。從專業機構的市場分析預測和實際的發展情況來看,雲端儲存的發展如火如荼,移動網際網路的迅猛發展也起到了推波助瀾的作用。目前典型的雲端儲存服務主要有Amazon S3, Google storage, Microsoft SkyDrive, EMC Atmos/mozy, Dropbox, SugurSync,SyncPlicity, 中國電信e雲, 中國移動139信箱, 世紀互聯有備, 聯想網盤, 金山快盤、資料銀行、新浪微盤、QQ硬碟、360雲盤。私有云儲存目前發展情況不錯,但是公有云儲存發展不順,使用者仍持懷疑和觀望態度。目前影響雲端儲存普及應用的主要因素有效能瓶頸、安全性、標準與互操作、訪問與管理、儲存容量和價格。雲端儲存終將離我們越來越近,這個趨勢是不無可置疑的,但是終究到底還有多遠?這由這些問題的解決程度決定。雲端儲存將從私有云逐漸走向公有云,滿足部分使用者的儲存、共享、同步、訪問、備份需求,但是試圖解決所有的儲存問題也是不現實的,我姑且推測一下,2012年底雲端儲存發展將進入一個嶄新的發展階段。

5、SOHO儲存

 SOHO(Small office, home office)儲存即家庭或個人儲存。現代家庭中擁有多臺PC、膝上型電腦、上網本、平板電腦、智慧手機,這種情況業已非常普遍,這些裝置將組成家庭網路。SOHO儲存的資料主要來自個人文件、工作文件、軟體與程式原始碼、電影與音樂、自拍視訊與照片,部分資料需要在不同裝置之間共享與同步,重要資料需要備份或者在不同裝置之間複製多份,需要在多臺裝置之間協同搜尋檔案,需要多裝置共享的儲存空間等等。手機、數碼相機和攝像機的普及和數字化技術的發展,以多媒體儲存為主的SOHO儲存需求突現。單部高清電影容量可以達到數GB、單張高質量照片體積可達數MB,這些內容的總容量往往能夠達到幾TB甚至數十TB,直連的硬碟無法滿足這種日益增長的儲存需求,使用者面臨的困境是儲存空間似乎永遠不夠用。SOHO儲存目前大致有兩種思路,一是home NAS微型儲存裝置,提供檔案級的集中共享儲存空間,並在NAS提供資料備份和複製、資料管理、高階檔案檢索、多種資料訪問協議和介面等功能。目前已經有一些儲存廠商推出了此類產品,由於存在硬體裝置並且價格低廉,使用者的認可度比較高。二是p2p儲存系統,利用軟體系統將各個裝置的儲存空間統一起來,提供一個虛擬的集中共享儲存空間,同樣可以提供home NAS上的所有功能。p2p儲存系統的一個問題是可用性,如果沒有足夠多的裝置啟動,這個系統就不能正常工作,而往往家庭中的裝置都不會同時啟動,因此可用性很難保證。此外,個人使用者通常不大願意為軟體系統付費,所以這種思路目前來看是不可行的。SOHO儲存的需求已經初步顯現,還沒有引起儲存廠商的足夠重視,但這塊市場是非常巨大的,未來會不會出現家庭雲端儲存呢?大家拭目以待吧。

6、ROBO儲存

 ROBO(Remote office, branch office)儲存即企業遠端或分支機構儲存。大的公司或組織機構會有多個子公司或分支機構組成,物理分佈在世界上不同的城市。網際網路使得世界變得非常平坦,分散式協作越來越為重要,我們甚至可以遐想未來很多企業甚至不需要集中的辦公場所,員工在家辦公即可。ROBO儲存正是為了應對這種基於網際網路的協作式工作模式而產生的。ROBO儲存的需求主要集中在資料同步、共享、分發、協作,傳統的上傳/下載模式檔案服務難以滿足這種需求,天然地需要基於網際網路的廣域分散式檔案系統。由於網際網路的低頻寬、高延遲、安全性等因素影響,ROBO儲存面臨巨大的挑戰,像NAS/CIFS/AFS這類系統都無法在網際網路上很好工作。針對ROBO儲存,通常在公司總部部署集中式儲存系統儲存所有的資料,在每個子公司部署較小的儲存節點,然後通過高速網路互聯,並提供高效的資料同步、分發、資料快取等機制,儘量減少資料通訊量以提高效能和實時性。目前ROBO儲存似乎還沒有成熟的解決方案,廣域網分散式檔案系統現在也很少被提及,挑戰性顯而易見,然後,潛在需求是推動技術發展的最好動力,我們有理由相信ROBO儲存終會成為一種儲存趨勢。

7、語義化檢索

 資料檢索目前主要分為兩類,一是基於檔名,二是基於檔案內容。主流檔案系統的資料檢索都是基於檔名進行的,桌面搜尋引擎則綜合檔名和檔案內容進行檢索,前者遍歷檔案系統元資料,後者需要解析檔案內容,它們都是通過關鍵字匹配來實現檢索。顯然,這兩類檢索的語義是非常有限的,與人類思維方式有著很大的區別。人類對事物的檢索往往通過事物的屬性以及與其他事物於其的聯絡來實現,例如人肉搜尋一個人,我們通過性別、交通工具、外貌等基本特徵以及社會關係來定位,這些都可看作是基於語義的檢索。檔案本身就具備許多的屬性,如檔名、大小、建立者、建立日期、檔案型別、訪問許可權,同時也具有與其他檔案的聯絡,如處於相同目錄、相同的所有者、同時被訪問、檔案集的組成部分等,此外還可以標註額外的屬性和關係。因此,儲存系統完全可以實現語義化的檢索,通過檔案屬性和關係來檢索檔案,並用關係網路(類似社會化網路)來表示檢索結果。這種方式語義上更加豐富,檢索結果更加精確,也更加符合人類的思維方式。目前儲存方面的語義化檢索產品基本是空白,業界當前主要研究還是集中在基於內容分析的資料檢索,但也有一些先行者在從事這方面的工作,而且語義網的研究成果可以為此提供許多基礎,比如語義的標識、知識表示以及推理等。面對海量的資料,精確、高效地檢索出自己需要的資料是第一步,語義化檢索符合儲存的技術發展趨勢。

8、儲存智慧化

 人工智慧是計算機的發展方向,這是個理想而艱鉅的目標。對於儲存系統來說,智慧化代表著自動化、自適應、相容性、自治管理、彈性應用,通過對系統的監控、分析和挖掘來發現資料應用的特點和使用者的行為模式並動態調整配置,從而達到最佳的執行狀態。儲存智慧化可以分別在儲存系統棧中的不同層次實現,包括磁碟、RAID、卷管理器、檔案系統、NAS系統、應用系統,從而形成系統的儲存智慧化。目前儲存智慧化已經有許多應用,例如,自動分級儲存根據資料的訪問頻度在不同儲存層級間流動,資料卷大小自動調整,檔案系統根據檔案大小採用不同的資料塊大小,資料自動遷移與複製,資料診斷與自動糾錯。儲存智慧化整體水平目前還很低,巨大容量、高效能、高可用性、高可靠性、高可擴性、高安全性的儲存系統實現和管理仍然非常艱鉅和複雜。雖然我們已經取得了一定的成果,但離真正的目標差距還很大,儲存學術界和業界都在這此而努力。智慧的儲存,讓資料在整個資訊生命週期內有序、高效、自治,儲存效用最大化、簡化管理、減少人工干預,這應該是儲存的大趨勢。

相關推薦

儲存技術趨勢預測分析

資訊計算現已進入以資料為中心的時代,儲存行業是目前最熱門的領域之一。面對不斷出現的儲存需求新挑戰,我們該如何把握儲存的未來發展方向呢?本人根據自己的經驗和理解嘗試預測和分析一下儲存的未來技術趨勢,與儲存同行分享,不當之處還請大家批評指正。 1、儲存虛擬化  儲存虛擬化是目

【統計學】【2017.05】時間序列資料預測分析

本文為布拉格捷克理工大學(作者:Oleg Ostashchuk)的碩士論文,共78頁。 本文討論了時間序列分析和預測的問題。論文的目的是研究現有的時間序列預測方法,包括必要的資料預處理步驟。本文選取了ARIMA、人工神經網路和雙指數平滑三種有前景的預測方法。本文的主要工作是對所提供的資

中科點選慧數招商:產業園區未來發展趨勢解讀分析

2018年4月,中共中央、國務院批覆了《河北雄安新區規劃綱要》。《河北雄安新區規劃綱要》指出,在黨中央堅強領導下,河北省、京津冀協同發展領導小組辦公室會同中央和國家機關有關部委、專家諮詢委員會等方面,深入學習貫徹習近平新時代中國特色社會主義思想和黨的十九大精神,

商品銷量預測分析測試 心得

測試內容:   商品銷量分析及預測系統Web與app端的資料連通性以及app首頁的顯示。   測試描述: 登入、切換分別顯示首頁,觀察首頁內容顯示有無差錯,等等。 在web管理端進行商品、門店、類別的資訊進行增刪改查等等操作,並觀察在app客戶端是否能看得到這些變化,以及變化之後相關聯的收

大資料儲存技術_磁碟陣列技術

磁碟與陣列技術 2.1 磁碟HDD(Hard Disk Drive) 1.磁碟依舊佔外部儲存市場的主流 2.HDD新技術   -HAMR技術(熱輔助磁記錄):提高單盤儲存容量(20TB起)   -MACH.2(雙驅動臂):提高讀寫速度(480MB/s) 3.HDD大容量硬碟未衰反興 4.磁盤裡面的結構   磁

2018年海外大資料產業全景分析趨勢預測 | Mob Insight

引導語:能力越大,責任越大。 分析師:MobData研究院 1.全景概況 Without big data analytics, companies are blind and deaf, wandering out onto the Web like de

技術專欄丨2018 儲存技術熱點趨勢總結

型別:技術專欄 作者介紹張凱(Kyle Zhang),SmartX 聯合創始人 & CT

技術分享:OpenStack DVR部署分析

network 所有 emc 狀態 是把 oca l3-agent meta 進入 概述 為了提高neutron網絡服務的魯棒性與性能,OpenStack從J版開始正式加入的DVR(Distributed Virtual Router)服務,它將原本集中在網絡節點的部分服務

Android安全技術揭秘防範——APK動態分析

可能 分析 返回結果 修改 uxss ava 容易 -a bug 代碼安全分析 1 四大權限組件權限和安全檢測,特別是廣播容易被惡意發送,可以采用應用內部廣播LocalBroadcastManager來規避2 存儲安全檢測,內存存儲不設置全局可讀可寫,不將隱私數據明文保存在

《Hadoop 權威指南 - 大資料的儲存分析》學習筆記

第一章 初識Hadoop 1.2 資料的儲存與分析 對多個硬碟中的資料並行進行讀/寫資料,有以下兩個重要問題: 硬體故障問題。解決方案:複製(replication),系統儲存資料的副本(replica)。 以某種方式結合大部分資料來共同完成分析。MapReduce

Hadoop權威指南-大資料的儲存分析第四版——學習筆記——第2章——1

MapReduce 適合處理半結構化的資料 MapReduce任務階段 Map階段+Reduce階段 Key-Value作為輸入輸出 實現兩個函式:map(),reduce() Map階段 輸入的Key:文字中的偏移量 輸入的value:文字 輸出的k-v給reduce處

易學筆記-系統分析師考試-第6章 系統配置效能評價/6.2 儲存器系統/6.2.5 虛擬儲存技術

虛擬儲存技術 概念 將多個儲存介質(如:硬碟、RAID等)通過一定的手段集中管理,形成統一管理的儲存池,為使用者提供大容量、高資料傳輸性的儲存系統 將實際儲存實體和儲存邏輯分開 實際使用時只分配邏輯卷,而不用關心資料在哪個物理儲存實體上 虛擬儲存的分類 按

易學筆記-系統分析師考試-第6章 系統配置效能評價/6.2 儲存器系統/6.2.4 網路儲存技術

主流網路儲存技術 直接附加儲存(DAS:Direct Attached Storage) 原理:儲存裝置(單個或者多個)通過SCSI(小型計算機系統介面(Small Computer System Interface))電路連線伺服器,其本身不帶儲存作業系統,儲存操作都依

吳裕雄 資料探勘分析案例實戰(6)——線性迴歸預測模型

# 工作年限與收入之間的散點圖# 匯入第三方模組import pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt # 匯入資料集income = pd.read_csv(r'F:\\python_Data_analysis_and

吳裕雄 數據挖掘分析案例實戰(6)——線性回歸預測模型

img rcp 圖例 his sha bubuko 數量 xlsx drop # 工作年限與收入之間的散點圖# 導入第三方模塊import pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt #

技術可行性操作可行性的資料蒐集分析

流星:20160401088;守夜人:20160401107;   技術可行性:   1.系統環境介紹:         i.    軟體壽命:三年          ii.  &

《Hadoop權威指南大資料的儲存分析第版修訂版升級版》pdf附網盤下載連結+(附一個菜鳥的java學習之路)

技術書閱讀方法論 一.速讀一遍(最好在1~2天內完成) 人的大腦記憶力有限,在一天內快速看完一本書會在大腦裡留下深刻印象,對於之後複習以及總結都會有特別好的作用。 對於每一章的知識,先閱讀標題,弄懂大概講的是什麼主題,再去快速看一遍,不懂也沒有關係,但是一定要在不懂的

《計算機演算法設計分析 第4版 (王曉東) 課後答案[1-9章]》pdf版電子書附下載連結+30個總結JVM虛擬機器的技術文排版好(收藏版)

技術書閱讀方法論 一.速讀一遍(最好在1~2天內完成) 人的大腦記憶力有限,在一天內快速看完一本書會在大腦裡留下深刻印象,對於之後複習以及總結都會有特別好的作用。 對於每一章的知識,先閱讀標題,弄懂大概講的是什麼主題,再去快速看一遍,不懂也沒有關係,但是一定要在不懂的

DAS、NAS、SAN三種高階儲存技術分析

DAS DAS是Direct Attached Storage的縮寫,即“直接連線儲存”,是指將外接儲存裝置通過連線電纜,直接連線到一臺計算機上。採用直接外掛儲存方案的伺服器結構如同PC機架構,外部資料儲存裝置採用SCSI技術,或者FC技術,直接掛接在內部總線上的方式,資料

01: 儲存技術應用 iSCSI技術應用 、 udev配置 NFS網路檔案系統 、 Multipath多路徑 、 NFS網路檔案系統 、 udev配置

Top NSD CLUSTER DAY01 1 案例1:配置iSCSI服務 1.1 問題 本案例要求先搭建好一臺iSCSI伺服器,並將整個磁碟共享給客戶端: 伺服器上要額外配置一塊硬碟 服務端安裝target,並將新加的硬碟配置為iSCSI 的共享磁碟 在客