後期制作公司選擇中央存儲還是分布式存儲
阿新 • • 發佈:2019-02-15
最優 ora smi-s 高速 存儲服務器 超過 自動 復制 優劣 看懂分布式存儲與傳統NAS、SAN優劣勢
傳統SAN存儲設備一般采用雙控制器架構,兩者互為備份,配置兩臺交換機與前端的服務器進行連接,這種雙控制器架構方式會有以下兩個方面的缺點:
1. 網絡帶寬容易變成整個存儲性能的瓶頸;
2. 如果一個控制器損壞,系統的性能將大幅下降,影響存儲的正常使用。
傳統存儲架構的局限性主要體現在以下幾個方面:
1、橫向擴展性較差
受限於前端控制器的對外服務能力,縱向擴展磁盤數量無法有效提升存儲設備對外提供服務的能力。同時,前端控制器橫向擴展能力非常有限,業界最多僅能實現幾個控制器的橫向。因此,前端控制器成為整個存儲性能的瓶頸。
2、不同廠家傳統存儲之間的差異性帶來的管理問題
不同廠商設備的管理和使用方式各有不同,由於軟硬件緊耦合、管理接口不統一等限制因素無法做到資源的統一管理和彈性調度,也會帶來存儲利用率較低的現象。因此,不同存儲的存在影響了存儲使用的便利性和利用率。
分布式存儲往往采用分布式的系統結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息。它不但提高了系統的可靠性、可用性和存取效率,還易於擴展,將通用硬件引入的不穩定因素降到最低。優點如下:
1. 高性能
一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存,並且支持自動的分級存儲。分布式存儲通過將熱點區域內數據映射到高速存儲中,來提高系統響應速度;一旦這些區域不再是熱點,那麽存儲系統會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能,按照一定的策略,先將數據寫入高速存儲,再在適當的時間進行同步落盤。
2. 支持分級存儲
由於通過網絡進行松耦合鏈接,分布式存儲允許高速存儲和低速存儲分開部署,或者任意比例混布。在不可預測的業務環境或者敏捷應用情況下,分層存儲的優勢可以發揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中後,從冷池提取數據的粒度太大,導致延遲高,從而給造成整體的性能的抖動的問題。
3. 多副本的一致性
與傳統的存儲架構使用RAID模式來保證數據的可靠性不同,分布式存儲采用了多副本備份機制。在存儲數據之前,分布式存儲對數據進行了分片,分片後的數據按照一定的規則保存在集群節點上。為了保證多個數據副本之間的一致性,分布式存儲通常采用的是一個副本寫入,多個副本讀取的強一致性技術,使用鏡像、條帶、分布式校驗等方式滿足租戶對於可靠性不同的需求。在讀取數據失敗的時候,系統可以通過從其他副本讀取數據,重新寫入該副本進行恢復,從而保證副本的總數固定;當數據長時間處於不一致狀態時,系統會自動數據重建恢復,同時租戶可設定數據恢復的帶寬規則,最小化對業務的影響。
4. 容災與備份
在分布式存儲的容災中,一個重要的手段就是多時間點快照技術,使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。特別值得一提的是,多時間點快照技術支持同時提取多個時間點樣本同時恢復,這對於很多邏輯錯誤的災難定位十分有用,如果用戶有多臺服務器或虛擬機可以用作系統恢復,通過比照和分析,可以快速找到哪個時間點才是需要回復的時間點,降低了故障定位的難度,縮短了定位時間。這個功能還非常有利於進行故障重現,從而進行分析和研究,避免災難在未來再次發生。多副本技術,數據條帶化放置,多時間點快照和周期增量復制等技術為分布式存儲的高可靠性提供了保障。
5. 彈性擴展
得益於合理的分布式架構,分布式存儲可預估並且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性:
1) 節點擴展後,舊數據會自動遷移到新節點,實現負載均衡,避免單點過熱的情況出現;
2) 水平擴展只需要將新節點和原有集群連接到同一網絡,整個過程不會對業務造成影響;
3) 當節點被添加到集群,集群系統的整體容量和性能也隨之線性擴展,此後新節點的資源就會被管理平臺接管,被用於分配或者回收。
6. 存儲系統標準化
隨著分布式存儲的發展,存儲行業的標準化進程也不斷推進,分布式存儲優先采用行業標準接口(SMI-S或OpenStack Cinder)進行存儲接入。在平臺層面,通過將異構存儲資源進行抽象化,將傳統的存儲設備級的操作封裝成面向存儲資源的操作,從而簡化異構存儲基礎架構的操作,以實現存儲資源的集中管理,並能夠自動執行創建、變更、回收等整個存儲生命周期流程。基於異構存儲整合的功能,用戶可以實現跨不同品牌、介質地實現容災,如用中低端陣列為高端陣列容災,用不同磁盤陣列為閃存陣列容災等等,從側面降低了存儲采購和管理成本。
分布式存儲與傳統的SAN、NAS相比,優勢如下:
1、性能: 在分布式存儲達到一定規模是,性能會超過傳統的SAN、NAS。大量磁盤和節點,結合適當的數據分布策略,可以達到非常高的聚合帶寬。傳統的SAN、NAS都會有性能瓶頸,一旦達到最大擴展能力,性能不會改變甚至降低。
2、價格: 傳統的SAN、NAS,價格比較高。特別是SAN網絡設備,光纖網絡成本比較高。而且,以後擴展還需要增加擴展櫃。成本太高。分布式存儲只需要IP網絡,幾臺X86服務器加內置硬盤就可以組建起來,初期成本比較低。擴展也非常方便,加服務器就行。
3、可持續性: 傳統的SAN、NAS擴展能力受限,一個機頭最多可以帶幾百個磁盤。如果想要個PB以上的共享存儲,分布式存儲只最好的選擇。不用擔心擴展能力問題。
缺點:
1、需要比較強的技術能力和運維能力,甚至有開發能力的用戶。傳統存儲開箱即用,硬件由廠家提供,也有完善的文檔和服務。而分布式很多是開源或者是有公司基於開源系統提供支持服務,版本叠代比較快,出問題後有可能需要自己解決。
2、數據一致性問題。對於ORACLE RAC這一類對數據一致性要求比較高的應用場景,分布式存儲的性能可能就稍弱了,因為分布式的結構,數據同步是一個大問題,雖然現在技術一致在進步,但是也不如傳統存儲設備數據存儲方式可靠。
3、穩定性問題,分布式存儲非常依賴網絡環境和帶寬,如果網絡發生抖動或者故障,都可能會影響分布式存儲系統運行。例如,一旦發生IP沖突,那麽整體分布式存儲可能都無法訪問。傳統存儲一般使用專用SAN或IP網絡,穩定性方面,更可靠一些。
超融合架構迅速發展的原因是其具有顯著的優勢,能夠帶來極高 的客戶價值。超融合架構實現了計算、存儲、網絡等資源的統一管理 和調度,具有更彈性的橫向擴展能力,可以為數據中心帶來最優的效 率、靈活性、規模、成本和數據保護。使用計算存儲超融合的一體化 平臺,替代了傳統的服務器加集中式存儲的架構,使得整個架構更清 晰簡單,極大簡化了復雜 IT 系統的設計。
從用戶的角度考慮,選擇超融合架構的理由,往往在以下幾個方面:
(1)性能
業務規模、數據可用性、業務連續性、性能等方面的需求快速增 長,傳統的 IT 架構無法滿足或者代價過高。超融合架構可以輕松達 到數十萬 IOPS。若采用全閃存超融合,性能遠超普通的 SAN 陣列。
(2)成本
傳統 IT 架構在提供同樣性能的前提下成本過高,成本並不是超 融合的最大優勢,但比傳統方案還是能節省投資。
(3)利舊
利舊原本不是超融合該做的事,但卻是真實存在的需求。超融合 支持通用標準 x86 服務器硬件,因此支持在現有服務器上部署,從而 保護投資。
具體問題請加18611776962微信聊。
傳統SAN存儲設備一般采用雙控制器架構,兩者互為備份,配置兩臺交換機與前端的服務器進行連接,這種雙控制器架構方式會有以下兩個方面的缺點:
1. 網絡帶寬容易變成整個存儲性能的瓶頸;
2. 如果一個控制器損壞,系統的性能將大幅下降,影響存儲的正常使用。
傳統存儲架構的局限性主要體現在以下幾個方面:
1、橫向擴展性較差
受限於前端控制器的對外服務能力,縱向擴展磁盤數量無法有效提升存儲設備對外提供服務的能力。同時,前端控制器橫向擴展能力非常有限,業界最多僅能實現幾個控制器的橫向。因此,前端控制器成為整個存儲性能的瓶頸。
2、不同廠家傳統存儲之間的差異性帶來的管理問題
不同廠商設備的管理和使用方式各有不同,由於軟硬件緊耦合、管理接口不統一等限制因素無法做到資源的統一管理和彈性調度,也會帶來存儲利用率較低的現象。因此,不同存儲的存在影響了存儲使用的便利性和利用率。
1. 高性能
一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存,並且支持自動的分級存儲。分布式存儲通過將熱點區域內數據映射到高速存儲中,來提高系統響應速度;一旦這些區域不再是熱點,那麽存儲系統會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能,按照一定的策略,先將數據寫入高速存儲,再在適當的時間進行同步落盤。
2. 支持分級存儲
由於通過網絡進行松耦合鏈接,分布式存儲允許高速存儲和低速存儲分開部署,或者任意比例混布。在不可預測的業務環境或者敏捷應用情況下,分層存儲的優勢可以發揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中後,從冷池提取數據的粒度太大,導致延遲高,從而給造成整體的性能的抖動的問題。
與傳統的存儲架構使用RAID模式來保證數據的可靠性不同,分布式存儲采用了多副本備份機制。在存儲數據之前,分布式存儲對數據進行了分片,分片後的數據按照一定的規則保存在集群節點上。為了保證多個數據副本之間的一致性,分布式存儲通常采用的是一個副本寫入,多個副本讀取的強一致性技術,使用鏡像、條帶、分布式校驗等方式滿足租戶對於可靠性不同的需求。在讀取數據失敗的時候,系統可以通過從其他副本讀取數據,重新寫入該副本進行恢復,從而保證副本的總數固定;當數據長時間處於不一致狀態時,系統會自動數據重建恢復,同時租戶可設定數據恢復的帶寬規則,最小化對業務的影響。
4. 容災與備份
在分布式存儲的容災中,一個重要的手段就是多時間點快照技術,使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。特別值得一提的是,多時間點快照技術支持同時提取多個時間點樣本同時恢復,這對於很多邏輯錯誤的災難定位十分有用,如果用戶有多臺服務器或虛擬機可以用作系統恢復,通過比照和分析,可以快速找到哪個時間點才是需要回復的時間點,降低了故障定位的難度,縮短了定位時間。這個功能還非常有利於進行故障重現,從而進行分析和研究,避免災難在未來再次發生。多副本技術,數據條帶化放置,多時間點快照和周期增量復制等技術為分布式存儲的高可靠性提供了保障。
得益於合理的分布式架構,分布式存儲可預估並且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性:
1) 節點擴展後,舊數據會自動遷移到新節點,實現負載均衡,避免單點過熱的情況出現;
2) 水平擴展只需要將新節點和原有集群連接到同一網絡,整個過程不會對業務造成影響;
3) 當節點被添加到集群,集群系統的整體容量和性能也隨之線性擴展,此後新節點的資源就會被管理平臺接管,被用於分配或者回收。
6. 存儲系統標準化
隨著分布式存儲的發展,存儲行業的標準化進程也不斷推進,分布式存儲優先采用行業標準接口(SMI-S或OpenStack Cinder)進行存儲接入。在平臺層面,通過將異構存儲資源進行抽象化,將傳統的存儲設備級的操作封裝成面向存儲資源的操作,從而簡化異構存儲基礎架構的操作,以實現存儲資源的集中管理,並能夠自動執行創建、變更、回收等整個存儲生命周期流程。基於異構存儲整合的功能,用戶可以實現跨不同品牌、介質地實現容災,如用中低端陣列為高端陣列容災,用不同磁盤陣列為閃存陣列容災等等,從側面降低了存儲采購和管理成本。
分布式存儲與傳統的SAN、NAS相比,優勢如下:
1、性能: 在分布式存儲達到一定規模是,性能會超過傳統的SAN、NAS。大量磁盤和節點,結合適當的數據分布策略,可以達到非常高的聚合帶寬。傳統的SAN、NAS都會有性能瓶頸,一旦達到最大擴展能力,性能不會改變甚至降低。
2、價格: 傳統的SAN、NAS,價格比較高。特別是SAN網絡設備,光纖網絡成本比較高。而且,以後擴展還需要增加擴展櫃。成本太高。分布式存儲只需要IP網絡,幾臺X86服務器加內置硬盤就可以組建起來,初期成本比較低。擴展也非常方便,加服務器就行。
3、可持續性: 傳統的SAN、NAS擴展能力受限,一個機頭最多可以帶幾百個磁盤。如果想要個PB以上的共享存儲,分布式存儲只最好的選擇。不用擔心擴展能力問題。
缺點:
1、需要比較強的技術能力和運維能力,甚至有開發能力的用戶。傳統存儲開箱即用,硬件由廠家提供,也有完善的文檔和服務。而分布式很多是開源或者是有公司基於開源系統提供支持服務,版本叠代比較快,出問題後有可能需要自己解決。
2、數據一致性問題。對於ORACLE RAC這一類對數據一致性要求比較高的應用場景,分布式存儲的性能可能就稍弱了,因為分布式的結構,數據同步是一個大問題,雖然現在技術一致在進步,但是也不如傳統存儲設備數據存儲方式可靠。
3、穩定性問題,分布式存儲非常依賴網絡環境和帶寬,如果網絡發生抖動或者故障,都可能會影響分布式存儲系統運行。例如,一旦發生IP沖突,那麽整體分布式存儲可能都無法訪問。傳統存儲一般使用專用SAN或IP網絡,穩定性方面,更可靠一些。
超融合架構迅速發展的原因是其具有顯著的優勢,能夠帶來極高 的客戶價值。超融合架構實現了計算、存儲、網絡等資源的統一管理 和調度,具有更彈性的橫向擴展能力,可以為數據中心帶來最優的效 率、靈活性、規模、成本和數據保護。使用計算存儲超融合的一體化 平臺,替代了傳統的服務器加集中式存儲的架構,使得整個架構更清 晰簡單,極大簡化了復雜 IT 系統的設計。
從用戶的角度考慮,選擇超融合架構的理由,往往在以下幾個方面:
(1)性能
業務規模、數據可用性、業務連續性、性能等方面的需求快速增 長,傳統的 IT 架構無法滿足或者代價過高。超融合架構可以輕松達 到數十萬 IOPS。若采用全閃存超融合,性能遠超普通的 SAN 陣列。
(2)成本
傳統 IT 架構在提供同樣性能的前提下成本過高,成本並不是超 融合的最大優勢,但比傳統方案還是能節省投資。
(3)利舊
利舊原本不是超融合該做的事,但卻是真實存在的需求。超融合 支持通用標準 x86 服務器硬件,因此支持在現有服務器上部署,從而 保護投資。
具體問題請加18611776962微信聊。
後期制作公司選擇中央存儲還是分布式存儲