1. 程式人生 > >東湖行 | 優雲數智UMStor展示PB級資料湖儲存方案實力

東湖行 | 優雲數智UMStor展示PB級資料湖儲存方案實力

在近日舉行的2018全球快閃記憶體技術峰會上,優雲數智攜旗下具有“CBA”氣息的儲存系統——UMStor來到武漢東湖之濱的光谷科技會展中心,向參會者展示PB級資料湖儲存方案實力。

資料流衝擊日益凸顯

100多年前,“千湖之地”武漢湖泊星羅棋佈,沙湖、東湖、白洋湖相通,因無人建防水堤,每每水患,所望及盡澤國。光緒二十五年,湖廣總督張之洞在長江與東湖之間修建了南北兩段堤防——武金堤和武青堤,至此東湖與沙湖分離,基於堅固地質,面積經幾十年不變,定於33平方公里,遂成今東湖。

探究東湖發展,人為分治起到很大作用。然而,今天人們開始承受另一種“水患之痛”,那就是高速發展的IoT使大資料面臨PB級海量資料儲存以及上千QPS級併發請求,大資料流正瘋狂衝擊著企業。

面對全業務數字化轉型大勢,傳統企業資料中心的資料儲存級別由原先數十TB向今天動輒PB級的資料儲存量級轉化。與此同時,圍繞企業多型別業務需求,如何解決海量大資料併發承載,如何結合AI對儲存大資料探勘,並同步通過多協議訪問高效對外分享等一系列問題,就需建立統一的資料平臺化運營機制。

在數字化轉型的挑戰面前,各種新型技術滲透業務模式和流程,推動傳統企業資料儲存變革。UMStor不僅協助企業大資料上雲端,支援大資料加速,還為人工智慧提供快速處理資料介面。

至此,優雲數智UMStor已擁有諸多數十PB級的統一分佈儲存、大資料湖實際案例落地。

PB級資料湖儲存方案

資料湖的核心關鍵依然在於數字化轉型,包含大資料儲存、處理、共享等資料平臺化運營機制。優雲數智UMStor多協議分散式儲存系統在諸多實際案例落地過程中,演化出一種新的大資料儲存架構——資料湖儲存架構。

(圖:UMStor PB級資料湖儲存方案示例)

結合其他軟體應用服務啟示,優雲數智UMStor通過將計算儲存環境分離,採用Hadapter直接特定函式呼叫,完成資料訪問,避免增加閘道器IO訪問瓶頸,在保證大資料環境下的儲存訪問效能同時,打破環境分離帶來的資料排程壁壘。

UMStor協助企業儲存資料上雲端

傳統大資料的物理機部署模式在應對當下企業多業務彈性計算資源需求,以及現有儲存容量擴容增長相差較大的情況下,計算、儲存兩者一體部署已無法滿足靈活業務需求,同時也並非是最優價效比方案。而將儲存資料與計算分離,獨立上雲端,實現兩者各自獨立擴充套件,正是當下資料儲存的趨勢。

UMStor作為企業資料上雲端方案,是真正的軟體定義儲存系統(SDS),採用領先的全分散式全冗餘架構,沒有單點故障,具有高彈性和高可靠性,效能和容量可以橫向擴充套件。UMStor可以靈活進行軟體配置與硬體選型,協助企業自定義儲存系統的效能、容量、資料保護能力等,在基礎資源利用最大化的同時,也降低基礎成本投入,滿足企業當前和未來資料儲存戰略需求。

UMStor助力企業大資料加速

伴隨數字化發展,傳統資料儲存部分問題日益突出。例如,傳統儲存資料的存取路徑須通過物件服務的閘道器,再由閘道器服務把IO請求遞交給底層的物件儲存裝置,這就會導致一系列問題,不僅閘道器增加了IO訪問路徑的開銷,而且該閘道器比較容易成為系統的效能瓶頸。

(圖:Hadapter執行機制)

通過NFS-Ganesha軟體支援多種後臺儲存系統中Ceph物件儲存服務的啟示,優雲數智打造了一款基於自身儲存系統的Hadoop外掛——Hadapter。UMStor通過將計算儲存環境分離,採用Hadapter直接呼叫librados函式庫來請求OSD的方式,避開了資料存取對閘道器的請求,在保證大資料環境下儲存訪問效能的同時,打破環境分離帶來的資料排程壁壘。

此外,圍繞大資料應用對接,UMStor不僅提供標準S3和Swift物件儲存介面,用於儲存圖片、檔案、視訊等非結構化資料,而且還提供HDFS介面,大資料應用Hadoop、Spark、Hive、HBase可以直接與儲存伺服器進行通訊,不需要經過儲存閘道器和元資料伺服器,具有很強的橫向擴充套件能力和吞吐能力。

UMStor推動人工智慧AI大資料探勘

大資料時代,人工智慧同步飛速發展。智慧演算法的訓練與推理需要對超大資料集進行處理與分析,而這些資料涵蓋視訊、圖片、文字等非結構化資料。要對來源不同行業、組織、部門、專案的資料進行採集、儲存、清洗、轉換、特徵提取等工作,無疑是一項複雜、漫長的工程。

UMStor不僅可向人工智慧程式提供資料快速收集、處理、分析平臺,還具備提供高速

頻寬、海量小檔案存取、多協議互通、資料共享的能力,從而大大加速了資料探勘、深度學習的過程。

曾經水患肆虐的東湖,如今已成為武漢儲存產業高科技發展中心,未來將影響著中國,乃至世界科技產業的發展方向。UMStor作為優雲數智推出的具“CBA”氣息的儲存系統,也將為傳統企業的數字化轉型提供便捷、穩定的資料雲端儲存解決方案。

相關推薦

東湖 | UMStor展示PB資料儲存方案實力

在近日舉行的2018全球快閃記憶體技術峰會上,優雲數智攜旗下具有“CBA”氣息的儲存系統——UMStor來到武漢東湖之濱的光谷科技會展中心,向參會者展示PB級資料湖儲存方案實力。 資料流衝擊日益凸顯 100多年前,“千湖之地”武漢湖泊星羅棋佈,沙湖、東湖、白洋湖相通,因無

阿裏據庫RDS秒監控功能解鎖,通宵加班找故障將成為過去式

標簽 數據庫 過去式 休假 發現 關於 解鎖 net 兩種 摘要: 每一個奮鬥在前線的數據庫管理員和運維人員似乎運氣都不太好,這些人都絕對經歷過的詭異事件就是:逢年過節必出故障,明明眼看著要休假了,又接到故障通知,只好通宵加班找問題。沒問題的時候可能大家都不會想到你,一出問

POI操作Excel時最大、列的問題及寫大量資料時Java heap space記憶體溢位解決

如果你從開始選單中啟動excel2007,預設是:1048576如果你儲存或者開啟型別為excel工作簿(.xlsx):1048576如果你儲存或者開啟型別為97-2003工作簿(.xls):65536 public class MaxRowsTest { publi

如何將 PB 資料遷移到

如果您計劃在應用程式遷移或資料中心關閉期間將資料遷移到雲中,則會遇到資料傳輸的硬限制。如果您的 Internet 速度不足以支援資料遷移計劃,您應該考慮使用 AWS Snowball。藉助 Snowball 裝置,您能夠以比 Internet 速度更快的速度將檔案、資料湖

mysql Innodb單表31m千萬資料count計數方案及調

ENV 線上環境為RDS,版本5.7.15 select version() output: 5.7.15-log 測試環境為docker搭建的mysql,版本5.7.19 select version() output: 5.7.1

大廠運維必備技能:PB資料倉庫效能調

摘要:眾所周知,資料量大了之後,效能是大家關注的一點,所以我們在業務開發的時候,特別關注效能,做為一個架構師,必須對效能要了解,要懂。才能設計出高效能的業務系統。 一、GaussDB分散式架構 所謂叢集是將多臺物理伺服器組建成一個邏輯平臺,對外展現一個叢集平臺的形式。 所謂分散式架構是將資料分而治之。以

軟件應邀出席 ITSS 據中心運營管理工作組 2017 年春季研討會

it運維 itss 2017 年 4 月 15 日,中國電子工業標準化技術協會信息技術服務分會(以下稱 ITSS 分會)數據中心運營管理工作組(以下簡稱 DCMG)在江蘇省啟東市召開春季研討會。DCMG 工作組組長肖建一出席會議。興業銀行、招商銀行、交通銀行、太平洋保險集團、海通證券股份有限公司、中國

軟體亮相2017棲大會,旗下全線產品首次完整展示

10月11日—14日,為期4天的2017雲棲大會在杭州雲棲小鎮正式召開。作為國內最具影響力的科技展會之一,本屆大會以“飛天·智慧”為主題,不僅有阿里巴巴的集團專家以及各個行業領袖和科學家的精彩演講;同時也吸引了來自16個國家與地區,超過400餘家企業參展,涵蓋人工智慧、大資料、自動駕駛、智慧家居、

奇點據中臺技術匯(一) DataSimba——企業級一站式大數據能服務平臺

內聚 信息 dfs 業務場景 日誌審計 分享圖片 幫助 可靠 數據規範 在這個“數據即資產”的時代,大數據技術和體量都有了前所未有的進步,若企業能有效使用數據,讓數據賺錢,這必將成為企業數字化轉型升級的有力武器。 奇點雲自研的一站式大數據智能服務平臺——DataSimba,

運維品牌發布,首推“雙態運維” 理念

cmdb 配置數據庫 優雲軟件 雙態運維 運維自動化2016年7月12日,廣通軟件發布全新一代的敏捷運維品牌 —“優雲”。廣通軟件作為新三板創新層的上市企業,是國內專註於IT運維領域的軟件廠商。隨著互聯網+時代的來臨,運維正在成為企業核心競爭力,形成新一輪的創新熱點。在這個風口上,廣通軟件的“優雲”品牌戰略,

廣通亮相棲大會呈現火爆現場

阿裏巴巴 雲計算 互聯網 2016年10.13日至10.16日由阿裏巴巴集團主辦的2016年杭州雲棲大會在杭州雲棲小鎮正式拉開帷幕。本屆杭州雲棲大會以“飛天進化”為主題,內容規模比去年翻倍,廣通軟件優雲展臺在期間備受業界關註。關於優雲"優雲”是廣通軟件(股票號碼:833322)旗下的下一代運維品牌

軟件亮相“2017武漢安博會”

it運維 itil 雙態運維 devops 2017年3月15日,首站2017武漢公共安全產品暨警用裝備展覽會(以下簡稱“2017武漢安博會”)在湖北·武漢國際會展中心盛大開幕。來自全國各地的公安系統、安防工程商、系統集成商、安防代理商、金融、電力、交通、電信、安保、監獄、校園、物業及機關單位

亮相GOPS2017全球運維大會 “黑科技”獲全場最高關註

gops20172017年4月21日,GOPS――2017全球運維大會於深圳聖淘沙酒店拉開帷幕。GOPS全球運維大會由高效運維社區(GreatOPS)和開放運維聯盟(OOPSA)聯合主辦,由工信部信通院數據中心聯盟(DCA)任指導單位。全球運維大會是國內第一個運維行業大會,面向互聯網及傳統行業、廣大運維技術人

軟件閃耀中國雙態運維大會·烏鎮峰會

雙態運維聯盟6月24日-25日,由雙態運維聯盟主辦,中國電子工業標準技術協會信息技術服務分會數據中心運營管理工作組(簡稱:ITSS-DCMG)指導的"2017中國雙態運維大會·烏鎮峰會"在互聯網第一小鎮——烏鎮落下帷幕。企業級一站運維解決方案提供商——優雲軟件作為雙態運維聯盟的創始成員,以及本次峰會的白金贊助

阿裏丨以AI助力電力產業變革_創造有為時代——訪阿裏人工能科學家閔萬裏

dwr 實的 robot ont mark 激發 nbsp src 鏈接 原文鏈接 摘要: 李世石第一次與阿爾法狗交手得勝後的夜晚,當他身心疲乏地入睡後,阿爾法狗沈默不語地發揮著自己可以無休的特性,靜夜中又和自己下了一百萬盤棋。自此,相關的算法進入井噴發展階段,人類在該

JavaSE7基礎 定義二維組 固定的、列

pre png 運行 二維數組 代碼 args logs 精華 dem 版本參數:jdk-7u72-windows-i586註意事項:博文內容僅供參考,不可用於其他用途。 代碼 class Demo{ public static void main(Stri

C#通過NPOI逐讀取excel

using System; using System.Collections.Generic; using System.Linq; using System.Text; using NPOI.SS.UserModel; using NPOI.HSSF.UserModel; using Syste

軟件應邀參加“視頻偵查與視頻監控深度應用研修班”並作主題演講

運維監控 底層監控為推進全國公安機關視頻監控系統聯網建設,加強視頻偵查技術深度應用,由公安部第一研究所《警察技術》雜誌社主辦的“全國公安機關視頻監控建設與實戰應用專題研修班”於2017年5月9日—12日在貴陽舉行,研修班邀請了400余位來自全國各地各級公安機關負責視頻監控建設及視頻偵查工作的領導及業務骨幹,學

騰訊據庫團隊:MySQL5.7 JSON實現簡單介紹

literal 白色 一定的 round tween extra inf features 操作性 作者介紹:吳雙橋 騰訊雲project師 閱讀原文。很多其它技術幹貨。請訪問fromSource=gwzcw.57435.57435.57

橫掃芯片後,紫光欲進軍公有 百億資金已到位(大事表)

新的 一家子 模式 信息 資金 通過 展訊 發布 所有 紫光集團有可能通過收購具有先進雲計算技術的公司以快速切入公有雲市場,這是其打造“芯-雲-網-端”信息產業生態鏈的重要一環。 繼投入數千億資金布局芯片制造產業之後,紫光集團又一個核心戰略浮