搭了資料中臺怎麼用?AI+BI 讓資料產生價值
資料中臺主要應用方向有傳統BI、敏捷BI、視覺化大屏、AI等四個方向。
傳統BI
商業智慧(Business Intelligence,簡稱:BI),又稱商業智慧或商務智慧,指用現代資料倉庫技術、線上分析處理技術、資料探勘和資料展現技術進行資料分析以實現商業價值。
商業智慧的概念在1996年最早由加特納集團(Gartner Group)提出,加特納集團將商業智慧定義為:商業智慧描述了一系列的概念和方法,通過應用基於事實的支援系統來輔助商業決策的制定。商業智慧技術提供使企業迅速分析資料的技術和方法,包括收集、管理和分析資料,將這些資料轉化為有用的資訊,然後分發到企業各處。
傳統的BI主要使用者是管理層,應用場景傾向於輔助商業決策,因此更多的採用固定格式的報表或者儀表盤,然後定義一些固化的粒度,實現下鑽和聚合。由於有固定的格式、固定的鑽取方向,因此一般採用星型模型或者雪花模型實現。而不管是星型模型還是雪花模型,構建模型的關聯關係都是一個複雜的工作,一般都需要通過報表自帶的客戶端軟體進行模型的設計,包括表的定義、表的關聯關係、指標和維度的區分、指標的彙總方式等。傳統的BI應用展示圖例如下圖1-4所示。
1-4 傳統BI應用案例
提供傳統BI的商業化產品主要有Oracle BIEE、IBM Cognos、SAP BO、Microstrategy等。
傳統BI主要有以下缺點:
1.成本較高
傳統BI解決方案基本是兩種思路一種是大資料一體機、另外一種是分散式資料倉庫。但是,大資料一體機的總體擁有成本高,大多數企業都無福消受,而分散式資料倉庫按流量收費,使用成本不菲,1TB的資料可能就需要幾十萬。這樣的大資料產品,大幅提升了BI應用的整體擁有成本。
2.工作負擔重
傳統BI的報表製作需求會由業務部門提交到IT部門去實現,且每個新的需求都需要重新建模開發,無論是業務部門還是IT部門都增加了工作負擔。
3.實施失敗率高
據不完全統計,在企業實際的應用中,BI的實施失敗率高達70%。
4.部署週期長
傳統BI產品的部署和實施往往需要幾個月時間,需要進行整體的架構設計。這樣的部署週期在日新月異的商業環境下更顯尷尬。
敏捷BI
隨著Tableau工具的面世,打破了傳統BI的建模思路,整個BI領域走向敏捷化。敏捷BI最大的特點是不再拘泥於資料模型,而是更加側重和傾向於基於SQL實現複雜的報表邏輯。傳統的BI建模雖然也提供SQL的實現方式,但是並不是平臺的推薦和首選。以Tableau、FineBI、永洪BI為代表得BI新興勢力,都把SQL放在一個核心位置,報表的模型關聯僅僅通過頁面的簡單操作即可實現,資料模型變成報表或者自助分析的一部分,而不再是兩個分開的主體。採用敏捷BI的模式,不同的報表或者自助之間進行了隔離,不會再出現多個報表或者自助共用一個數據模型,導致變更互相影響的情況。
敏捷BI的另外一個顯著特點是提供了自助分析和業務自行定義報表的功能。傳統的BI認為,業務人員只需要瞭解業務的邏輯即可,在一個複雜底層邏輯的基礎上,業務人員無法很好地完成報表自定義,因此在這方面比較欠缺。
利用敏捷BI工具,即時沒有任何SQL基礎,也能很容易上手,輕輕鬆鬆畫出漂亮的報表,大大降低了BI的使用門檻。敏捷BI是對傳統BI的一次革新。
和傳統BI相比,敏捷BI主要有以下顯著優點:
1.成本更低
傳統的BI工具授權費用高,後期運維費用更是大部分企業無法負擔的水平;同時其支援的資料庫連線又非常有限,導致必須使用Oracle、DB2、SQL SERVER等商業授權資料庫,進一步提高了專案成本。
2.相容性強,支援多種資料來源
一般的敏捷BI工具都支援連線多種通用資料來源,如關係型資料庫(MySql、Oracle、SQL Server等)、文字資料來源(Excel、CSV等)、大資料分析引擎 Kylin、Impala、Hive、Presto、基於OData協議的擴充套件介面以及Restful API資料來源等。敏捷BI提供直觀的視覺化介面,簡單填寫配置引數即可快速連線資料來源。
3.自助式探索式資料分析
自助探索式資料視覺化分析,通過主動式的企業資料分析模式,它能夠讓業務人員直接參與資料分析,無需專業分析團隊,業務人員可以直接通過簡單拖拽進行資料視覺化分析。自助式探索資料分析以及成為了敏捷BI的核心。
4.高階資料視覺化
敏捷BI工具一般都提供豐富的視覺化圖表。以DataViz為例,DataViz提供60多種資料視覺化效果,支援弦圖、熱力圖、南丁格爾圖等高階資料視覺化,更支援基於地圖的軌跡、熱力等視覺化效果。
5.多終端自適應展現
通過敏捷BI製作的資料分析報告,只需製作一次就可以在桌面、手機、大屏等多終端上自適應展現,而不需針對多個終端進行單獨設定。
總之,敏捷BI投入成本更低、更加平民化、更加易於操作,可以讓更多的企業客戶能以較低的投入享受到最專業的資料分析服務。幫助企業使用者快速準確地洞悉資料背後隱藏的商業價值,讓企業決策更“有據可依”。
視覺化大屏
很多人最開始認識大屏,是從新聞聯播裡面開始的。早期的大屏主要出現在一些大型政府單位、航天企業等。例如航天部門發射火箭的時候。伴隨著阿里的“雙十一”盛典和雲棲大會的推廣,這種藍色背景、頁面簡潔、富有科技感的資料展現形式開始逐漸走入各個普通企業。
傳統的BI專案實施也會附帶一些管理駕駛艙之類的圖形化頁面,但是視覺化大屏重新定義了管理駕駛艙,通過技術手段的升級和展現形式的變化,帶來強烈的視覺刺激。視覺化大屏不再滿足於電腦瀏覽器頁面的圖示展現,而是採用一整塊超大尺寸的LED螢幕來展示關鍵資料內容,給人一種大氣磅礴的感覺。
2015年雙十一大屏
視覺化大屏就是一套自主分析系統解決方案,為企業提供的是直接的呈現結果,讓業務人員和企業決策者直觀面對資料背後的資訊。
視覺化大屏主要有以下優點:
1.「大面積、炫酷動效、豐富色彩」,大屏易在觀感上給人留下震撼印象,便於營造某些獨特氛圍、打造儀式感。
2.視覺化大屏展現的資料簡單明瞭,就是管理層和大家公認的最核心最重要的業務指標。
3.視覺化大屏一般需要配合實時資料,來實現動態重新整理的效果。
視覺化大屏作為企業的門面,越來越受到科技部門的重視。視覺化大屏可以很容易的將結果展現給高層領導,讓高層領導重視IT的產出,提升對IT部門的重視程度。由於利用其面積大、可展示資訊多的特點,通過關鍵資訊大屏共享的方式可方便團隊討論和決策,所以大屏也常用來做資料分析監測使用。
AI中臺
資料中臺除了提供資料平臺本身的兩大能力(資料儲存和資料計算)以外,還提供了更高階的能力,就是把資料變成一種基礎服務提供給業務方,業務方可以以自助的方式在資料中臺上獲取資料,進行資料處理、資料探索、資料探勘、分析鑽取、多維分析、自助化報表、資料分享等,以快速的實現自己的商業價值。
引用董超華《資料中臺實戰》一書中的一個重要論點——搭建資料中臺的最終目標就是幫助企業實現資料智慧。那麼,什麼是資料智慧能?資料智慧是指基於大資料引擎,通過大規模機器學習和深度學習等技術,對海量資料進行處理、分析和挖掘,提取資料中所包含的有價值的資訊和知識,使資料具有“智慧”,並通過建立模型尋求現有問題的解決方案以及實現預測等。
我們以生活中最常見的百度地圖導航為例。在沒有地圖導航功能之前,我們到一個模式的地方,只能通過路標和想路人問路來找到目的地。有了地理資訊資料和道路交通訊息以後,我們開始有了初步的導航功能,通過百度地圖來規劃線路,這樣我們就可以通過手機來尋找目的地。再更多的人都是用手機導航以後,百度地圖可以記錄使用者的線路、道路的交通情況,綜合這些提供更加完善的導航服務。使用者藉助百度地圖導航是在產生資料,同時百度地圖綜合使用者的資料分析出道路狀況以後給使用者規劃新的、更快的線路,則是通過資料智慧來實現出行預測,讓資料產生了智慧,反哺使用者。
資料智慧的標誌就是由機器代替人工決策。在上文的導航案例中,道路的規劃沒有人工參與,使用者資料的彙總也是有機器自動完成,整個導航形成一個數據智慧應用的閉環,這就是真正的資料智慧。
當然,能完成資料智慧閉環的業務場景還很少,大多數場景下我們還在摸索資料智慧的方向,因此需要做很多的嘗試。隨著業務場景的構建,越來越多的智慧化資料需求被提出,這些智慧化需求涉及到模型訓練、資料標註、特徵工程、模型部署、效能監控等,需要使用機器學習、深度學習等演算法支援。資料中臺的主要目標還是服務資料,對於智慧化和模型並不能很好地支援,因此 AI 中臺應運而生。
以下引用宜信科技中心AI中臺團隊負責人王東的訪談,原文連結https://blog.csdn.net/gao2175/article/details/98046521。
“我們把智慧服務的需求抽象出來,形成一個獨立的 AI 中臺層。AI 中臺是一個用來構建智慧服務的基礎設施平臺,對公司所需的模型提供了分佈分層的構建能力和全生命週期管理的服務,鼓勵各個業務領域基礎性、場景性、通用性的 AI 能力沉澱到平臺中,加強模型複用、組合創新、規模化,最終實現降本增效和快速響應業務方。”
資料中臺和 AI 中臺兩者是相互依存,承前啟後的關係。
資料中臺和 AI 中臺兩者都對外提供服務,只是側重點不同:資料中臺提供各種資料服務(BI 報表應用、資料探索等),AI 中臺提供各種智慧服務(模型預測、智慧推薦等);AI 中臺依託資料中臺提供的資料能力和工具集,加速 AI 相關服務的開發和複用,來應對前臺智慧業務需求。有了資料中臺清洗好的資料,搭建智慧專案事半功倍;資料中臺也需要使用 AI 中臺的智慧化能力使得資料使用更加平民化和智慧化。例如增強型BI 分析:通用自然語言互動方式,降低 BI 使用門檻;通過 AI 分析給出參與建議,幫助普通使用者在沒有資料專家的情況下有效訪問資料;增強型資料管理:利用機器學習來管理資料,包括資料質量、元資料管理;主資料管理等。
在“以使用者為中心”的思想指導下,企業需要快速響應、挖掘、引領⽤戶的需求,藉助平臺化的力量可以事半功倍。中臺將前臺業務中相對穩定的能力固化和沉澱下來,並共享給有需要的其他業務方使用,從而實現快速響應業務需求、降低成本和支援業務方進行規模化創新。
01
以資料中臺為例:業務領域組資料團隊需要緊急製作一批報表,不希望排期,部分報表需要T+0 時效性。資料來源是異構資料庫,對資料時效性要求很高,需要對資料處理後並展示報表。使用資料中臺,業務方不需要關心資料的異構性,無論是實時資料還是批量資料,只需要懂 SQL,業務方都可以在資料中臺上申請資料,自助地寫 SQL 進行處理資料清洗、資料處理,最後,通過配置和寫 SQL 生成自己需要報表,不用等排期,完全自助快速完成。
02AI 中臺為例:AI 中臺的智慧聊天機器人平臺,對接第一個業務方是從零開始,從研發平臺、模型研發、資料對接、到使用上線第一期,花了 6 個月的時間,第二個業務方享受到平臺的優勢,直接匯入資料,進行驗證和對接後,4 個月實現上線第一期,之後的業務方更快,2 個月上線,最近的一個業務方達到 3 周就上線的速度,體現了平臺的複用性帶來的便捷和快速響應業務方需求的能力。
縱觀這次人工智慧的浪潮,可以說是演算法、大資料等技術和硬體多方面的因素促成的。一方面演算法層面有了進一步突破,更重要的是大資料相關技術的成熟,使得資料的獲取變得容易,大資料計算變得可能,以前許多不可能完成的事情,現在可以通過大資料的算力來進行學習和訓練。再結合現在 GPU、AI 晶片以及感測器等硬體技術,使得需要大規模計算的深度學習訓練可以完成,這些都直接導致了AI應用的快速落地和到處開花。
以網際網路 AI 應用為例,網際網路巨頭是使用大資料標註並落地 AI 應用的最早受益者。AI 最早應用在搜尋引擎(Google、百度)、廣告系統(Ebay)、電子商務網站(阿里)等,它們都是大資料的產生方和使用方,然後是在擁有大資料流的社交平臺(Facebook、騰訊),到現在使用大資料技術在垂直細分領域做個性化推薦平臺(頭條、快手)。一方面大家在使用這些網際網路平臺,另外一方面大家也在進行免費的大資料標註。以商業 AI 應用為例,商業機構通過啟用已有的大資料,並結合 AI 演算法創造商業價值。醫療機構通過已有病歷實現疾病診斷/鑑別、個性化治療/行為矯正、臨床決策支援系統、流行病爆發預測等, 金融機構通過已有交易資料,進行大資料風控、個性化營銷、智慧投顧、智慧投研等。這些都是大資料與AI緊密結合的產物。以實體世界 AI 應用為例,通過獲取實體世界的資料,實現智慧化,帶來新的應用、新的商機。通過大資料、AI與汽車行業結合,誕生了自動駕駛、路徑規劃、實時路況、危險預警等應用;大資料與商業零售結合,收集海量顧客資訊,結合 AI 技術,用於精準營銷、店鋪選址、庫存規劃、個性化服務等。大資料、AI 技術與智慧城市、智慧安監、環境治理、教育等諸多領域結合後,都帶來了大量新的應用和商業機會。
因此,無論是傳統的資料探勘、還是機器學習、深度學習,所有的模型都離不開大量的資料,可以說資料是 AI 應用的養料和土壤,而資料採集、規範、使用都離不開資料中臺的建設。一個很形象的比喻,資料中臺是資料的家,而AI中臺則是資料的學校,通過資料中臺和AI中臺的合作,最終產出一個成熟的成功就是資料智慧應用。
——–END——–