1. 程式人生 > >傑維智慧 | Jwisdom

傑維智慧 | Jwisdom

BIBusiness Intelligence的英文縮寫,中文解釋為商務智慧,用來幫助企業更好地利用資料提高決策質量的技術集合,是從大量的資料中鑽取資訊與知識的過程。簡單講就是業務、資料、資料價值應用的過程。如下圖所示:


圖(
1

         從上圖可以看出,傳統的交易系統完成的是BusinessData的過程,而BI要做的事情是在Data的基礎上,讓Data產生價值,這個產生價值的過程就是Business Intelligence analyse的過程。

         如何實現Business Intelligence analyse的過程,從技術角度來說,是一個複雜的技術集,它包含

ETLDWOLAPPortal等,其應用的邏輯流程如下圖所示:

圖(2

          上圖流程,簡單的說就是把交易系統已經發生過的資料,通過ETL工具抽取到主題明確的資料倉庫中,OLAP後生成Cube或報表,透過Portal展現給使用者,使用者利用這些經過分類(Classification)、聚集(Clustering)、描述和視覺化(Description and Visualization)的資料,支援業務決策。

         注意:

         (1) BI不是產生決策,而利用分析後的資料支援決策,僅防誤解。

         (2) CognosBI展現工具中的一種。

         現在就上述概要內容作簡要說明如下:

         (1)BI的誕生

         隨著IT技術的進步,傳統的業務交易系統有了長足的發展,已經實現了業務資訊化,每一筆業務資料都記錄在資料庫中,星轉鬥移,累積了以TB為計量單位的業務資料記錄。

         也許你會問:這麼多資料,佔用了很多儲存裝置,耗費儲存成本,卻又不經常訪問,留著它有什麼用處?

         可以給你肯定的回答,留著這些歷史資料意義巨大,挖掘業務的規律、支援決策。典型的案例有“尿片和啤酒”的故事。尿片和啤酒本來是兩樣不相干的東西,可是,有人就發現,星期五在超市裡購物的,購買尿片的年輕父親中有

30%40%的人同時購買啤酒。原來,星期五年輕的父親購買尿片時,還會為自己捎帶買啤酒,因為,星期五是各家電視臺轉播橄欖球賽的時間,於是,超市老闆們就把尿片和啤酒捆綁銷售獲得了巨大成功。這個故事成了一個利用資料探勘商業價值最大化的神話。

         由此看來,非常不關聯的兩樣東西,通過海量的資訊資料處理,可以挖掘出它們之間潛在的關聯,將這種關聯商業化,就會得到意想不到的新業務或新的商業模式。

         到底該怎樣把這些佔據大量儲存空間的資料的價值挖掘出來,讓這些資料從成本的消耗者變成利潤的促進者呢?新的資料分析技術由此誕生了,完成了“資料”到“資料價值”轉換的環節,同時給這項技術起了一個響亮而又神密的名字“BI”(Business Intelligence

         (2)基本技術

          BI(Business Intelligence) 是一種運用了資料倉庫、線上分析和資料探勘等技術來處理和分析資料的嶄新技術,目的是為企業決策者提供決策支援。這似乎是BI的官方定義,也是廣大BI玩家一成不變的宗旨,哪麼BI技術涉及了哪些方面呢?

         從上圖圖(2)中,我們不難看出其核心技術中DWOLAP

         資料倉庫(Data Warehouse) 的官方定義是一個面向主題的(Subject Oriented)、整合的(Integrate)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的資料集合,用於支援管理決策。

         為什麼要在操作型資料庫和 OLAP 之間加一層“資料倉庫”呢?

         說一千道一萬都計算機資源與效能惹的禍,操作型資料庫以快速響應業務為主要目標,而OLAP的時候要佔用大量的硬體資源,在OLAP的時候,業務操作很難快速響應,無法保證業務的順利進行,從業務->資料->資料的價值的邏輯來看,沒有業務就談不上OLAP;零星分散的資料一般存在有多個應用,對應多個業務操作型資料庫,訪問效能極其低下。綜合上述資源與效能的問題,最高效的方法就是將資料先整合到資料倉庫中,而 OLAP應用統一從資料倉庫裡取數,以解決快速響應業務與OLAP的矛盾。

         但是,多了這麼一層,不管ROLAP還是MOLAP都無法檢視實時資料,這並不影響BI的應用,90%BI應用都不要求實時性,允許資料有滯後,這是決策支援系統的應用特點,這個滯後區間就是資料抽取工具工作及OLAP的時間。

         ETL(Extract Transform Load)操作型業務資料庫(DB)到資料倉庫(DW)的過程稱之為ETL,它實現資料的抽取,傳輸及裝載工作,目前流行的工具有Informatica,DTS,SSIS等工具。

         OLAP,(On-Line Analytical Processing)即聯機分析處理,是 BI的一種全新的資料封裝方式,直接產物是報表或Cube,是使分析人員、管理人員或執行人員能夠從多角度對資訊進行快速、一致、互動地存取,從而獲得對資料的更深入瞭解的一類軟體技術。

         OLAP的基本操作有鑽取(roll updrill down)、切片(slice)和切塊(dice)、以及旋轉(pivot)、drill acrossdrill through等。

         Portal,是展現BI產物的平臺入口,BI的產物被放置在Portal上,使用者登入這個Portal即可訪問資料。

         透過上述技術,BI應用DW中的海量資料,OLAPROLAP/MOLAP)加工成可讀性很強的報表資訊或知識,展現給決策者,用這些報表資訊或知識做為決策的依據,由此來完成資料與價值的轉換。

         (3)應用模式

         資料查詢是最簡單的 BI 應用,輸出報表是BI最直接的產物,根據資料連線,加工過程及用途,應用模式大致可以分為四種:格式報表;線上分析;資料視覺化;資料探勘。

         1、格式報表:帶格式的資料集合,如:交叉表等。

         2、線上分析:多維資料集合,如:Cube等。

         3、資料視覺化:資訊以儘可能多的形式展現出來,目的是使決策者通過圖形這種直觀的表現方式迅速獲得資訊中蘊藏的知識,如柱圖等。

         4、資料探勘:從大量的資料中,抽取出潛在的、有價值的知識(模型或規則)的過程。分析方法:

            · 分類 Classification

            · 估值(Estimation

            · 預言(Prediction

            · 相關性分組或關聯規則(Affinity grouping or association rules

            · 聚集(Clustering

            · 描述和視覺化(Description and Visualization

         資料探勘號稱能通過歷史資料的分析,預測客戶的行為,而事實上,客戶自己可能都不明確自己下一步要作什麼。所以,資料探勘的結果,沒有人們想象中神祕,它不可能是完全正確的。客戶的行為是與社會環境相關連的,所以資料探勘本身也受社會背景的影響。

         (4)社會背景

         中國擁有5000年的文化史,燦爛的檔案讓日常報表也非常具有凝聚力,交錯縱橫,裡外相嵌,格式詭異、規則古怪、資料集中而文名於世,讓無數報表工具折腰。BI概念是從歐美引進的,現有的工具也多是歐美國家提供,中國是世界上報表最複雜的國家,報表設計風格與這些國家有明顯的差別,BI工具製作的報表傾向於僅用一張報表說明一個問題,而中國的報表傾向於將盡可能多的問題集中在一張報表中,這種思路直接導致了BI工具應用難度的提升。

         常用的BI 廠商和產品:

         ETLInformatica, SQL Server Analysis Server

         DWIBM DB2OracleSybase IQNCR Teradata 等等;

         OLAP CognosBusiness ObjectsMicroStrategyHyperionIBM

         Data MiningIBMSASSPSS