1. 程式人生 > >先來談談企業搭建大資料分析平臺的背景。

先來談談企業搭建大資料分析平臺的背景。

1、搭建大資料平臺離不開BI。在大資料之前,BI就已經存在很久了,簡單把大資料等同於BI,明顯是不恰當的。但兩者又是緊密關聯的,相輔相成的。BI是達成業務管理的應用工具,沒有BI,大資料就沒有了價值轉化的工具,就無法把資料的價值呈現給使用者,也就無法有效地支撐企業經營管理決策;大資料則是基礎,沒有大資料,BI就失去了存在的基礎,沒有辦法快速、實時、高效地處理資料,支撐應用。 所以,資料的價值發揮,大資料平臺的建設,必然是囊括了大資料處理與BI應用分析建設的。

2、大資料擁有價值。來看看資料使用金字塔模型,從資料的使用角度來看,資料基本有以下使用方式:

<img src="https://pic3.zhimg.com/v2-e85829017ea65e4ce3552ca3563e38e2_b.jpg" data-rawwidth="592" data-rawheight="497" class="origin_image zh-lightbox-thumb" width="592" data-original="https://pic3.zhimg.com/v2-e85829017ea65e4ce3552ca3563e38e2_r.jpg">

自上而下,可以看到,對資料的要求是不一樣的:

  • 資料量越來越大,維度越來越多。
  • 互動難度越來越大。
  • 技術難度越來越大。
  • 以人為主,逐步向機器為主。
  • 使用者專業程度逐步提升,門檻越來越高。

企業對資料、效率要求的逐步提高,也給大資料提供了展現能力的平臺。企業構建大資料平臺,歸根到底是構建企業的資料資產運營中心,發揮資料的價值,支撐企業的發展。

整體方案思路如下:

建設企業的基礎資料中心,構建企業統一的資料儲存體系,統一進行資料建模,為資料的價值呈現奠定基礎。同時資料處理能力下沉,建設集中的資料處理中心,提供強大的資料處理能力;通過統一的資料管理監控體系,保障系統的穩定執行。有了資料基礎,構建統一的BI應用中心,滿足業務需求,體現資料價值。

提到大資料就會提到hadoop。大資料並不等同於hadoop,但hadoop的確是最熱門的大資料技術。下面以最常用的混搭架構,來看一下大資料平臺可以怎麼來搭建,支撐企業應用:


<img src="https://pic3.zhimg.com/v2-461e7fbb5165d39330e3145df7c04002_b.png" data-rawwidth="1294" data-rawheight="1013" class="origin_image zh-lightbox-thumb" width="1294" data-original="https://pic3.zhimg.com/v2-461e7fbb5165d39330e3145df7c04002_r.png">

通過Kafka作為統一採集平臺的訊息管理層,靈活的對接、適配各種資料來源採集(如整合flume),提供靈活、可配置的資料採集能力。

利用spark和hadoop技術,構建大資料平臺最為核心的基礎資料的儲存、處理能力中心,提供強大的資料處理能力,滿足資料的互動需求。同時通過sparkstreaming,可以有效滿足企業實時資料的要求,構建企業發展的實時指標體系。

同時為了更好的滿足的資料獲取需求,通過RDBMS,提供企業高度彙總的統計資料,滿足企業常規的統計報表需求,降低使用門檻。對大資料明細查詢需求,則通過構建HBase叢集,提供大資料快速查詢能力,滿足對大資料的查詢獲取需求。

我也會建群來一起討論大資料所以期待你們