1. 程式人生 > >什麼是大資料分析?大資料分析要學什麼?

什麼是大資料分析?大資料分析要學什麼?

大資料分析概念

大資料分析是指對規模巨大的資料進行分析。大資料可以概括為5個V, 資料量大(Volume)、速度快(Velocity)、型別多(Variety)、價值(Value)、真實性(Veracity)。 

大資料作為時下最火熱的IT行業的詞彙,隨之而來的資料倉庫、資料安全、資料分析、資料探勘等等圍繞大資料的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大資料時代的來臨,大資料分析也應運而生。

                                

大資料分析工具介紹 

前端展現 

用於展現分析的前端開源工具有JasperSoft,Pentaho, Spagobi, Openi, Birt等等。 用於展現分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikVie、 Tableau 。 

國內的有BDP,國雲資料(大資料魔鏡),思邁特,FineBI等等。 

資料倉庫 

有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。 

資料集市 

有QlikView、 Tableau 、Style Intelligence等等。

大資料分析步驟 

大資料分析的六個基本方面 

1. Analytic Visualizations(視覺化分析) 

  不管是對資料分析專家還是普通使用者,資料視覺化是資料分析工具最基本的要求。視覺化可以直觀的展示資料,讓資料自己說話,讓觀眾聽到結果。

2. Data Mining Algorithms

(資料探勘演算法) 

  視覺化是給人看的,資料探勘就是給機器看的。叢集、分割、孤立點分析還有其他的演算法讓我們深入資料內部,挖掘價值。這些演算法不僅要處理大資料的量,也要處理大資料的速度。

3. Predictive Analytic Capabilities(預測性分析能力) 

  資料探勘可以讓分析員更好的理解資料,而預測性分析可以讓分析員根據視覺化分析和資料探勘的結果做出一些預測性的判斷。

4. Semantic Engines(語義引擎) 

  我們知道由於非結構化資料的多樣性帶來了資料分析的新的挑戰,我們需要一系列的工具去解析,提取,分析資料。語義引擎需要被設計成能夠從“文件”中智慧提取資訊。

 5.Data Quality and Master Data Management(資料質量和資料管理)

資料質量和資料管理是一些管理方面的最佳實踐。通過標準化的流程和工具對資料進行處理可以保證一個預先定義好的高質量的分析結果。 

假如大資料真的是下一個重要的技術革新的話,我們最好把精力關注在大資料能給我們帶來的好處,而不僅僅是挑戰。

6.資料儲存,資料倉庫 

資料倉庫是為了便於多維分析和多角度展示資料按特定模式進行儲存所建立起來的關係型資料庫。在商業智慧系統的設計中,資料倉庫的構建是關鍵,是商業智慧系統的基礎,承擔對業務系統資料整合的任務,為商業智慧系統提供資料抽取、轉換和載入(ETL),並按主題對資料進行查詢和訪問,為聯機資料分析和資料探勘提供資料平臺。

                                                             

大資料分析業務成果 

1.積極主動&預測需求: 企業機構面臨著越來越大的競爭壓力,它們不僅需要獲取客戶,還要了解客戶的需求,以便提升客戶體驗,並發展長久的關係。客戶通過分享資料,降低資料使用的隱私級別,期望企業能夠了解他們,形成相應的互動,並在所有的接觸點提供無縫體驗。 

為此,企業需要識別客戶的多個識別符號(例如手機、電子郵件和地址),並將其整合為一個單獨的客戶ID。由於客戶越來越多地使用多個渠道與企業互動,為此需要整合傳統資料來源和數字資料來源來理解客戶的行為。此外,企業也需要提供情境相關的實時體驗,這也是客戶的期望。 

2. 緩衝風險&減少欺詐: 安全和欺詐分析旨在保護所有物理、財務和知識資產免受內部和外部威脅的濫用。高效的資料和分析能力將確保最佳的欺詐預防水平,提升整個企業機構的安全:威懾需要建立有效的機制,以便企業快速檢測並預測欺詐活動,同時識別和跟蹤肇事者。 

將統計、網路、路徑和大資料方法論用於帶來警報的預測性欺詐傾向模型,將確保在被實時威脅檢測流程觸發後能夠及時做出響應,並自動發出警報和做出相應的處理。資料管理以及高效和透明的欺詐事件報告機制將有助於改進欺詐風險管理流程。 

此外,對整個企業的資料進行整合和關聯可以提供統一的跨不同業務線、產品和交易的欺詐檢視。多型別分析和資料基礎可以提供更準確的欺詐趨勢分析和預測,並預測未來的潛在操作方式,確定欺詐審計和調查中的漏洞。 

                                             

3.提供相關產品: 產品是任何企業機構生存的基石,也通常是企業投入最大的領域。產品管理團隊的作用是辨識推動創新、新功能和服務戰略路線圖的發展趨勢。 

通過對個人公佈的想法和觀點的第三方資料來源進行有效整理,再進行相應分析,可以幫助企業在需求發生變化或開發新技術的時候保持競爭力,並能夠加快對市場需求的預測,在需求產生之前提供相應產品。 

4. 個性化&服務: 公司在處理結構化資料方面仍然有些吃力,並需要快速應對通過數字技術進行客戶互動所帶來的不穩定性。要做出實時迴應,並讓客戶感覺受到重視,只能通過先進的分析技術實現。大資料帶來了基於客戶個性進行互動的機會。這是通過理解客戶的態度,並考慮實時位置等因素,從而在多渠道的服務環境中帶來個性化關注實現的。 

5. 優化&改善客戶體驗:運營管理不善可能會導致無數重大的問題,這包括面臨損害客戶體驗,最終降低品牌忠誠度的重大風險。通過在流程設計和控制,以及在商品或服務生產中的業務運營優化中應用分析技術,可以提升滿足客戶期望的有效性和效率,並實現卓越的運營。 

通過部署先進的分析技術,可以提高現場運營活動的生產力和效率,並能夠根據業務和客戶需求優化組織人力安排。資料和分析的最佳化使用可以帶來端對端的檢視,並能夠對關鍵運營指標進行衡量,從而確保持續不斷的改進。 

例如,對於許多企業來說,庫存是當前資產類別中最大的一個專案——庫存過多或不足都會直接影響公司的直接成本和盈利能力。通過資料和分析,能夠以最低的成本確保不間斷的生產、銷售和/或客戶服務水平,從而改善庫存管理水平。資料和分析能夠提供目前和計劃中的庫存情況的資訊,以及有關庫存高度、組成和位置的資訊,並能夠幫助確定存庫戰略,並做出相應決策。客戶期待獲得相關的無縫體驗,並讓企業得知他們的活動。