隨著銀行資訊化建設的高速發展與大量業務資料的積累，越來越多的大資料平臺也相繼搭建與發展起來。然而IT的工作變得越來越重，在維護原有資料倉庫、資料分析平臺的同時，也需要支撐大資料平臺的系統建設和應用遷移，還需要給業務部門準備各種資料和分析報表。本文將介紹最有影響力股份制銀行的資管部門如何利用KAP智慧化大資料方案，構建自助分析的能力，使能業務分析人員自主取數，加速業務部門對資料靈活分析、快速響應的需求，提升了整體資料分析效率，並有效解放了科技部門的生產力，更多工程師得以專注在構建AI等更加前沿的技術上。

1. 業務背景

該企業是國內金融科技銀行的領頭羊，以技術創新為驅動，服務於銀行金融業務。其服務範圍包含現金管理，跨境金融，融資租賃，資產託管等。

其資產管理部門主要負責投資管理等業務，涵蓋代客資產管理，金融市場風險管理，資產專案管理和風險管理等。包括貸款種類的設定、確定；貸款及投資方法的選擇、制定；資產的評估、處置、和利息回收；貸款及投資計劃的編制、執行等。是銀行之中的重點業務部門。

近年來我國資產管理行業發展迅速，銀行理財逐步成為國內規模最大的資產管理子行業。市場的發展對企業的業務能力提出了更高要求，封閉型和預期收益型產品向結構型、開放型、淨值型等市場化定價模式轉型已是大勢所趨。如何精準地提供滿足市場發展的淨值型產品，指導渠道的銷售；如何維護銀行理財系統的穩定，平衡資產端的投放，同時提高資金的流動效率；如何有效發掘資產端和負債端的最大化利差，同時提升風險管理的能力，已成為資產管理髮展趨勢中需要深入考慮的問題。同時，資產管理也急需為客戶提供個性化的資產管理服務，以服務於多元化需求。有效預防“資產荒”與“資金荒”的行業問題。加強或重塑投研體系和風險管理體系已成為資產管理的發展重點。

為了滿足資管部門如此眾多的業務分析需求，從資料中獲取大量豐富的資訊，輔助支援決策，企業需要打通資產管理部各系統之間的資料屏障並進行相應的融合。該部門於2017年針對原有資料平臺進行了改造，結合大資料的技術優勢與可擴充套件性，完成並上線了資管大資料集市及相關資料分析應用。在提高資料處理集中化的同時，也極大減輕了IT人員的負擔，同時優化了業務使用者分析資料的流程，提升了資料分析效率，以創新科技來不斷提升企業服務能力，抓住市場機遇。

2. 使用者案例

2.1 應用場景

以下例舉該大資料平臺上已實現的兩塊多維主題分析。“資產負債分析”提供給業務部門自助分析和取數使用；“企業門戶應用分析”通過提取並分析門戶系統的日誌資料，供IT部門監控與改進IT系統建設。

• 資產和負債分析

 通過分析銀行的資產和負債交易情況，統計並細化資產各分類狀況，如現金、拆出、逆回購、直接投資債券、主動創設資產等，以及結合拆入、正回購、理財產品、結構性存款等負債類別，監控各資產和負債的健康狀況，有效設定預警策略。同時優化資產配置，發掘優質產品型別。可分析的指標包含加權平均期限、剩餘期限、資產買入利率、資產持倉利率、資產投資餘額、負債端募集本金、負債端管理餘額等。

資管部門通過有效利用系統中的業務交易資料，進行資產和負債的監控與分析，洞察資產負載的分佈及趨勢，提升企業對資產專案的管理能力與風險的防範能力，對於每一筆投資業務都能做到事前有依據，事中有監控，事後有分析。通過資料資訊有效輔助業務的決策。

• 企業門戶應用分析

利用採集的企業門戶日誌資訊，收集使用者使用習慣與系統執行狀況，不斷提高系統的健壯性與門戶的優化，使IT部門能做到對系統進行有目標的改進和投入。例如發現耗時最長／最短的功能；使用頻率最多的業務功能；使用者使用的作業系統、瀏覽器分類；報錯最多的業務模組，以及錯誤分類；活躍使用者統計分析；系統忙／閒時段分析等。

2.2 問題與痛點

資管大資料集市是由該銀行資產管理部進行建設，實現部室內外系統資料整合，並提供統一的資料服務平臺。主要包括跨系統報表、多維資料分析、大資料分析等。

在大資料平臺建設之前，資料大多存放在DB2、Oracle等傳統關係型資料庫中，業務人員需要分析資料或提出新的報表需求時，通常都是由IT人員拿到需求之後現場開發，再將整理好的資料傳送給業務部門。由於資料儲存分散、再加上資料量越來越大，以及業務資料需求的臨時性和不確定性，這種方式的工作效率越來越低，業務獲取資料的週期越來越長，IT人員的工作量也越來越重。

原資料分析平臺遇到的問題如下：

• 資料分析流程冗長。業務人員對任何已有報表的調整需求，都要嚴重依賴IT人員重新開發併發布，流程複雜，效率低下。
• 報表查詢變慢。隨著資料量增加，已有的業務報表查詢時間越來越長，單個報表查詢長達數分鐘。
• 非結構化資料分析難。對系統日誌等非結構化資料的分析需求難以實現，無法快速滿足新興業務場景。
• 原平臺擴充套件性差。原有資料倉庫的效能遇到嚴重瓶頸，可擴充套件性極低，受制於國外廠商，成本高昂。
• 嚴重依賴IT。大量IT資源被浪費在重複性的工作中，無法釋放出來使能新技術、新平臺以支撐快速發展的新業務。

3. 解決方案

藉助此次大資料平臺的建設機會，IT部門通過多方技術調研，方案研究，效能對比，最終選定以Apache Kylin為核心的企業級智慧大資料分析平臺KAP做為提升大資料分析能力的利器，構建業務人員和平臺內資料之間的橋樑，新的架構和資料分析模式使得資料分析變得極為高效，使能了業務自主化分析能力。

新的大資料平臺架構為，Hadoop + KAP + Tableau + 企業門戶。以前存放到DB2、Oracle中的各系統資料，通過集中處理之後統一存入到Hadoop平臺；並在KAP中依據不同的業務建立不同主題的資料集市和立方體，然後將業模型釋出給業務分析人員。KAP智慧分析平臺通過資料集市，將生硬的、技術化的表和欄位等轉換為業務人員能夠理解的業務指標和分析維度，使得業務分析人員能夠輕鬆通過前端BI工具如Tableau等對相關資料集市進行自助分析，通過視覺化的拖拽方式制定分析思路，依賴於KAP在超大規模資料集上的高速SQL查詢能力，可以快速生成分析結果，進一步優化分析思路和業務決策。

平臺上線後，資料分析流程也被重新定義，如上圖所示，原有複雜的分析流程被現在自主的流程取代，將原有幾個星期甚至幾個月的繁重開發，縮短為以周甚至以天為單位的流程，大大提升了生產效率。

• IT部門：

Setp 1. 基於業務需求，IT部門準備資料並在KAP中設計基於主題的資料集市。建立好的資料集市會包含該主題中可能用到的各種分析指標和維度，並且轉換為業務人員能讀懂的名稱。

Setp 2. 在統一的任務管理平臺上為當前的資料集市建立定時處理任務。用來定時更新資料集市內的資料。（可按天，小時，分鐘等）

Setp 3. 通過前端BI工具（如Tableau）連線KAP，依據KAP中定義的模型關係製作資料模板，併發布到Tableau Server上。

至此IT部門的工作就結束了，剩下的就可以交給業務部門來自助使用，整個過程不需要IT的報表開發人員參與。平均一個數據集市的設計對於IT部門所耗費的時間僅以周甚至天來計算。

• 業務部門：

Setp 1. 業務分析師通過前端BI工具（如Tableau）連線到Server端IT已釋出好的KAP資料集市模型。通過拖拉資料集市中維度和度量指標的方式，進行即席查詢和資料分析。

Setp 2. 業務分析師通過分析和探索資料後，將對業務有重要意義的報表儲存和篩選出來，直接釋出到BI Server上。然後通知業務的門戶管理員將新報表地址配置到企業門戶中，並設定好相應的訪問許可權。

隨後，業務部門的領導以及所有業務使用者，就能立刻通過統一的企業門戶直接訪問業務分析師為他們準備的資料分析結果，來輔助業務的決策。

整個資料獲取、釋出和檢視的過程中，完全不需要IT的參與，也不需要等待IT的響應。完全由業務部門自主進行，效率比之前的流程提升了數十倍。資料獲取的週期大大縮短，從而提升業務決策的效率。

業務部門自主定製的資料分析門戶（無需IT參與）：

4. 專案價值

相對於原有的業務資料分析流程，新的平臺架構對業務人員進行資料分析的便捷性以及耗時週期有了更全面的改善，同時不再需要重度依賴IT人員的時間。

新的資料分析模式優勢如下：

• 流程精簡。業務部門可以隨時進行自主化的資料分析和探索，以及管理、更新門戶內的報表。不再需要等待IT專案週期和資源安排，能夠快速響應業務的需求，充分提升資料分析的效率。由於流程的精簡，以及高度的自主化，業務部門對資料分析的過程從傳統的數月可以縮短至以周為單位。
• 資料查詢響應快。Kyligence智慧分析平臺既是打通底層資料平臺和終端使用者之間的橋樑，又可以用來有效解決Hadoop平臺上查詢效率和併發量的問題。之前傳統數倉上查詢需要等待數分鐘的報表，在大資料平臺上的查詢效能變為亞秒級，通過KAP達到至少百倍的響應速度提升。
• 優秀的平臺可擴充套件性。新的大資料平臺充分利用Hadoop的可擴充套件性，叢集資料容量和計算能力可以輕鬆擴充套件至上千個節點。KAP通過直接在Hadoop上構建資料倉庫和集市模型，企業不用再擔心資料量增長而帶來的效能與擴充套件問題。同時，一套平臺即可支援結構化和非結構化的資料分析。
• 充分保障資料安全性。有效利用業務網和辦公網的網路隔離。資料的加工、處理操作在企業的業務網內進行，在辦公網只擁有對資料查詢的許可權，在資料放權的同時又能充分保證大資料平臺內資料操作的安全性。
• 釋放IT生產力。工作流程簡化，人員消耗精簡，IT人員和業務人員的工作效率都得到極大提升，更多的資源和時間將能夠有效投入到其他新技術、新平臺的建設中。

專案小結：

相比於傳統的資料平臺架構，大資料平臺具有更好的可擴充套件性，能夠滿足未來五到十年新業務發展帶來的資料容量和效能擴充套件需求。

Kyligence提供智慧大資料分析技術，可極大加速查詢效率，提高併發量，且查詢效能不再與原始資料量相關。解決了原有資料平臺隨著資料量增長而變慢的歷史問題和後顧之憂。

該資管大資料平臺藉助KAP生成的資料集市模型提供自主分析能力，精簡了資料獲取的流程，降低了資料分析的技術門檻，一套模型可以實現主題內的多個維度分析，極大方便了業務使用者的自助服務，資料分析高度自由化，同時大大減輕IT的負擔。