1. 程式人生 > 實用技巧 >圖資料庫:圖資料庫以及圖資料庫的使用場景

圖資料庫:圖資料庫以及圖資料庫的使用場景

1. 什麼是圖資料庫

  1. 圖資料庫是基於數學裡圖論的思想和演算法而實現的高效處理複雜關係網路的新型資料庫系統。
  2. 圖形資料庫善於高效處理大量的、複雜的、互聯的、多變的資料。其計算效率遠遠高於傳統的關係型資料庫。
  3. 圖形資料庫在社交網路、實時推薦、徵信系統、人工只能等領域有著廣泛的應用

2. 為什麼要使用圖資料庫

  1. 世界本身就是由關係組成的

  2. 關係型資料庫處理不好關係

  3. 圖資料庫最適合處理關係
    在這裡插入圖片描述

  4. 關係型資料庫不能很好的處理關係

  • 4.1 建模難:不復雜就不能檢模和儲存資料和關係
  • 4.2 效能低:隨著關係數量和層次的增加資料庫尺寸的增加,效能低
  • 4.3 查詢難:需要使用Join操作,查詢複雜性增加
  • 4.4 擴充套件難:增加新型別的資料和關係需要重新設計模式
    最終導致傳統資料庫不適用於有實時價值的資料關係
  1. 非圖資料庫的NoSql資料庫也不處理關係
  • 5.1 沒有資料結構建模或儲存資料關係
  • 5.2 沒有查詢結構支援資料關係
  • 5.3 在應用中連線資料需要"Join邏輯"
  • 5.4 對事務沒有ACID支援{原子性、隔離性、持續性、一致性}
    導致NoSql資料庫不適用於有實時價值的資料關係

3. 關係型資料庫於圖資料庫資料儲存結構對比

在這裡插入圖片描述

4. 圖資料庫的應用場景

圖資料庫技術已經應用於現實生活中的方方面面,諸如 Google、Facebook 等科技巨頭已經開始使用圖資料庫的力量來蓬勃發展業務。據 Gartner 在《十大資料分析技術趨勢》預測,2012 年至 2022 年,全球圖處理及圖資料庫的應用都將以每年 100% 的速度迅猛增長。

如果說知識圖譜是圖資料庫的底層應用場景,充分利用了圖模型在儲存和查詢的優勢為多行業提供知識服務。那麼金融風控則是具有行業特點的高階應用場景。

4.1 知識圖譜

  1. 知識圖譜作為圖資料庫的底層應用,已服務於多種行業,包括:智慧問答、搜尋、個性化推薦等。以智慧問答為例,產品主要分為聊天機器人、行業智慧問答系統兩種。開放領域的知識圖譜能為聊天機器人提供廣泛知識,機器不僅能和使用者聊天還能提供日常知識。行業智慧問答系統則使用行業知識圖譜,能夠為使用者有針對性的提供專業領域知識,在法律、醫療行業已得到運用。

  2. 在知識圖譜的應用落地上,主要有兩點因素影響著知識圖譜的質量和實現 -NLP 自然語言處理引擎、演算法庫。NLP 自然語言處理引擎決定了 NLP 爬蟲平臺獲取資料的質量和數量,而這些原始資料作為知識圖譜的知識原料又決定了知識圖譜的水平。演算法庫中的圖演算法決定了圖構建、圖儲存和圖操作的能力,知識原料豐富而圖演算法落後,依然不能構建出強大的知識圖譜。

4.2 金融反欺詐

  1. 圖資料庫通過利用多維交叉關聯資訊深度刻畫申請和交易行為,可以有效識別規模化、隱蔽性的欺詐網路和洗錢網路;結合機器學習、聚類分析、風險傳播等相關演算法,可以實時計算使用者的風險評分,在風險行為發生前預先識別,有效幫助金融機構提升效率、降低風險。應用圖資料庫的金融風控場景很多,例如個人信貸、洗錢路徑追蹤、個人 / 企業徵信等

  2. 基於圖資料庫在金融風控的優異表現,很多企業表示對這項技術的看好,在這之中也有一些前瞻性的企業已率先使用此技術並取得競爭性優勢。圖技術發展多年,這項技術仍然有很多企業沒有使用,是什麼原因阻礙了技術的推進?

  3. 首先是資料儲存的問題,在反洗錢的場景中,需對使用者的借記卡和信用卡資料儲存分析。在儲存時發現,僅 10 個月借記卡資料 +1 個月信用卡資料規模就有 5 個 T,這樣的資料量是過去圖資料庫無法支援的。

  4. 第二點是多步分析問題。在反洗錢應用場景中需要做到 3-10 步以上的分析,而目前的圖資料庫在企業級場景下,2 度到 3 度查詢時就會出現超時或者記憶體溢位的問題。這樣的效能對於欺詐甄別的幫助很小。

  5. 針對這些問題,圖資料庫廠商正在積極構建成熟的解決方案來滿足這兩點要求,市面上有越來越多高效能圖資料庫出現。目前,部分企業採取的替代方案是通過圖資料庫 + 大資料平臺的方式實現大資料量的效果,但是這樣的解決方案由於技術門檻較高無法輕易掌握。