1. 程式人生 > >為什麼選擇圖形資料庫,為什麼選擇Neo4j?

為什麼選擇圖形資料庫,為什麼選擇Neo4j?

最近在抓取一些社交網站的資料,抓下來的資料用MySql儲存。問我為什麼用MySql,那自然是入門簡單,並且我當時只熟悉MySql。可是,隨著資料量越來越大,有一個問題始終困擾著我,那就是社交關係的儲存

就以新浪微博舉例,一個大V少則十幾萬,多則幾千萬的粉絲,這些關注關係要怎麼存呢?在MySql中,一條關注關係(大V id,大V的一個粉絲 id)存為一條資料,那麼當用戶數量上來的時候,關注關係輕鬆破億,破十億,甚至上百億,並且為了保證每條資料的唯一性,還需要設定聯合索引,MySql就有些力不從心了。那麼有人要說了:分表呀。嗯,沒錯,分表的確可以在插入端和讀取端提升一些速度。比如我們可以根據id雜湊到100張表中。查詢一個使用者有哪些粉絲是快了,但是查詢一個使用者關注了哪些人時仍然需要遍歷全表。好,這時候我們還可以以(id,其關注的一個使用者的id)再構造100張表,於是兩種查詢都快了。然而,後面那100張表是冗餘資料,看著就不爽…並且生成一張子圖也不方便(需要多次寫SQL查表)。

於是,在搜尋更好的方案時無意間發現了圖形資料庫,查閱一番資料後感覺確實是個不錯的選擇,畢竟業界的一些大佬,如twitter,Adobe等也在用。

那麼,什麼是圖形資料庫呢?在這裡我貼上較為官方的定義:a database that uses graph structures for semantic queries with nodes, edges and properties to represent and store data – independent of the way the data is stored internally. It’s really the model and the implemented algorithms that matter.

注意,這裡只是說資料模型是圖結構的,沒有說資料的儲存也一定要是圖結構的。其資料模型如下圖graphdb-1

進入今天的主題,我將以Neo4j為例,說明為什麼選擇圖形資料庫

首先,先簡要介紹一下Neo4j。Neo4j是由Java和Scala寫成的一個NoSql資料庫,專門用於網路圖的儲存。更詳細的內容可見官網。作為一個圖形資料庫,Neo4j有以下優點:

  • 更快的資料庫操作。當然,有一個前提條件,那就是資料量較大,在MySql中儲存的話需要許多表,並且表之間聯絡較多(即有不少的操作需要join表)。
  • 資料更直觀,相應的SQL語句也更好寫(Neo4j使用Cypher語言,與傳統SQL有很大不同)。
  • 更靈活。不管有什麼新的資料需要儲存,都是一律的節點和邊,只需要考慮節點屬性和邊屬性。而MySql中即意味著新的表,還要考慮和其他表的關係。
  • 資料庫操作的速度並不會隨著資料庫的增大有明顯的降低。這得益於Neo4j特殊的資料儲存結構和專門優化的圖演算法。

接著,試著從更深一些的層次看圖形資料庫。我將從Neo4j的資料儲存和資料讀寫兩方面來說明為什麼選它。

  1. 資料儲存
    Neo4j對於圖的儲存自然是經過特別優化的。不像傳統資料庫的一條記錄一條資料的儲存方式,Neo4j的儲存方式是:節點的類別,屬性,邊的類別,屬性等都是分開儲存的,這將大大有助於提高圖形資料庫的效能。如下圖:neo4j-1

  2. 資料讀寫
    在Neo4j中,儲存節點時使用了”index-free adjacency”,即每個節點都有指向其鄰居節點的指標,可以讓我們在O(1)的時間內找到鄰居節點。另外,按照官方的說法,在Neo4j中邊是最重要的,是”first-class entities”,所以單獨儲存,這有利於在圖遍歷的時候提高速度,也可以很方便地以任何方向進行遍歷。neo4j-2

更多的資料可以看參考資料第一條。

關於為什麼選圖形資料庫就說到這。如今可供選擇的圖形資料庫也不少,為什麼就選擇了Neo4j呢?我簡要歸結為以下幾點:

  • 作為較早的一批圖形資料庫之一,文件和各種技術部落格較多。
  • 最開始曾嘗試過flockdb(據說操作簡單+輕量級),但是敗於安裝過程…,依賴太多。
  • 網上經常有人將orientdb,arangodb與neo4j做對比,我當然也考慮過orientdb和arangodb。從易用性來說都差不多。速度上的話看過一些評測,arangodb應該是相對最快的,因為其使用了混合索引。但是從穩定性來說,neo4j是最好的。

時間有限,我並沒有通讀Neo4j的官方文件。但作為一個數據庫使用者,能大概地瞭解為什麼要選這個資料庫就已經足夠了。

最後做個總結吧。圖形資料庫是這幾年興起的,整體還不是很完善,而且適用面也是比較窄的。只有在明確自己的需求之後,才能確定是否選擇圖形資料庫。

參考資料