Spark 和 GraphX 對並不提供對資料視覺化的支援, 它們所關注的是資料處理. 但是, 一圖勝千言, 尤其是在資料分析時. 接下來, 我們構建一個視覺化分析圖的 Spark 應用. 需要用到的第三方庫有:

• GraphStream: 用於畫出網路圖
• BreezeViz: 使用者繪製圖的結構化資訊, 比如度的分佈.

這些第三方庫儘管並不完美, 而且有些限制, 但是相對穩定和易於使用.

安裝 GraphStream 和 BreezeViz

因為我們只需要繪製靜態網路, 所以下載 core 和 UI 兩個 JAR 就可以了.

• gs-core-1.2.jar
• gs-ui-1.2.jar

breeze 也需要兩個 JAR:

• breeze_2.10-0.9.jar
• breeze-viz_2.10-0.9.jar

由於 BreezeViz 是一個 Scala 庫, 它依賴了另一個叫做 JfreeChart 的 Java 庫, 所以也需要安裝:

• jcommon-1.0.16.jar
• jfreechart-1.0.13.jar

可以到 maven 倉庫去下載, 下載完成後放到專案根目錄下 lib 資料夾下即可. 用 sbt 來管理依賴比較方便, 所以我使用 sbt 來安裝這些依賴:

// Graph Visualization
// https://mvnrepository.com/artifact/org.graphstream/gs-core
libraryDependencies += "org.graphstream"
 
 % "gs-core" % "1.2"
// https://mvnrepository.com/artifact/org.graphstream/gs-ui
libraryDependencies += "org.graphstream" % "gs-ui" % "1.2"

// https://mvnrepository.com/artifact/org.scalanlp/breeze_2.10
libraryDependencies += "org.scalanlp" % "breeze_2.11" % "0.12"
// https://mvnrepository.com/artifact/org.scalanlp/breeze-viz_2.11
 

libraryDependencies += "org.scalanlp" % "breeze-viz_2.11" % "0.12"

// https://mvnrepository.com/artifact/org.jfree/jcommon
libraryDependencies += "org.jfree" % "jcommon" % "1.0.24"

// https://mvnrepository.com/artifact/org.jfree/jfreechart
libraryDependencies += "org.jfree" % "jfreechart" % "1.0.19"

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16

畫圖

匯入

在匯入環節需要注意的是, 如果是與 GraphX 的 Graph 一同使用, 在匯入時將 graphstream 的 Graph 重新命名為 GraphStream, 否則都叫 Graph 會有名稱空間上的衝突. 當然, 如果只使用一個就無所謂了.

import org.graphstream.graph.{Graph => GraphStream}

• 1

• 1

繪製

首先是使用 GraphX 載入一個圖, 然後將這個圖的資訊匯入 graphstream 的圖中進行視覺化. 具體是:

1. 建立一個 SingleGraph 物件, 它來自 graphstream:

   val graph: SingleGraph = new SingleGraph("visualizationDemo")

   • 1
   • 1

2. 我們可以呼叫 SingleGraph 的 addNode 和 addEdge 方法來新增節點和邊, 也可以呼叫 addAttribute 方法來給圖, 或是單獨的邊和頂點來設定視覺化屬性. graphsteam API 非常好的一點是, 它將圖的結構和視覺化用一個類 CSS 的樣式檔案完全分離了開來, 我們可以通過這個樣式檔案來控制視覺化的方式. 比如, 我們新建一個 stylesheet 檔案並放到使用者目錄下的 style 檔案下面:

   node {
      fill-color: #a1d99b;
      size: 20px;
      text-size: 12;
      text-alignment: at-right;
      text-padding: 2;
      text-background-color: #fff7bc;
   }
   edge {
      shape: cubic-curve;
      fill-color: #dd1c77;
      z-index: 0;
      text-background-mode: rounded-box;
      text-background-color: #fff7bc;
      text-alignment: above;
      text-padding: 2;
    }

   • 1
   • 2
   • 3
   • 4
   • 5
   • 6
   • 7
   • 8
   • 9
   • 10
   • 11
   • 12
   • 13
   • 14
   • 15
   • 16
   • 17
   • 1
   • 2
   • 3
   • 4
   • 5
   • 6
   • 7
   • 8
   • 9
   • 10
   • 11
   • 12
   • 13
   • 14
   • 15
   • 16
   • 17

   上面的樣式檔案定義了節點與邊的樣式, 更多內容可見其 官方文件.

   準備好樣式檔案以後, 就可以使用它:

   // Set up the visual attributes for graph visualization
   graph.addAttribute("ui.stylesheet","url(file:/home/xlc/style/stylesheet)")
   graph.addAttribute("ui.quality")
   graph.addAttribute("ui.antialias")

   • 1
   • 2
   • 3
   • 4
   • 1
   • 2
   • 3
   • 4

   ui.quality 和 ui.antialias 屬性是告訴渲染引擎在渲染時以質量為先而非速度. 如果不設定樣式檔案, 頂點與邊預設渲染出來的效果是黑色.

3. 加入節點和邊. 將 GraphX 所構建圖的 VertexRDD 和 EdgeRDD 裡面的內容加入到 GraphStream 的圖物件中:

   // Given the egoNetwork, load the graphX vertices into GraphStream
   for ((id,_) <- egoNetwork.vertices.collect()) {
    val node = graph.addNode(id.toString).asInstanceOf[SingleNode]
   }
   // Load the graphX edges into GraphStream edges
   for (Edge(x,y,_) <- egoNetwork.edges.collect()) {
    val edge = graph.addEdge(x.toString ++ y.toString, x.toString, y.toString, true).asInstanceOf[AbstractEdge]
   }

   • 1
   • 2
   • 3
   • 4
   • 5
   • 6
   • 7
   • 8
   • 1
   • 2
   • 3
   • 4
   • 5
   • 6
   • 7
   • 8

   加入頂點時, 只需要將頂點的 vertex ID 轉換成字串傳入即可.

   對於邊, 稍顯麻煩. addEdge 的 API 文件在 這裡, 我們需要傳入 4 個引數. 第一個引數是每條邊的字串識別符號, 由於在 GraphX 原有的圖中並不存在, 所以我們需要自己建立. 最簡單的方式是將這條邊的兩個端點的 vertex ID 連線起來.

   注意, 在上面的程式碼中, 為了避免我們的 scala 程式碼與 Java 庫 GraphStream 互用上的一些問題, 採用了小的技巧. 在 GraphStream 的org.graphstream.graph.implementations.AbstractGraph API o文件中, addNode 和 addEdge 分別返回頂點和邊. 但是由於 GraphStream 是一個第三方的 Java 庫, 我們必須強制使用 asInstanceOf[T], 其中 [T] 為 SingleNode 和 AbstractEdge, 作為 addNode 和 
   addEdge 的返回型別. 如果我們漏掉了這些顯式的型別轉換, 可能會得到一個奇怪的異常:

   java.lang.ClassCastException:
   org.graphstream.graph.implementations.SingleNode cannot
   be cast to scala.runtime.Nothing$

   • 1
   • 2
   • 3
   • 1
   • 2
   • 3

4. 顯示影象

graph.display()

• 1

• 1

完整示例:

object Visualization {

  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf()
      .setAppName("GraphStreamDemo")
      .set("spark.master", "local[*]")

    val sc = new SparkContext(sparkConf)

    val graph: SingleGraph = new SingleGraph("graphDemo")

    val vertices: RDD[(VertexId, String)] = sc.parallelize(List(
      (1L, "A"),
      (2L, "B"),
      (3L, "C"),
      (4L, "D"),
      (5L, "E"),
      (6L, "F"),
      (7L, "G")))

    val edges: RDD[Edge[String]] = sc.parallelize(List(
      Edge(1L, 2L, "1-2"),
      Edge(1L, 3L, "1-3"),
      Edge(2L, 4L, "2-4"),
      Edge(3L, 5L, "3-5"),
      Edge(3L, 6L, "3-6"),
      Edge(5L, 7L, "5-7"),
      Edge(6L, 7L, "6-7")))

    val srcGraph = Graph(vertices, edges)

    graph.setAttribute("ui.stylesheet", "url(file:/home/hadoop/style/stylesheet)")
    graph.setAttribute("ui.quality")
    graph.setAttribute("ui.antialias")

//    load the graphx vertices into GraphStream
    for ((id, _) <- srcGraph.vertices.collect()){
      val node = graph.addNode(id.toString).asInstanceOf[SingleNode]
    }

//    load the graphx edges into GraphStream edges
    for (Edge(x, y, _) <- srcGraph.edges.collect()){
      val edge = graph.addEdge(x.toString ++ y.toString, x.toString, y.toString, true).asInstanceOf[AbstractEdge]
    }

    graph.display()

  }
}

至此, 一個簡單的示例完成. 更多實用的內容可自行研究.

目前, 如果不消耗大量的計算資源, 對於大規模的網路圖繪製仍然缺乏一個有力的工具. 類似的工具有:

• snap: 基於 GraphViz 引擎.
• Gephi: 它是互動式的視覺化工具, 儘管它有寫多級佈局和內建 3D 渲染引擎這樣的特色, 但是仍然有些高 CPU 和記憶體的需求.

另外, zeepelin 也可與 Spark 整合, 可自行了解.

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50