Going Deep: Graph Convolutional Ladder-Shape Networks-AAAI2020

深入研究：圖卷積梯形網路-AAAI2020
(提出了圖卷積梯形網路(GCLNs)，該網路採用對稱梯形結構來解決超平滑問題。該網路由收縮路徑、擴充套件路徑和上下文特徵通道組成，通過將相應的上下文資訊從收縮端融合到更深層次，對不可區分特徵進行表徵和增強)

一、引言

1、圖嵌入工作

（1） 只考慮拓撲結構

• 概率模型（probabilistic models）
• 矩陣分解模型（matrix factorization-based works）

（2）同時考慮結構和節點屬性的圖嵌入的方法

• 基於內容增強（content enhanced network embedding methods）
  • 內容增強方法將文字特徵與表示架構相關聯，例如，TADW (Yang et al. 2015)在矩陣分解框架下將特徵資訊整合到網路表示中，TriDNR (Pan et al. 2016)訓練神經網路體系結構，從屬性圖中捕獲結構接近度和屬性接近度。
• 基於鄰居聚合（訊息傳遞）（neighborhood aggregation (or message passing) algorithms））。
  • 鄰域聚合演算法(Dai等人，2018;李、韓、吳2018;Klicpera, Bojchevski，和Günnemann 2018)，表示為光譜圖卷積網路(光譜GCNs) (Kipf和Welling 2016b)，引入Laplacian平滑操作，在其鄰域上傳播節點的屬性。
  • 在上述方法中，基於頻譜的演算法因其對半監督任務的顯著改進而受到越來越多的關注。基於頻譜的演算法借用了圖訊號處理領域中濾波器的思想來進行圖卷積運算，也可以解釋為從圖訊號中去除噪聲。
  • 一種光譜GCN和另一種的主要區別在於濾波器的設計。頻譜cnn (Bruna et al. 2013)用一組可學習引數來制定濾波器來實現基於頻譜的卷積運算。
  • ChebNet (Defferrard, Bresson, and Vandergheynst 2016)認為濾波器是特徵值對角矩陣的Chebyshev多項式，其中Chebyshev多項式是用遞迴公式定義的。
  • GCNs譜(Kipf和Welling 2016b)可以解釋為ChebNet的一階近似，它假設拉普拉斯多項式的階數限制為1，而特徵值的最大值限制為2。
  • 最近，g-U-Nets (Gao和Ji 2019)試圖通過提出的gPooling和gUnpool操作來生成所選節點的位置資訊，因此經典的計算機視覺方法可以應用到圖形中，增加了架構的深度。然而，這種方法嚴重依賴於圖形預處理，很難訓練出良好的效能。

2、問題引入

（1）問題

• 在具有許多圖卷積層的深度神經網路體系結構中，鄰域聚合過程的質量不可避免地下降(Klicpera, Bojchevski，和Günnemann 2018)。

（2）原因

• 產生這一問題的主要原因是這些聚合(或傳播)方案中的拉普拉斯平滑對節點特徵進行了過度平滑，使得來自不同簇的節點難以區分(Xu et al. 2018)。
• 可見，新增多個GCN層相當於重複進行拉普拉斯平滑操作，圖中相鄰連通節點的特徵將收斂到相同的值。
• 對於光譜GCN，特徵會按節點度的平方根比例收斂(Li, Han, and Wu 2018)，這就是本文所解決的過平滑問題。

3、方案

• 本文提出了一種基於上下文特徵通道的圖卷積網路，該網路對稱地構建在一條收縮和一條擴充套件路徑上，極大地擴充套件了譜圖卷積網路的深度。

二、問題定義

三、預備知識

1、GCN

2、U-net

• U-Net (Ronneberger, Fischer, and Brox 2015)是一種優雅的u形全卷積網路結構，用於生物醫學影象分割。該架構由兩部分組成:下行取樣路徑和上行取樣路徑。
• 下采樣路徑由四個塊組成，每個塊有兩個卷積層和一個最大池化(stride=2)層。沿著下采樣路徑的每一步，特徵通道的數量增加一倍。收縮路徑從輸入影象中捕獲上下文特徵用於分割，並將這些特徵傳遞到具有跳過連線的上取樣路徑。
• 上取樣路徑也由四個相似的去卷積塊組成，使模型能夠同時從下采樣路徑獲得準確的定位資訊和足夠的上下文資訊。
• U-Net充分利用了上取樣路徑的精確定位和下采樣路徑的上下文資訊。在生物醫學影象分割訓練過程中，將兩個資訊源通過特徵通道進行相應的連線。

3、可微圖池（Differentiable Graph Pooling）

• The differentiable graph pooling module solves the aforementioned challenges by learning a differentiable soft assignment at each layer of a GNN model, assigning nodes to a set of clusters according to the learned representations.
  Thus, the pooling operation of each GNN layer coarsens the
  given graph iteratively and generates a hierarchical repre-
  sentation of every input graph on completion of the entire
  training procedure.
• 可微圖池模組通過學習GNN模型每一層的可微軟分配，根據學習到的表示將節點分配給一組叢集，從而解決了上述挑戰。因此，每個GNN層的池化操作對給定的圖進行迭代粗化，並在整個訓練過程完成後生成每個輸入圖的層次表示.

四、圖卷積梯形網路

1、架構

本文提出的GCLN是一個對稱的體系結構，它由一個收縮路徑和一個擴充套件路徑構成。三個上下文特徵通道允許從收縮路徑捕獲上文特徵與通過擴充套件路徑學習到的本地化資訊相融合。每一層都用譜圖卷積構建，該框架共包含8個GCN層。

兩個路徑之間的上下文特性通道用於在簡單而優雅的操作中傳遞和融合從收縮路徑到擴充套件路徑的位置資訊的上下文資訊。

2、圖卷積操作

3、GCLN抽取路徑

• 收縮路徑是一個四層圖卷積嵌入體系結構，其中每一層的大小是前一層的一半。每個GCN層進行圖卷積，然後RELU啟用和dropout。
• 如果將GCLN解釋為端到端的編碼器-解碼器體系結構，將與每個節點相關的拓撲特徵和特徵編碼為多個層次的特徵表示，則可以將收縮路徑視為編碼器部分。通過收縮路徑獲取圖的上下文資訊，並在每一層儲存，相應通過上下文特徵通道傳遞到擴充套件路徑。
  4、GCLN擴充套件路徑
• 擴充套件路徑反映了收縮路徑的體系結構，並將層的安排顛倒過來。每一層的神經元數量都是前一層的兩倍。執行一個元素級的求和操作來接收和融合從收縮路徑跳過來的上下文路徑。
  
• 上下文特徵通道允許網路更深入，並將收縮側的上下文特徵與擴充套件側的上卷積特徵融合在一起。這個總和使表示能夠更好地區域性化，並通過多次卷積獲得。
• 對節點重複進行對稱歸一化拉普拉斯平滑操作所產生的不可區分的特徵進行直接表徵和增強，使其與收縮路徑中的上下文特徵合併。從而克服了基於鄰域聚合演算法的過平滑問題。

5、差分池的擴充套件

• The differentiable graph pooling formulates a general recipe for hierarchically pooling nodes across a set of graphs by generating a cluster assignment matrix S over the nodes leveraging the output of each GCN layer. The cluster matrix S on layer l is computed as follows:
  • 可微圖池通過利用每個GCN層的輸出的節點上生成一個叢集分配矩陣S，從而為跨一組圖層次池化節點形成一個通用方案：
    
  • 利用聚類分配矩陣S，可微池化層對給定圖進行粗化，應用下列公式生成一個新的鄰接矩陣\(a^{(l+1)}\)和一個新的矩陣\(X^{(l+1)}\):
    
    
    圖4:可微圖池過程的說明。在每個層次層中，通過一個GCN層學習並獲得節點的嵌入，然後根據學習到的嵌入資訊將節點聚類到另一個GCN層的粗化圖中。該過程在l層中迭代，最終的輸出用於圖分類任務。