論文地址Deep Learning on Graphs: A Survey

一、圖的不同種類深度學習方法

1、主要分為三大類：半監督學習，包括圖神經網路和圖卷積神經網路；

2、無監督學習圖自編碼機；

3、最新的進展，圖對抗神經網路和圖強化學習。分析了不同方法的特點和聯絡。

二、圖神經網路 (GNN)

圖神經網路是圖資料最原始的半監督深度學習方法。

GNN的思路很簡單：為了編碼圖的結構資訊，每個節點可以由低維狀態向量表示。對於以圖為中心的任務，建議新增一個特殊節點，這個節點具有與整個圖相對應的唯一屬性。

回顧過去，GNN統一了一些處理圖資料的早期方法，如遞迴神經網路和馬爾可夫鏈。

展望未來，GNN中的概念具有深遠的啟示：許多最先進的GCN實際上遵循與鄰近節點交換資訊的框架。事實上，GNN和GCN可以統一到一個通用框架中，GNN相當於GCN使用相同層來達到的穩定狀態。

從概念角度來看，GNN是非常重要的，但它也有幾個缺點：

• 首先，在其計算過程中，公式(具體公式可檢視原文)中的對映必須是壓縮對映，這就嚴重限制了建模能力。

• 其次，由於在梯度下降步驟之間需要許多迭代，因此GNN在計算上的代價是昂貴的。

或許是因為這些原因，GNN並未被社群所熟知。

三、圖卷積網路 (GCN)

除了GNN，圖卷積網路(GCN)是圖的另一類半監督方法。由於GCN通常可以像標準的CNN那樣通過反向傳播來訓練特定任務的損失，所以本文主要關注其採用的體系結構。

下表總結了本文所研究的GCN的主要特徵：

不同圖卷積網路之間的比較

可以看到在本文所研究的22種GCN方法中，從型別角度看分為兩種，一種是光譜域(Spectral)、另一種是空間域(Spa

三、圖自編碼器 (GAE)

自編碼器(AE)和變分自編碼器(VAE)廣泛應用於無監督學習中，它們適用於學習無監督資訊的圖節點表示。

下表總結了本文所研究的GAE主要特徵：

不同GAE之間的比較

可以看到，在本文所研究的10種GAE方法中，7種屬於自編碼器(AE)、3種屬於變分自編碼器(VAE)。

每種方法採用的降維方法也有所不同，主要包括L2-Reconstruction、拉普拉斯特徵對映(Laplacian Eigenmap)、遞迴Reconstruction、排序、GAN等等。

在可擴充套件性、節點特徵以及其它改進方面也各不相同。

四、最新的進展

]

4.1、圖遞迴神經網路

遞迴神經網路(RNN)，例如GRU或LSTM是建模序列資料的一個實際標準，在GNN中用於模擬節點狀態。

RNN也可以用於圖級別。為了消除歧義，我們將這種架構稱為Graph RNNs。

You et al. [94]將Graph RNN應用於圖生成問題。

具體來說，他們採用兩個RNN，一個用於生成新的節點，另一個用於以自迴歸的方式為新新增的節點生成邊。結果表明，與傳統的基於規則的圖生成模型相比，這種分層RNN結構在具有可接受的時間複雜度的同時，能夠有效地從輸入圖中學習。

動態圖神經網路提出利用 time-aware LSTM來學習動態圖中的節點表示。作者表明， time-aware LSTM可以很好地建模邊形成的順序和時間間隔，從而有利於圖的廣泛應用。

也可以將Graph RNN與其他架構(如GCN或GAE)結合使用。例如RMGCNN將LSTM應用於GCN的結果，逐步重構圖，如圖所示，旨在解決圖的稀疏性問題。Dynamic GCN應用LSTM在動態網路中收集不同時間片段的GCN結果，目的是獲取空間和時間圖資訊。

4.2、圖強化學習

GCPN[98]利用RL生成目標導向的分子圖，以處理不可導目標和約束。實驗結果證明了GCPN在各種圖生成問題中的有效性。

MolGAN[99]也採用了類似的思想，即使用RL生成分子圖。MolGAN建議直接生成完整的圖，而不是通過一系列的動作來生成圖，這對小分子很有效。