閱讀筆記-GROVER: Self-supervised Message PassingTransformer on Large-scale Molecular Data
阿新 • • 發佈：2020-10-11
GROVER: Self-supervised Message PassingTransformer on Large-scale Molecular Data
概要
作者先列出了深度學習在應用到分子圖時的侷限性：
- 用於分子任務的標記資料不足；
- 模型對巨大的化學空間的泛化能力差。
The GROVER Pre-training Framework
G
R
O
V
E
R
\mathbf{GROVER}
GROVER包含兩個子模型：
n
o
d
e
G
N
N
T
r
a
n
s
f
o
r
m
e
r
\;node\;GNN\;Transformer
nodeGNNTransformer與
e
d
g
e
G
N
N
T
r
a
n
s
f
o
r
m
e
r
\;edge\;GNN\;Transformer
edgeGNNTransformer：
接下來詳細介紹 n o d e G N N T r a n s f o r m e r \;node\;GNN\;Transformer nodeGNNTransformer的架構：