網路表示學習(NRL)方向--論文整理
網路表示學習方法(Network Representation Learning/Network Embedding),也稱為網路嵌入。簡單理解就是一種資料預處理技術,就類似於通訊中對原始訊號做傅立葉變換或拉普拉斯變換,之後就可以通過頻域分析的方法方便理解訊號,網路表示學習的物理意義類似。即通過對原始網路資料的變換,使之可以更加方便的用於機器學習任務。
相關綜述
入門綜述如下,如果英文水平有限,可以先閱讀中文版,然後選擇第一篇英文綜述。第一篇為斯坦福大學老師寫的綜述,比較深入與詳細。建議精讀,對於理解網路表示學習有很大幫助。
【1】Representation Learning on Graphs: Methods and Applications.
作者:William L. Hamilton, Rex Ying
論文地址:
【2】Graph Embedding Techniques, Applications, and Performance: A Survey
作者:Palash Goyal , Emilio Ferrara
論文地址: https://arxiv.org/pdf/1705.02801.pdf
【3】A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications.
作者:Hongyun Cai, Vincent W. Zheng, Kevin Chen-Chuan Chang
論文地址:
【4】 Network Representation Learning: A Survey
作者:Daokun Zhang, Jie Yin,Xingquan Zhu, Chengqi Zhang
論文地址:https://arxiv.org/pdf/1801.05852.pdf
【5】塗存超, 楊成, 劉知遠, 等. 網路表示學習綜述[J]. 中國科學-資訊科學
論文地址:http://nlp.csai.tsinghua.edu.cn/~lzy/publications/sc2017_nrl.pdf
一般網路的表示學習
本著由簡單到複雜,層層深入的研究原則。網路表示演算法最初見於最簡單的網路型別,無向、無權值。典型代表如DeepWalk、LINE、Node2Vec等及其變體演算法。
1、Deepwalk
[1] Perozzi B, Al-Rfou R, Skiena S. Deepwalk: Online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014: 701-710.
論文:https://arxiv.org/pdf/1403.6652
程式碼:https://github.com/phanein/deepwalk
2、LINE
[2] Tang J, Qu M, Wang M, et al. Line: Large-scale information network embedding[C]//Proceedings of the 24th International Conference on World Wide Web. International World Wide Web Conferences Steering Committee, 2015: 1067-1077.
論文:https://arxiv.org/pdf/1503.03578
程式碼:https://github.com/tangjianpku/LINE
3、Node2vec
[3] Grover A, Leskovec J. node2vec: Scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2016: 855-864.
論文:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5108654/
程式碼:https://github.com/aditya-grover/node2vec
4、GCN
[4] Kipf & Welling (ICLR 2017), Semi-Supervised Classification with Graph Convolutional Networks
論文:https://arxiv.org/pdf/1609.02907
程式碼:https://github.com/tkipf/gcn
5、SDNE
[5] Wang D, Cui P, Zhu W. Structural deep network embedding[C]//Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2016: 1225-1234.
論文:
http://www.kdd.org/kdd2016/subtopic/view/structural-deep-network-embedding
程式碼:https://github.com/suanrong/SDNE
在此基礎上的改進及變體:
[6] Tu C, Zhang W, Liu Z, et al. Max-Margin DeepWalk: Discriminative Learning of Network Representation[C]//IJCAI. 2016: 3889-3895.
http://weichengzhang.co/src/paper/ijcai2016_mmdw.pdf
[7] Yang C, Liu Z, Zhao D, et al. Network representation learning with rich text information[C]//IJCAI. 2015: 2111-2117.
http://www.aaai.org/ocs/index.php/IJCAI/IJCAI15/paper/download/11098/10957
[8] Yang C, Liu Z. Comprehend deepwalk as matrix factorization[J]. arXiv preprint arXiv:1501.00358, 2015.
https://arxiv.org/pdf/1501.00358
(未完待續,持續更新中)
異質網路的表示學習
6、metapath2vec
[9] Dong Y, Chawla N V, Swami A. metapath2vec: Scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017: 135-144.
論文:https://www3.nd.edu/~dial/publications/dong2017metapath2vec.pdf
程式碼:
[10] Shi C, Hu B, Zhao X, et al. Heterogeneous Information Network Embedding for Recommendation[J]. IEEE Transactions on Knowledge and Data Engineering, 2018.
論文:https://arxiv.org/pdf/1711.10730
程式碼:
[11] Huang Z, Mamoulis N. Heterogeneous information network embedding for meta path based proximity[J]. arXiv preprint arXiv:1701.05291, 2017.
論文:https://arxiv.org/pdf/1701.05291
(後續更新、、、)
動態網路的表示學習
[12] Li T, Zhang J, Philip S Y, et al. Deep Dynamic Network Embedding for Link Prediction[J]. IEEE Access, 2018.
論文: https://ieeexplore.ieee.org/iel7/6287639/6514899/08365780.pdf
(後續更新、、、)
網路表示學習是2014年開始逐漸興起的研究問題,已經產生了很多有意思的工作(IJCAL、KDD、AAAI、CIKM等高水平會議上文章不斷),方興未艾,期待更多學者關注與參與此方面的研究。