python運維常用模組(七)——web探測模組pycurl
阿新 • • 發佈:2022-03-31
一些說明
本系列是對馬耀、湯繼良老師《圖深度學習》的一個學習記錄和整理。由於作者錄製了本書的配套視訊,且視訊講解順序與書有細微差別,因此本系列編排順序與視訊一致,但是內容同時參考書籍以及視訊。
由於本系列是對《圖神經網路》的學習記錄和總結,因此只記錄關鍵知識、直觀理解以及必要的數學推導,一些嚴謹的數學定義可能適當忽略。
講解圖神經網路的書籍較多,我將按照書籍內容分別整理,這些內容將會陸續出現在“啃書-圖網路”目錄下。但是我們在學習的過程中,更應該自成體系,由於不同人有不同的梳理方式,並且為了避免文章的重複,我將不會把自己梳理的體系整理到部落格。
簡介
- 圖深度學習的動機
- 本書內容
- 圖特徵學習的發展史
圖深度學習的動機
- 為什麼將資料表示成圖?
- 圖提供了資料的通用表示形式,來自各個領域的系統的資料可以直接表示成圖。
- 很多現實問題可以通過圖上的計算任務解決,比如:
- 邊的預測:朋友推薦、知識圖譜補全,藥物相互作用預測
- 節點分類:使用者分類、交通預測、空氣質量預測
- 圖分類:藥物特性預測、蛋白質特性預測、大腦網路分析
- 圖上的節點是自然向量的,這表明節點不是獨立的。而傳統機器學習方法通常假設資料是獨立同分布的。解決這個問題的思路主要有兩種(以節點分類為例):
- 建立一個特定於圖的新機制,這種針對圖設計的分類問題稱為集體分類問題。對於節點來說,不僅要考慮其特徵與其標籤之間的對映,而且還考慮其鄰域相應的對映。
- 構建一組特徵來表示其節點,在該表示上可以應用傳統分類技術。(主導地位)
- 在圖上進行深度學習面臨的挑戰:
- 節點的鄰居可以是任意數量
- 拓撲結構更為複雜
- 節點沒有固定的順序
本書內容
- 理論基礎
- 圖論基礎:圖的矩陣表示、圖的性質、複雜圖
- 深度學習基礎:前饋神經網路、卷積神經網路、迴圈神經網路、自編碼器
- 網路嵌入
- 簡單圖上的圖嵌入:保留節點共現、保留結構角色、保留節點狀態、保留社群結構
- 複雜圖上的圖嵌入:異質圖、二分圖、多維圖、符號圖。。。
- 圖神經網路
- 圖濾波:基於譜的圖濾波、基於空間的圖濾波
- 圖池化:平面圖池化、層次圖池化
- 圖神經網路的魯棒性與可拓展性
- 魯棒性
- 圖對抗攻擊:白盒攻擊、灰盒攻擊、黑盒攻擊
- 圖對抗防禦:對抗訓練、圖淨化、圖注意力機制、圖結構學習
- 可拓展性:逐點取樣法、逐層取樣法、子圖取樣法
- 其他圖上的深度學習模型
- 圖上的變分編碼器、圖上的對抗生成網路、Tree-LSTM。。。
- 圖深度學習的應用(上)
- 自然語言
- 資料探勘
- 推薦系統
- 圖深度學習的應用(下)
- 計算機視覺
- 生物醫療
- 圖深度學習的研究前沿
- 可表達性
- 更深的圖神經網路
- 過平滑問題:Jumping Knowledge,DropEdge,PairNorm
- 圖上的自監督學習
- 圖的結構、節點屬性、圖結構和節點屬性
- 可解釋性:樣本級的可解釋性、模型級的可解釋性
- 一些新的應用:圖上的組合優化、程式的表達、動態系統
圖特徵學習的簡要發展史
得到節點的表示形式的兩種方法:特徵工程和特徵學習
- 特徵工程依賴於手工設計的特徵,如:節點度的統計資訊
- 特徵學習是自動學習節點特徵。可以將技術粗略劃分為:圖特徵選擇,以移除節點上的無關和冗餘的特徵;圖表示學習,目標是生成一組新的節點特徵
圖特徵選擇
自動選擇一小部分特徵,這些子集具有最小的冗餘度,但與學習目標有最大相關性。
圖表示學習
- 早期階段:譜聚類、基於圖的降維、矩陣分解
- 譜聚類:將節點嵌入到低維空間,然後在使用傳統聚類演算法
- 降維:IsoMap、LLE、eigenmap
- 矩陣分解:將節點嵌入低維空間,在該空間中可以利用新的節點表示重建鄰接矩陣,如:LSI使用SVD學習文件和單詞的表示形式、推薦系統
- 網路嵌入,受到了Word2Vec的啟發,DeepWalk邁出第一步,後面有三個主要方向
- 儲存節點共現
- 儲存其他型別的資訊:節點的結構角色、社群資訊、節點狀態
- 設計複雜圖的嵌入框架
- 圖深度學習:空間方法和譜方法