第一次使用CSDN來寫部落格，每次看完之後的東西都很容易忘記，自己也沒啥動力，準備通過每天寫部落格的方式來強迫自己學習。今天算是雜談，隨便翻的一點知識。

維度災難：

在傳統機器學習中模型表現並不是隨著特徵數目的上升而上升的，而是呈現一種上升再急劇下降的模式。根本原因是樣本數量無法支撐更高維的空間（更好分）。（會導致資料分佈非常稀疏）當把這些資料投影到低維之後我們會發現很容易過擬合。

NE：網路嵌入

將網路的圖節點在更低維度的空間表示。再用於後續的任務。（一個比較有意思的點是用於神經網路架構自動設計上去了NAO，減少了複雜度），對這類研究不是很感興趣。

關鍵詞：

word2vec，deepwalk

神經網路架構自動設計

AutoML
l兩方面：基於強化學習，基於EA。強化學習中通過將收斂後的準確率作為獎勵，EA通過變異組合生存來優化。實際上都是一個類似搜尋的模式，比較低效。

NAO：
利用NE將網路對映到一個連續向量空間，再基於梯度進行優化。
由三個主要組成：
編碼器，預測器，解碼器

（這篇感覺不錯，有空細看一下然後寫個論文筆記）
論文連結：https://arxiv.org/abs/1808.07233

TODOLIST

• 論文筆記（Interpret Neural Networks by Identifying Critical Data Routing Paths）
• 論文筆記（Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser）
• NAO論文筆記
• 各種網路結構對比
• 黎曼空間

關於PCA之前自己有個完整的推導，抽空也寫了吧。。。不能拖啊…喜歡忘。