論文閱讀:《Neural Architecture Search without Training》
阿新 • • 發佈:2021-11-19
前情提要:
手工設計deep neural network耗時耗力。
NAS(Neural Architecture Search,神經架構搜尋)技術應運而生。
然而,NAS也很慢很貴(貴指時間、算力上的貴)。主要原因是,每當NAS搜尋出一個架構時,都要設法評估這個架構的效能。這通常需要從頭訓練整個網路。
如果我們可以僅憑架構本身就判斷它的效能,就能夠省去很多時間和算力。
作者提供了開源專案:https://github.com/BayesWatch/nas-without-training
現理解一下他的程式碼。
環境安裝:
在專案目錄下的env.yml的最後一行
# - "--editable=git+https://github.com/google-research/nasbench#egg=nasbench-master" # 安裝時會發生名稱不一致的錯誤 - "--editable=git+https://github.com/google-research/nasbench#egg=nasbench"
另外還需要去掉tensorflow-gpu==1.15.0
的版本限制,只留tensorflow-gpu
。暫不明確這樣做是否有相容性問題。
修改後再按Readme執行conda env create -f env.yml
即可。