【公開課】李沐大佬:深度學習論文精讀
阿新 • • 發佈:2021-12-11
李沐老師是我比較敬佩的深度學習“大神”,之前我在公眾號推薦過他的兩篇文章。
也推薦過他的著作:全球175所大學教材:《動手學深度學習》(中文版下載)
可能還有同學不知道李沐,這裡簡單介紹一下他的履歷。
他是矽谷華人技術人才,深度學習框架MXNet作者之一,也是《動手學深度學習》作者之一。
2004年,李沐從計算機系ACM班畢業。上海交通大學ACM班是以培養電腦科學家而聞名的“特色班”,自大學起李沐就開啟了他的開掛人生。
- 微軟亞洲研究院實習,2007 年夏
- 香港科技大學研究助理,2009 - 2010
- 百度高階研究員, 2011.4 - 2012.8
- Google Research 實習生,2013 年夏
- CMU 讀博士,2012-2017
- 百度首席架構師,2014.4-2015.12
- 亞馬遜首席科學家,2017 年 3 月至今
大佬百忙之中還佈道技術,今天就再向大家推薦他的最新系列視訊:深度學習論文精讀
地址:
https://space.bilibili.com/1567748478/channel/seriesdetail?sid=398820
目前已更新了五節:
- 如何讀論文
- 9年後重讀深度學習奠基作之一:AlexNet
- AlexNet 論文逐段精讀
- 撐起計算機視覺半邊天的 ResNet
- ResNet 論文逐段精讀
後續將更新更多深度學習裡有影響力論文:
1、Adam。深度學習裡最常用的優化演算法之一。
2、EfficientNet。通過架構搜尋得到的CNN,現在常被使用。
3、BERT。讓深度學習在NLP上熱度超過了CV。
4、GPT3。朝著zero-shot learning邁了一大步。當然也得講一講GPT/GPT-2
5、GAN。生成類模型中的開創性工作。
6、CLIP。圖片分類從此不用標資料。
7、Non-deep networks。21年10月的新工作,讓不深的網路也能在ImageNet刷到SOTA。
8、為什麼超大的模型泛化性不錯
9、GNN介紹。Distill上最近一篇寫得很好的介紹性文章。
10、AlphaGo。讓強化學習出圈的一系列工作。
感興趣的同學,學起來!