The sun doesn’t shine on us, let’s not lose hope.

作者 | 陳彩嫻

編輯 | 青暮

在機器學習領域，如果一位技術達人，擁有機器學習碩士學位，專業能力過硬，機器學習開發經驗豐富，發表過一些重要論文（非頂會論文），千辛萬苦成功發表頂會論文後，他的研究生涯是否會迎來曙光呢？

先前，AI科技評論在《頂會論文，怎麼就成了申博的必要條件？》一文中介紹了獨立研究員Andreas Madsen坎坷的學術之路：無導師、無團隊夥伴、無科研資金援助，在2019年用7個月的時間完成了一篇ICLR Spotlight一作的論文。

Andreas Madsen

他的故事曾在推特上風靡一時，受到了許多網友的推崇，也鼓舞了很多獨立研究員。Andreas的夢想是進入知名大廠、成為一名研究軟體工程師，此前因沒有發表過頂會論文多次被拒。中了2019年ICLR Spotlight Award之後，很多人也許會認為：成功之後緊接著的也是成功，他的職業生涯一定會一帆風順。

但現實是殘酷的。世事難料，正如在2019年跨年夜喜迎新年的我們，怎麼也想不到2020年爆發新冠。

從華為、DeepMind到Google AI Residency等等知名的機器學習研究機構紛紛向他丟擲橄欖枝，Hinton也想與他進行一番交談，再到Offer被取消、被迫申請成為Mila實驗室的博士生，Andreas究竟經歷了什麼？

新冠對個體命運的影響，也許並不是個例。

1 坎坷的追夢之路

Andreas成為一名獨立研究者，是迫於現實的壓力。

2018年3月，他以唯一作者的身份在「Distill.pub」平臺上發表了論文“Visualizing memorization in RNNs”，談到針對自然語言處理任務，如何通過一種互動式的顯著性視覺化技術，證明兩個準確率幾乎一樣的模型具有差異極大的表現。

論文地址：https://distill.pub/2019/memorization-in-rnns

論文的工作成果獲得一致好評。因此，他當時以為，憑藉這篇論文和機器學習碩士學位，足以在業界申請到研究軟體工程師的職位，或申請到博士入學資格。然而他投了很多份申請後，卻連一個面試機會都沒得到！

而被拒的理由，多與“沒有發表過頂會論文”相關。他與朋友收到教授的拒絕信時，裡面都提到這一點：

一般來說，現在想要申博士學位，沒有一兩篇頂會頂刊上的機器學習/NLP 論文是相當困難的。你在 Distill 上發表的論文和你在工業領域的經驗在一定程度上彌補了這一點。不幸的是，我現在沒有可供申請的空缺名額。——來自 QS 全球排名 Top 100 的大學的一名教授。

最好的人工智慧博士專案要求申請者已經在頂會上發表過論文。如果你並沒有在 ACL/EMNLP/CVPR/ICCV/NeurIPS 或 ICML 上發表過論文，你被錄取的機率就非常小了。——某 QS 全球排名 Top 5 大學的前委員會成員。

為了實現自己的夢想，Andreas下定決心要在NeurIPS或ICLR上發表1-2篇論文。

2019年2月，他回母校參加了一個人工智慧學生社團的開幕式活動，遇到了助理研究員 Alexander R Johansen。當時，Alexander想要嘗試復現DeepMind 的論文「NALU」，在尋找合作伙伴。幾乎所有發表的論文都會對其效能進行誇大，所以改進他人的工作是一種可行的研究策略。由於Andreas的碩士學位論文和在Distill上發表的論文都是對其他人誇大的工作進行批判性思考、並進行改進。

機緣巧合之下，Andreas在2019年4月開始了獨立研究員的奮鬥之路：

1、孤軍奮戰。按照Andreas本人的說法，獨立研究員就是進入了一種「孤獨地生活，但不放棄理智和希望」的生活狀態。既沒有導師的指導與鼓勵，也沒有可以互相傾訴的同門。他每週在這篇論文上大約花 48 個小時，有時候達到 100 個小時。（萬幸，Alexander提供計算資源）

2、自籌科研資金。Andreas一邊做科研，一邊給NearForm做名為「clinic.js」的新專案（因為他此前曾參與Node.js 內部實現相關的工作長達 6 年的時間），以及為NearForm在NodeConf EU 2019 上推出的物聯網智慧手錶/胸牌開發 TensorFlow 元件。

最終，經歷了漫長的七八個月沒有資助的研究工作後，在 2019 年 12 月，他的論文被ICLR接收。他的工作將 DeepMind 的論文「NALU」中的效能提升了 3-20 倍。

論文地址：https://openreview.net/forum?id=H1gNOeHKPS。

程式碼地址：https://github.com/AndreasMadsen/stable-nalu

2 ICLR之後，夢想並沒有成真

My love for science is a love for truth-seeking.

獲得ICLR Spotlight Award之後，Andreas在推特上收到了近2000封郵件，除了同行的共鳴與尋求建議，還包括許多PhD申請與在企業工作的機會。

無論在生活中，還是工作中，獲得成就與肯定，總是會燃起一個人對前程的希望。但往往，希望越大，失望越大。

在眾多郵件中，有一封郵件來自DeepMind一位職位比高階研究工程師還高的人員，推薦他去DeepMind當研究軟體工程師。資訊裡明確表示：會親自向公司推薦他的簡歷，大約兩週內就會接到HR的電話，然後進行面試。

收到DeepMind工作人員的推薦訊息，Andreas非常震撼，“激動、膽怯、高興等等詞語，都不足以形容我的內心感受。”那一瞬間，好像夢想馬上就要實現了——

但，DeepMind的HR一直沒有聯絡他。推薦他的人也很失望。當時，新冠還沒有在歐洲爆發。

在等待DeepMind訊息的同時，作者還懇請一些在推特上轉發了他的ICLR論文的谷歌工作人員推薦他，並在2019年12月申請了Google AI Residency的工作機會。據他所知，Google AI Residency的研究崗位是少數幾個不要求具備PhD學歷的單位之一。

每年申請Google AI Residency的人員成千上萬，入選機會非常渺茫，但作者收到了面試的郵件。

面試的流程大致如下：指定HR電話面試——程式設計能力面試——機器學習能力面試——招聘委員會最終批准。

憑藉出色的程式設計能力與對機器學習的技術瞭解，他順利通過所有關卡，還拿到了Google裡面4個研究小組的offer！其中包括位於多倫多的Google Brain。因為一般來說，申請者只被批准進入1個研究小組工作。

獲得特別批准後，他能與每個研究小組進行非正式的交談，看看哪個小組最適合他。他甚至被告知，Hinton也很想與他進行一番交流。

但天有不測之風雲。4月份前後，新冠在歐洲與北美地區爆發。他收到通知：小組會話與整體招聘要暫緩，等Google出一個決定優先招聘順序的方案。Google的人事問他能不能把原先2020年9月的入職推遲到2021年1月，他同意了。

接下來便是4個星期的焦急等待。一開始，他抱有較大的信心，因為他被錄取的四個研究小組所在的地區受到新冠的影響均不是很大，他先前也獲得了許多內部人員的推薦。

但結果是殘酷的：他沒有拿到offer，招聘委員會撤回了對他的錄用，理由是“不再符合他們目前的業務發展”。如果他仍然想去Google發展，只能明年重新申請，他今年的“過關斬將”不再作效。

除了DeepMind和Google，他也有拿到其他很多公司的“承諾offer”，包括Salesforce和華為，但最後都因為新冠對經濟/業務的影響，或其他原因，被“無情”取消。

雪上加霜的是，他原本從事自由職業的業務，收到了幾個專案的合作合同，也都被取消了。為此，他一度陷入財政困境。

3 從業界到學界的無奈之舉

在業界頻頻碰壁之後，他不得不選擇申請讀博。雖然發表頂會論文、然後申請博士，是他的計劃之一，但是，是他“排在最後位的選擇”，因為他最想做的事，便是進入業界大廠，成為一名研究軟體工程師。

如今，他已成功申請了Yoshua Bengio於1993年創立的Mila人工智慧實驗室的博士。在業界待過一段時間後再返回學術界，申請PhD時，業界的推薦信作用並不大，所以他只能重新爭取學校教授的推薦信。

Mila主頁：https://mila.quebec/en/

儘管Mila是一所非常不錯的人工智慧實驗室，但他並不感到十分高興：因為在他看來，他明明有適用於他理想崗位的能力，通過了面試，被引薦很多次，發表了頂會論文，也拿到了工作承諾，但最終卻沒有拿到最理想的offer。

由於新冠，他不能去加拿大，只能在家辦公。自2019年3月成為獨立研究員之後，他便一直在自己的一居室裡呆了18個月。Mila所給的津貼是根據蒙特利爾的生活成本制定的，作者所生活的丹麥城市哥本哈根要貴得多。關於會不會讀完博士，他表示很不確定：他能堅持多久，完全取決於他的經濟能力能支援他攻讀博士多久。

而且，他還要多花4年的時間呆在一個他並不是特別喜歡的環境中學習，只為了變得"overqualified"。

試問，人生有多少個4年？

4 頂會論文能說明什麼？

Andreas因“夢想破碎”而灰心、失落、頹廢，也許主要源於：他發表論文的研究幾乎全是獨立進行的，與有導師指導、有同門陪伴、有科研經費資助的研究人員相比，他的研究之路更加坎坷、波折。

此外，他擁有豐富的業界經驗，也曾離夢想咫尺之遠。Andreas將Google、DeepMind形容為“careless hands”，不經意的一個小動作也許會成為壓垮追夢科研者的最後一棵“稻草”。

有人將Andreas的文章“9 months after my ICLR spotlight award, as an Independent Researcher”放到了Reddit上，引起了許多網友的圍觀。

一些網友指出，能力只是獲得成功的一個因素，毅力、團隊合作能力、心理素質等等也非常重要。如果回顧他的獨立研究員之路，我想，他的毅力等條件是毋庸置疑的。事實上，Andreas也提到，他與機會的錯失，也可能是“運氣不佳”。

還有網友指出，Andreas可能將ICLR論文視為理想生活的唯一要求。

頂會論文是專業能力的一個體現。在現實生活中，無論是企業招聘與博士申請，頂會論文似乎已成為申請者一個必不可少的“敲門磚”。這難免讓科研人員建立這樣的認知：頂會論文是成功的重要因素之一，甚至是發了頂會論文，一切都會順順利利。

一位科研者過分追求頭銜（比如頂會論文），也許不是個人的意願，而是迫於選拔制度的殘酷與冰冷。

發表頂會論文顯然並不是“成功”的代名詞。

有網友提到，在2017年，一位名為Kevin Frans的高中生便在ICLR上發表了論文，所以Andreas的ICLR論文成就並不能算驚人。（收下我的膝蓋…但值得注意的是，Kevin Frans的工作得到了OpenAI的研究員John Schulman與其他三位來自加州大學伯克利分校的研究人員指導。）

Kevin Frans

還有網友注意到，Google走完所有的招聘流程，且Andreas也通過了面試，並同意推遲入職時間，卻還是讓申請者等了一個月，然後發放拒信，是不是有點“不厚道”？

拿到offer又被拒的事，似乎已司空見慣——但，司空見慣，就代表合情合理嗎？希望落空，情感上有點受傷，也是情有可原。

但願每一個在科研之路上受挫的少年（無性別指示），都能堅持自己的夢想，不忘初心，適當調整標準，擦乾眼淚再來！

參考連結：

1. https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b

2. https://medium.com/@andreas_madsen/9-months-after-my-iclr-spotlight-award-as-an-independent-researcher-9cfb0c808817

3. https://www.reddit.com/r/MachineLearning/comments/j6hh3b/r_google_ai_residency_promises_a_virus_and_tears/

4. https://www.wired.com/story/meet-the-high-schooler-shaking-up-artificial-intelligence/