Kaggle大神經驗分享丨如何用15個月沖到排行榜的首位
作者 Kaggle Team
中文翻譯 Mika
CDA 數據分析師原創作品，轉載需授權
在最新的Kaggle用戶排行榜上，排名第一位的ID是Bestfitting，他本人叫Shubin Dai。他在兩年前加入Kaggle，目前生活在中國湖南省長沙。他是一名數據科學家、工程師，目前領導一家為銀行提供軟件解決方案的公司。在工作之余，除了Kaggle，Dai還是一名狂熱的山地車手，喜歡戶外運動。
最近Shubin Dai接受了Kaggle團隊的專訪，分享了他在參加Kaggle競賽時的心得與體會。
Q1: 可以介紹以下自己和相關背景嗎？
我的專業是計算機科學，在軟件開發方面有超過10年的經驗。工作方面，目前我負責領導一個團隊，專門為銀行提供數據處理和分析的方案。
自大學以來，我對利用數學知識構建程序，從而來解決問題十分感興趣。我一直在閱讀計算機科學方面的書籍和論文，並且很高興目睹了過去十年中機器學習和深度學習方面的進展。
Q2: 你是如何開始參加Kaggle比賽的？
正如之前所說的，我一直在閱讀大量機器學習和深度學習方面的書籍和論文，但發現很難將我學到的算法應用於小型數據集。Kaggle是一個很棒的平臺，當中有各種有趣的數據集、算法和精彩的探討。我迫不及待想進行嘗試，我第一個參加的比賽是“預測紅帽商業價值”(Predicting Red Hat Business Value)。
Q3: 在參加新的比賽時，你首先會做什麽？
在比賽開始的第一個星期，我會創建一個解決方案文檔，在比賽進行中，我會不斷對文檔進行更新。為此，首先我需要把握手上的數據和比賽，然後研究類似的Kaggle比賽和相關論文。
Q4: 在比賽時，你會做哪些步驟呢？
1.仔細閱讀比賽的概述和數據的描述；
2.查找類似的Kaggle比賽。作為剛加入Kaggle社區不久的新手，我對所有的Kaggle比賽進行了搜索和分析；
3.閱讀類似比賽的解決方案；
4.閱讀相關論文，確保我跟進該領域的最新進展；
5.分析數據，並構建可靠的交叉驗證；
6.進行數據預處理、特征工程、模型訓練；
7.進行結果分析，包括預測分布、錯誤分析、困難樣本等；
8.根據分析，精心設計模型或設計新模型；
9.基於數據分析和結果分析，通過設計模型增加多樣性，或解決困難樣本；
10.模型集成；
11.必要時返回前面某個步驟。
Q5: 你最喜歡的機器學習算法是什麽？
我會逐個選擇算法，但在進行集成時我更喜歡用簡單的算法，如嶺回歸(ridge regression)。在深度學習的比賽中，在開始我總是喜歡使用resnet-50或設計類似的結構。
Q6: 你最喜歡的機器學習庫是什麽？
在計算機視覺比賽中，我非常喜歡用pytorch。在自然語言處理或時間序列比賽中，我喜歡用用tensorflow或keras。在進行分析時，我會使用seaborn，以及scipy庫。很多情況下scikit-learn和XGB都是不錯的選擇。
Q7: 你會如何進行超參數調整呢？
我根據對數據和算法的理論理解來調整參數，如果我無法解釋結果變好或變壞的原因，我不會輕易使用。
在深度學習比賽中，我經常會搜索相關論文，查找在類似情況下其他人會怎麽做。
而且，我會比較參數更改前後的結果，例如預測分布、受影響的樣本等。
Q8: 你是如何確定交叉驗證方法和最終的提交模型？
有了好的交叉驗證方法就成功了一半。在找到好的方法來評估模型前，我不會進入下一步。
為了構建可靠的交叉驗證方法，你必須很好地理解數據和所面臨的挑戰。我還會檢查，並確保驗證集與訓練集和測試集有類似的分布，我會確保我的模型本地交叉驗證和公共排行榜上都有不錯的改進。
在時間序列比賽中，我會留出數據作為驗證集。
通常，我會以一種保守方式來選擇最終的提交模型。我會選擇對可靠模型進行加權平均後的集成模型，並確定出其中相對冒險的模型。在我看來，更多的參數意味著更多的風險。但我不會選擇我無法解釋的模型，即使它的公共排行榜得分很高。
Q9: 簡而言之，怎樣才能贏得比賽？
良好的交叉驗證方法。從其他比賽中學習，閱讀相關論文，還需要自律和心裏承受力。
Q10: 你最喜歡哪類Kaggle比賽？為什麽？
我最喜歡自然保護和醫療相關的比賽。我覺得我有必要為改善我們的生活和保護地球做些什麽。
Q11: 機器學習中，你對哪個子領域最感興趣？
我對深度學習的各種進步都很感興趣。我想利用深度學習解決除計算機視覺和自然語言處理之外的問題，因此在我參加的比賽和日常工作中，我會使用到深度學習。
Q12: 對你而言，在解決數據科學問題時，專業知識有多重要？
老實說，我不認為專業知識會有太多的作用，原因如下：
1.Kaggle提供的比賽數據對每個人都很公平；
2.僅使用成熟的方法贏得比賽是很難的，尤其是對於深度學習的比賽。因此我們需要更多創造性的解決方案;
3.數據本身更重要，盡管我們可能需要閱讀一些相關的材料。
但是也有一些例外。例如，在Planet Amazon 比賽中，我從我在熱帶雨林的經歷中獲得了一些想法，但這些經驗並不能稱為專業知識。
Q13: 你認為你最有競爭力的比賽技巧是什麽？
我認為是在比賽開始時準備解決方案文檔。我會列一份清單，包括面臨的挑戰、應該閱讀的解決方案和論文、可能的風險、可能的交叉驗證方法、可能的數據增強方法以及加強模型多樣性的方式。而且，我會不斷更新文檔。幸運的是，這些文檔在我之後的比賽中都很很大的幫助。
Q14: 在工作中，你是如何運用數據科學的?Kaggle比賽有所幫助嗎？
我的團隊嘗試通過機器學習解決各種銀行業務問題，比如預測銀行網點的訪客；預測ATM應準備的現金；產品推薦；操作風險控制等。
Kaggle比賽也改變了我的工作方式，當我為解決問題尋找解決方案時，我會尋找類似的Kaggle比賽，因為那些都是寶貴的資源。同時我還建議我的同事們研究類似的解決方案，從中獲得啟發。
Q15: 你如何權衡模型復雜性和訓練/測試運行時間？
以下是我的看法：
1.只有當這方面出現問題時，培訓/測試運行時間只才值得關註。當正確率很重要時，不用太擔心模型的復雜性。如果獲得訓練數據需要好幾個月的時間，那麽我們需要充分的利用。
2.現在，只對弱模型進行集成很難贏得比賽。如果你想成為第一名，你需要多個很好的單一模型。如果我想在比賽中確保第一名，我會設計幾個不同的模型，並且在排行榜上能達到前10名，有時甚至是前3名。
3.按照我的經驗，我會在比賽中設計模型來探索這個問題的上限，然後選擇一個簡單的模型使其在實際情況下可行。我總會盡量向組織者提交一個簡單模型，並且與他們進行討論。我發現一些組織者甚至會使用我們的方案來解決他們面臨的其他問題。
4.當訓練/測試運行時間很重要時，Kaggle有很多機制來確保性能：kernel比賽、團隊規模限制、增加更多在計分時未計算的數據等。我相信Kaggle也會根據比賽目標改進規則。
Q16: 你是如何在Kaggle比賽不斷進步的？
有趣的比賽和Kaggle的偉大競爭對手讓我不斷進步。
Kaggle中有許多優秀的競爭者，因此想贏得比賽並非易事，這不斷挑戰我的極限。去年，我盡可能多地完成比賽，並且猜測其他競爭者會做什麽。為此，我必須閱讀大量材料，並構建多功能模型。在比賽之後，我閱讀了其他競爭對手的解決方案。
Q17: 你有關註哪些最近或正在進行的機器學習比賽嗎？
今年我希望能參加Kaggle的深度強化學習比賽。
Q18: 你僅用15個月就上升到排行榜的第一名，你是怎麽做到的？
首先，取得第一只是代表我在Kaggle所學到的知識，而且我也幸運。
在我的前幾次比賽中，我試圖將近年來學到的理論轉化為技巧，並從其他人那裏學到很多。
在對Kaggle比賽有一定的了解之後，，我開始思考如何用系統化的方式進行比賽，因為我在軟件工程方面有多年經驗。
大約半年後，我獲得了首個獎項，並獲得了一些自信。我感覺我可能會在一年內成為達到大師級別。在Planet Amazon比賽中，我試圖獲得金牌，當發現自己名列第一位時，我非常驚訝。
然後我覺得應該繼續使用之前提到的策略和方法，從而取得更多的成功。在贏得Cdiscount比賽後，我爬到了用戶排名榜的前列。
我從Kaggle平臺受益頗多，我從其他人那裏學到了很多，Kaggle的用戶排名系統也激勵著我不斷進步。我也感到很幸運，我沒想到我能連續獲得6次獎項，在許多比賽中取得了前10名或前1％的成績。我可能很難再重復這個經歷了。
但是，取得好的排名並不是我的目標。我把每場比賽都視為學習的機會，因此我會選擇我不太熟悉領域的比賽，這迫使我去年研讀了成百上千篇論文。
Q19: 你提到過，你喜歡研究之前比賽中評分最高的解決方案。你有什麽特別的見解嗎？
我尊重所有的贏家和出色的解決方案貢獻者，我知道他們付出了多少努力。我總是以一種可敬的態度研究這些解決方案。
Kaggle大神經驗分享丨如何用15個月沖到排行榜的首位