1. 程式人生 > 實用技巧 >2020百度大資料競賽-Top3 故事分享(開源連線)新手入門

2020百度大資料競賽-Top3 故事分享(開源連線)新手入門

2020第六屆百度&西安交大大資料競賽
暨IKCEST第二屆“一帶一路”國際大資料競賽”

歷時三個月的百度大資料競賽伴隨著夏末的陣陣蛙聲終於也迎來了尾聲,從初賽16名到複賽第3名,從大資料“小白”到入門的“大 資料人”,競賽讓我學會的不止是大資料領域浩瀚磅礴的知識,更讓我領悟到了“堅持不懈、一戰到底”的競賽精神,同時讓我領悟到作為隊長的責任。回首時間,那些思緒爭鬥的夜晚還歷歷在目,敲擊鍵盤的聲音還縈繞於耳,我想我將永生難忘此次參加百度大資料競賽的經歷,從比賽中養成的思維邏輯、領悟的競賽精神與對人生的思索,都將讓我以後的人生獲益匪淺。

喜相逢:大資料新手從零開始勇探索

我是中南大學計算機專業的研一學生,我的研究方向與大資料並不相關,此前也從未參與過任何有關大資料的比賽。初逢大資料競賽,是因為去年同門直系師兄師姐組隊參與了這個比賽並且獲得了一等獎,今年競賽的內容是關於高致病性傳染病傳播趨勢預測,時值新冠疫情在全球愈演愈烈,出於對新冠疫情傳播趨勢的好奇,並且希望能為課題組再續新篇,在導師支援下,我決定從零開始參加比賽。一個人可以走得很快,但一群人可以走得很遠。機緣巧合下,我在參賽群裡看到了之前一起合作過的朋友,在幾次交流之後,我們就決定一起參加比賽,一起發掘疫情傳播的趨勢,一起試試大資料領域的水。

初探索:大資料不留情面立下馬威

比賽伊始,就是面對海量的資料,成千上萬的資料一下子讓我無從下手,顯得些許的手足無措。萬事開頭難,每個領域都有它的獨特的行業特性和知識壁壘,這在我決定從零開始學習大資料的有關知識時就想到了的。如何處理龐雜無章的海量資料是我作為新手的第一個難關,我知道經驗豐富的人可以輕裝上陣,而毫無經驗的我就要摸著石子過河,邊學邊幹。因而我要付出比對手更多的艱辛與努力才能和他們站在同一起跑線上。

於是我開始瘋狂地查閱有關預測的論文與資料,思考方法的可行性,敲擊程式碼,確定模型。一輪一輪地思考,一遍一遍地修改,提出想法、研究討論、coding修改,不斷地失敗,不斷地提出新idea,最終和隊友一起折騰出了比賽的初始模型。那段時間出門辦事,在火車上看論文,在走路時思考,在酒店寫程式碼寫到深夜,辛苦的日子總是難熬的,但有心人終天不負,初賽中最好時排名第八給了我很大的激勵,讓我不再是一腔熱血地躍躍欲試,而是發自內心地覺得也許我真的可以。還記得比賽期間我突發39.9的高燒並在醫院隔離區做各項核酸檢測,但在強烈的擔憂下依舊帶病完成了當天的程式碼整合與結果提交,直到今日,我自己依舊不知道為什麼那時還要選擇堅持,我想生命就是要做一些有意義的事吧!

再追尋:首登頂喜不自勝似曇花現

“流光容易把人拋,紅了櫻桃,綠了芭蕉。”七月了,複賽開始了。在經過一個多月的探索後,複賽一開始,我和隊友一起綜合改進了之前長時間研究的方法,整理好結果後提交,本以為是一次非常普通的改進,結果一下登頂榜首。當時面對螢幕的我愣了一秒,下一秒就把訊息告訴了隊友。好結果總是格外的激勵人心,在接下來的一週,我都一直保持著十分亢奮的心情,與隊友積極討論,繼續改進。

故事到這裡就結束的話,結局就過於圓滿了吧。然而世上哪有那麼多的一帆風順,生活的本質是曲折。沒過多久,我們就從榜首掉了下來,其他隊伍們開始發力了,然而我們卻進入了瓶頸期,彷佛才思枯竭,江郎才盡,眼看著排名一天一天地往下掉,也找不到有效的方法來提升結果。暑氣燥熱,一邊蒸騰著不安的新聞,一邊煎熬著停滯的思緒。漫長的迷茫和困頓讓我不斷懷疑自己、否定自己,我開始失眠了,漫長的黑夜不再帶給我靈感,而把我推進了更深層次的焦慮與無休止的自我懷疑中。

當時在和老師的彙報後,老師讓我自己決定是堅持還是放棄。放棄總是很容易的,難的是堅持。這樣的狀態又持續了將近半個多 月,直到偶然我在超市看到無問西東電影的播放,那句“聽從你心,無問西東”,從心底裡打動了我。這個時代並不缺優秀的人,而是來自的心底熱愛、執著與同情。從那時起,我放下了壓力,放下了心底的追逐,專心做事,繼續深入探究,不追求最後的完美,迴歸本心。

終定局:尾聲中勝負已定楊帆起航

7月31號,12點的鐘聲剛過,本次百度大資料競賽的複賽圓滿結束,我們最終複賽排名第三名。從零開始接觸大資料到最後奪得比賽第三名,賽程過半好幾次問鼎榜首時的確讓我希冀過第一名,但我知道別用別人的強項來折磨和否定自己,每個人都有不同的天賦與際遇,這是無法復刻的。第三名,這是我們全力拼搏的結果,因此我也不覺得遺憾,我將永遠感謝這場比賽帶給我的經歷。

生命不息,折騰不止。

相關連線:
競賽官網:http://www.ikcest.org/bigdata2020/?from=001
github原始碼:https://github.com/zhuwanling/2020-Baidu-Big-Data-Competition-3th
答辯PPT :https://pan.baidu.com/s/1q9UTO6zIkMip2JVIs_eKYA提取密碼:j9fx
知乎方案講解:https://zhuanlan.zhihu.com/p/267498216