網路爬蟲--之爬起校招資訊程式碼
阿新 • • 發佈：2019-01-06
記得去年10月份那會兒，正是校招高峰期，北郵人和水木上的校招資訊特別多，各種企業都在瘋狂地刷屏。
於是每天我都要經常開啟北郵人和水木的招聘資訊版塊，一頁一頁地篩選我所關注的公司和職位的校招資訊，卻仍然會漏掉一些重要的校招資訊。
重複的事情做久了，就有了自動化的想法。
於是當時我寫了一個小爬蟲給自己用，選擇爬取北郵人和水木的招聘資訊版塊，爬蟲會根據自定義關鍵字(如“應屆”、“校招”、“Google”)先對校招資訊進行過濾，然後儲存到本機redis中。本機若搭有lamp環境，那麼直接從redis讀取資訊到web頁面上即可。
這個小爬蟲的目的，就是把各路校招資訊聚合在一起並且過濾出自己感興趣的校招資訊如Google的校招、百度的校招等等。
此外，這個小玩意還幫了我大忙，13屆阿里補招的時候讓我在單位時間內看到了補招資訊，火速投出簡歷並最終抓住了機會。
據我所知，後來投遞的應屆生簡歷都已經晚了。
天下武功，唯快不破。
這個小爬蟲在我的機器上跑了快一年了，雖然對它挺有感情，但如今對我來說也沒有什麼用了。新的一輪校招快到了，我決定把它分享出來，有需要的童鞋直接拿去就可以用，有興趣的同學也可以很容易地擴充套件它，滿足自己的個性化需求。
初步介紹可以見博文
Talk is cheap, show you the code.
感謝@mmoonzhu的patch。
PS:已增加手機簡訊通知功能，利用了139郵箱簡訊通知的原理，移動聯通電信都可以用。
Enjoy it.
於是每天我都要經常開啟北郵人和水木的招聘資訊版塊，一頁一頁地篩選我所關注的公司和職位的校招資訊，卻仍然會漏掉一些重要的校招資訊。
重複的事情做久了，就有了自動化的想法。
於是當時我寫了一個小爬蟲給自己用，選擇爬取北郵人和水木的招聘資訊版塊，爬蟲會根據自定義關鍵字(如“應屆”、“校招”、“Google”)先對校招資訊進行過濾，然後儲存到本機redis中。本機若搭有lamp環境，那麼直接從redis讀取資訊到web頁面上即可。
這個小爬蟲的目的，就是把各路校招資訊聚合在一起並且過濾出自己感興趣的校招資訊如Google的校招、百度的校招等等。
此外，這個小玩意還幫了我大忙，13屆阿里補招的時候讓我在單位時間內看到了補招資訊，火速投出簡歷並最終抓住了機會。
據我所知，後來投遞的應屆生簡歷都已經晚了。
天下武功，唯快不破。
這個小爬蟲在我的機器上跑了快一年了，雖然對它挺有感情，但如今對我來說也沒有什麼用了。新的一輪校招快到了，我決定把它分享出來，有需要的童鞋直接拿去就可以用，有興趣的同學也可以很容易地擴充套件它，滿足自己的個性化需求。
初步介紹可以見博文
抓取北郵人論壇和水木社群校招資訊的爬蟲程式, 直接執行main.py即可在本機(http://127.0.0.1:8888)訪問，非常簡潔，可以擴充套件。
此外，已經增加手機簡訊通知功能，移動、聯通、電信都可以用。
Enjoy it.
Talk is cheap, show you the code.
感謝@mmoonzhu的patch。
PS:已增加手機簡訊通知功能，利用了139郵箱簡訊通知的原理，移動聯通電信都可以用。
Enjoy it.