A公司(爬蟲工程師）

1.國際慣例，請您做一下自我介紹？

2.說一下你為什麼從上一家公司中離職？

3.HTTP你瞭解嗎，有幾次握手？

4.說說你在爬取網站的過程中，哪家或者哪幾家公司是你覺得最難爬的，為什麼？

5.驗證碼識別你瞭解嗎，你遇到過需要驗證碼識別的網站嗎，你是怎麼處理的？

6.Tesseract的工作原理是什麼，你是怎麼訓練你的Tesseract？

7.封IP後你是如何處理的，你是如何獲取代理IP的

8.redis的工作原理？它是通過什麼來去重的？

9.假如某一事件有好幾家網站進行報道，你是通過是什麼來判斷這幾家網站報導的是同一間事件（也就是所謂的去重）？

建議：多媒體（微信方面）

B公司（爬蟲工程師）

首先是筆試，有Linux基礎（如何檢視目錄、如何檢視磁碟記憶體以及如何刪除某一字串型別的程序問題）、Java基礎(單例設計模式、JVM的記憶體結構、gc原理）、Web方面(session和cookie的解釋、HTTTP的幾次握手、如何判斷一個單鏈表是閉合的還是開放的）

1.國際慣例，請您做一下自我介紹？

2.你是學python的對嗎，假設我是一個不懂程式語言的人，你給我介紹一下python？

3.給我說說你為什麼從上一家公司中離職？

4.你學程式設計多久了，都學了哪些內容？

5.來說說你的專案吧，說一下你在整個Web專案中的職責？

6.你是怎麼設計這整個Web專案的，都有哪些模組，以及又是如何與資料庫進行互動的？

7.談一下你的另外一個專案吧，你都爬了哪些網站，說說你覺得印象最深刻的或者你覺得最難爬的一個網站？

最後又做了套筆試題：兩個有50億個URL的檔案A,B，每個URL大小為64位元組，現有4G記憶體，磁碟大小為500G，設計一個方案來取出這兩個檔案相同的URL。