網路爬蟲能夠從網站某1個網頁頁面(通常是首頁)開始，讀取網頁的資訊，找到在網頁中的其它連結地址，之後經由這些連結地址尋找下1個網頁，這樣一直迴圈下去，直到把這個網站所有的網頁都爬取完為止。

進群：960410445 獲取更多爬蟲原始碼！

上次發現Android QQ和iOS QQ能夠顯示網路狀態(2G/WiFi)之後，突然想到，這樣子好像能夠監視某人的出行和作息規律。簡單的來說，在家裡或者工作的地方，一般是有WiFi的，之後出門了，WiFi就斷掉了。如果監測頻率足夠頻繁，那麼結合一定的推理，能夠大致推測出1個人的行動。如果長期監視，那麼能夠大致推出1個人的作息時間。

因為只有Android QQ和iOS QQ有這個功能，所以要得到1個人的網路狀態比較麻煩。我的做法是跑 Android 模擬器。之後用按鍵精靈模擬，並把網路狀態截圖，用 curl post到伺服器上。伺服器會把每次傳送的時間、截圖儲存下來。因為是用程式截圖的，所以只要網路狀態是一樣的，那麼截圖就是一樣的，這樣伺服器就只會儲存2~3張圖片而已，其餘的發現是相同的圖片，資料庫做個標記就好了。之後人工做OCR，還是注意到只有2~3張圖片，所以工作量很少。

得到資料後，要做各種統計就能夠自己搞了……

@楊森

在用Python寫網頁網路爬蟲之前，我只用來寫過了1個駕校約車的指令碼，讓當時的我不懼上萬的學車同僚，在約車環節沒有輸在起跑線上。

接著那段時間，我女朋友的領導每天下班都會下任務，要收集100條有招聘需求的資訊，第二天檢查。看到她熬夜百度+複製貼上到半夜，心疼死了。

想到了某個牛人說:一切重複性的工作都能夠用程式來完成。於是偷偷花了些時間研究了下她經常查的某些同類業務網站的網頁頁面資料，培育了這隻網路爬蟲。主要技能就是爬這些網站的招聘公司資訊及聯絡方式，儲存到Excel中。

在我將戰鬥成果----1000多個客戶資料的Excel表格發給她的時候，先驚喜，後審問，再感慨!依稀記得那天她發了一條朋友圈，資訊是：“有個程式設計師男朋友，感覺好幸福啊!!”成就感走直線啊，都能讓她感到幸福，你說這隻網路爬蟲是不是做了很酷很有趣的事情呢?

@ animali

用網路爬蟲技術做了個個人資訊收集系統，部署在卡片式電腦(如樹莓派、Cubieboard)上。

為什麼Python更適合網路爬蟲

C，C++。高效率，快速，適合通用搜索引擎做全網爬取。缺點，開發慢，寫起來又臭又長

指令碼語言：Perl, Python, Java, Ruby。簡單，易學，良好的文字處理能方便網頁資訊的細緻提取，但效率往往不高，適合對少量網站的聚焦爬取

C#?(貌似資訊管理的人比較喜歡的語言)

因為寫網路爬蟲是一邊寫，一邊測試。測試不過再改改。這個過程用 python 寫起來最方便。

Python 有 scrapy 這樣成熟的框架，我們大可不必自己從0開始

即使從0開始，以 Python 簡潔的語法和一大波成熟的庫，寫起來相當的快。

可見網路爬蟲應用之廣泛和重要，但是網路爬蟲的執行少不了代理IP的輔助，大家在選擇代理ip的時候千萬要用心哦~——太陽換ip軟體