六月分享主題：爬蟲
HTTP詳解
網頁結構簡介

前段時間我媽突然問我：兒子，爬蟲是什麼？我當時既驚訝又尷尬，驚訝的是為什麼我媽會對爬蟲好奇？尷尬的是我該怎麼給她解釋呢？

一、爬蟲介紹

1.爬蟲是什麼

網路爬蟲(web crawler 簡稱爬蟲)就是按照一定規則從網際網路上抓取資訊的程式，既然是程式那和正常使用者訪問頁面有何區別？爬蟲與使用者正常訪問資訊的區別就在於：使用者是緩慢、少量的獲取資訊，而爬蟲是大量的獲取資訊。

這裡還需要注意的是：爬蟲並不是Python語言的專利，Java、Js、C、PHP、Shell、Ruby等等語言都可以實現，那為什麼Python爬蟲會這麼火？我覺得相比其他語言做爬蟲Python可能就是各種庫完善點、上手簡單大家都在用，社群自然活躍，而社群活躍促成Python爬蟲慢慢變成熟，成熟又促使更多使用者來使用，如此良性迴圈，所以Python爬蟲相比其他語言的爬蟲才更火。

下面是一段hello world級別的Python爬蟲，它等效於你在百度搜索關鍵字：python。

2.爬蟲案例

既然爬蟲是大量抓取網頁，那是不是爬蟲都是不好的呢？答案當然不是，可以說我們的日常上網已經離不開爬蟲了，為什麼這麼說？下面我就為大家盤點幾個爬蟲日常應用：

1. 搜尋引擎：如Google、百度、雅虎、搜狗、必應等等很多搜尋引擎其本質就是一個（可能多個）巨大爬蟲，這些搜尋引擎工作原理是：頁面收錄->頁面分析->頁面排序->響應關鍵字查詢，也就是說它會先把網際網路上很多頁面儲存到伺服器，然後分析網頁內容建立關鍵字索引，最後使用者輸入關鍵字的時候去查詢內容，然後根據相關性排序（百度害人的競價排名毫無相關性可言），第一步的頁面收錄就是爬蟲，百度檢視一個網站有多少網頁被收錄方法，百度輸入：site:你想查詢的網站，如：site:blog.csdn.net。
2. 搶票軟體：很多人在吐槽12306卡，可你不知道12306幾乎每天都相當於淘寶雙11的流量，這誰受得了。為什麼每天都是如此高的流量？答案自然是爬蟲了，為什麼搶票軟體可以搶票？因為它在不斷的重新整理和監控是否有餘票，大大小小這麼多搶票app，訪問量之高可想而知。之前很多公司都出過搶票外掛，如：百度、360、金山、搜狗等等，後來都被鐵道部約談下線了，而現在又流行搶票app，為什麼搶票app可以，外掛就不可以？可能是因為管理和可控性的原因。
3. 惠惠購物助手：這是一款能進行多個網站比價並能知道最低價的一個網站，其工作原理也是通過大量爬蟲爬取商品價格然後儲存，這樣就可以製作一個價格走勢圖，幫助你瞭解商品最低價。

二、爬蟲的價值

從上面舉的幾個例子來看，爬蟲對整個網際網路的價值真的無法估量，那對於小我而言，爬蟲能給我們帶來哪些價值？

1.隱形的翅膀

如果你問我學完Python基礎之後該學習什麼技能？我會毫不猶疑的說爬蟲，為什麼是爬蟲？

1. 爬蟲相對其他技能簡單易學，且效果立即可見，會有一定的成就感
2. 爬蟲可以說是其他技能的基石，因為他是資料的來源，現在這個時代誰有資料誰才能稱王，所以會爬蟲絕對會讓你如虎添翼
3. 在國內，很多企業巴不得你啥都會，所以在應聘時，爬蟲會是一個不錯的加分項

2.看不見的商戰

職場對話：

老闆：小明給你個重要任務。
小明：就算996我也在所不辭（第一次接到老闆的直接需求）！
老闆：你能不能搞到競爭對手的商品價格？
小明：沒問題（牛逼先吹出去），小事！
老闆：這可不是小事，只要你能持續獲取競品價格，我們就可以標價低於他們一點點，持續如此大家就知道我們的價格肯定是比他們低，這樣大家就直接來我們這裡購買商品了，到時候慶功宴上你就是最大功臣（先畫個餅）。
小明：老闆牛逼，老闆英明！

3.會爬蟲就可以創業

工作之後很多同學會利用上班空餘時間，來做自己的東西或者專案，別看開始是一個小打小鬧的東西，慢慢豐富將來也許會成為一款成熟的產品。

而爬蟲可以讓你很輕鬆的實現自己的產品，做的好的話就可以創業。這裡豬哥給大家列幾個簡單的創業專案，當然作為一個思維引導。

如果你想做一款好的產品，你需要從使用者需求出發去思考，做解決目前存在的問題的產品或者目前還沒有的服務，也許你的產品就是下一個頭條。

三、盜亦有道

爬蟲既然如此強大而優秀，那是不是會了爬蟲就可以為所欲為？

延伸話題：其實我內心一直有一個疑問：為什麼網際網路公司都偏愛用動植物來命名或作為logo？如：螞蟻金服、天貓、菜鳥、金東狗、騰訊企鵝，百度的熊掌、搜狗、途牛、美團的袋鼠。。。真的是太多了，難道僅僅是因為好記？我認為好記是一個原因，其根本原因是受到程式設計行業的影響，你想想程式設計行業有多少動植物：Java（咖啡）、Python（蟒蛇）、Go（囊地鼠）、PHP（大象）、Linux（企鵝）、Perl（駱駝）、Mysql（海豚）等等，具體為什麼程式設計行業喜歡用動植物這豬哥就不清楚，還請明白的同學留言告知大家！

講上面的延伸話題想表達的是，大自然世間萬物，相生相剋，衡而不禍！而爬蟲也是如此，下面就為大家介紹一下約束爬蟲的幾個點。

1.robots協議

做過網站的同學也許知道，我們在建站的時候需要在網站根目錄下放一個檔案：robots.txt，這個檔案是幹什麼用的呢？

Robots協議，也稱為爬蟲協議、機器人協議等，其全稱為“網路爬蟲排除標準（Robots Exclusion Protocol）”。網站通過Robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。

每個網站的根目錄下都必須放置robots.txt檔案，否則搜尋引擎將不收錄網站任何網頁。

下面我們以百度為例子，來看看百度的robots.txt檔案：

我們在百度robots協議的最下面，有這樣一條：

User-agent: *
Disallow: /

這表示除上面那些定義過的爬蟲以外其他爬蟲都不允許爬取百度任何東西！

2.法律

我們都知道在發起請求時User-agent是可以自定義的，也就是說我們可以繞過robots協議和以User-agent來定義的反爬蟲技術，所以robots協議可能更像一個君子協議，那咱們國家有沒有法律明文規定呢？我們來了解一下非法侵入計算機資訊系統罪：

第二百八十五條 非法侵入計算機資訊系統罪：違反國家規定，侵入前款規定以外的計算機資訊系統或者採用其他技術手段，獲取該計算機資訊系統中儲存、處理或者傳輸的資料，或者對該計算機資訊系統實施非法控制，情節嚴重的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。

我們可以看到重點資訊：入侵計算機獲取資料是違法的，也就是說爬蟲技術本身是無罪的，因為它是獲取的公開資訊，並未非法入侵計算機。但是如果你用爬取到的資料去從事商業化操作，那也許就構成了違法犯罪行為！

給大家介紹下因爬蟲而被判刑的案件：

1. 頭條爬蟲官司：https://dwz.cn/qBBHc2fq
2. 酷米客公司官司：https://dwz.cn/9IpAOHGB
3. 360和百度爬蟲官司：https://dwz.cn/RGRa3HJc

我發現這幾起案件的通性有兩點：1、公司性質。2、競爭對手。3、讓人家找到線索。

最後提醒大家：技術人，要守住自己的底線，違反國家法律法規的事情咱們堅決不能做！

3.反爬蟲工程師

本來想採訪一位攜程反爬蟲工程師，但是他說由於工作保密原因不便接受採訪，所以只好尊重他的選擇！

四、爬蟲現狀

之前豬哥說過網際網路中有超過50%的流量來自爬蟲，那我們就來簡單聊聊目前爬蟲的現狀吧！

1.技術

反爬蟲幾乎和爬蟲同時誕生，它們是相愛相殺的連個技術，如果沒有爬蟲就沒有反扒，而反扒技術又反過來又可以促進爬蟲技術的發展。

1. 互動問題：各種變態的驗證碼充斥，尤其是12306，分分鐘都想爆粗口，以後會越來越變態。。。
2. js加密：最近很流行的一種反扒技術，會爬蟲還得先學js，然後反爬蟲工程師在js裡面各種投毒，殺人誅心。。。
3. IP限制：限制單個ip某段時間內訪問次數

豬哥只介紹了一個反扒技術，當然都有現成的技術解決，但是作為爬蟲員最重的並不是會使用工具或框架去應對反扒，而是能通過自己的思考和摸索破解反扒，因為反扒技術更新快且多樣化。

2.就業

就業的話主要從招聘、薪資、就業形勢三個方面分析，我從網上查閱了一些資料，然後整理以圖片形式提供給大家參考。



資料來源：職友集：https://dwz.cn/6PeU46QY

3.前景

現在很多人並不看好爬蟲的前景，只搞爬蟲的話技術只停留在當前水平，不再學習新知識，不再進步的話，那麼是沒有前途的，總有一天會被時代淘汰，其實其他職位也只如此。

每個職業都是有一個橫向和縱向的發展，也就是所謂的廣度和深度的意思。第一、如果專研得夠深，你的爬蟲功能很強大，效能很高，擴充套件性很好等等，那麼還是很有前途的。第二、爬蟲作為資料的來源，後面還有很多方向可以發展，比如可以往大資料分析、資料展示、機器學習等方面發展，前途不可限量，現在作為大資料時代，你佔據在資料的的入口，還怕找不到發展方向？所以爬蟲也許只是一個起點一個跳板，是你走向人生巔峰的一個基石，總有一天你會迎娶白富美！

五、總結

本期為大家講解什麼是爬蟲、爬蟲的價值、爬蟲的合法性以及爬蟲的現狀，下期豬哥將採訪一位牛逼的爬蟲工程師，讓他為大家講講實際工作中的一些知識以及作為一名爬蟲工程師該掌握和學習哪些技能，讓大家能更近距離接觸爬蟲，如果你有想對他提問的問題，可以在下方留言哦，我會抽取一些問題讓他為大家解答，問題不限