一些大型的網站都會有robot.txt，這算是與爬蟲者的一個協議。只要在robot.txt允許的範圍內爬蟲就不存在道德和法律風險，只不過實際上的 爬蟲者一般都不看這個。控制採集速度。過快的採集會對網站伺服器造成不小的壓力，如果是效能差的小站可能就會被這麼搞垮了。因此放慢採集速度相當於各退一 步，既給網站減輕壓力，也降低自己被封禁的風險。爬蟲目前在法律上尚屬灰色地段，但爬別的網站用於自己的商業化用途也可能存在著法律風險。非法抓取使用 “新浪微博”使用者資訊 “脈脈”被判賠200萬元，這是國內的一條因爬蟲被判敗訴的新聞。所以各商業公司還是悠著點，特別是爬較為隱私的資料。 百家網路部落格抓取情況 可以看到現在幾乎維持在200~300/天的這個範圍，不要以為11.28~12.13抓取頻次非常高，甚至有的時候還達到了900頻次，後來怎麼降下來了啊，是不是降權了啊，我可以告訴你，這段時間都是極不正常的，只有降下來之後的才是正常的現象，而且在高峰期之前也是200~300頻次的，即大部分都是200~300頻次。對此我得出結論：個人部落格站點蜘蛛的正常訪問頻次為200~300次/天，為了使得結果的科學以及具有說服性，我還問過一些資深站長，他們反映蜘蛛對他們站點的抓取也是200~300次/天。 抓取壓力就是百度蜘蛛baiduspider在單位時間內對網站伺服器訪問的頻率和總次數。 那麼Baiduspider對一個網站伺服器又是如何造成抓取壓力的？ 為了達到對目標資源較好的檢索效果，Baiduspider需要對您的網站保持一定量的抓取。百度官方的解釋說百度蜘蛛儘量不給網站帶來不合理的負擔，並會根據伺服器承受能力、網站質量、網站更新等綜合因素來進行自動調整。 要是你覺得baiduspider的抓取明顯造成了伺服器壓力，你還可以提交申請進行抓取壓力反饋？ 第一步，登入百度站長平臺：zhanzhang.baidu.com 第三步，選擇左側”網站分析”→“壓力反饋” 第四步，在已認證歸屬的站點列表中選擇需要查詢的站點 第五步，得到站點抓取壓力曲線圖及壓力調整入口頁面 通過百度站長工具檢視自己站點被百度spider訪問的情況，並可調節百度spider每天訪問網站的壓力值，百度也會根據伺服器壓力自動調整抓取頻率，不過如果不太瞭解百度spider爬取頻率具體什麼意義那麼我們還是別自定義爬取頻率比較好，工具包括以下兩點功能： 檢視最近一個月的天級抓取量趨勢圖 壓力情況反饋，可調節天級抓取壓力的大小，調整的資料作為參考，不保證生效 1）一要看爬蟲寫的怎麼樣，二要看網站應用寫的怎麼樣。若爬蟲爬的守規矩，網站寫的也符合規範，則幾乎沒有影響。若不是，那就啥奇葩的事都會發生。 比如，某公司的網站只要有爬蟲來爬（及其守規矩），伺服器CPU就會從20%的水平直升到80%+的水平，響應時間由100ms增長到500ms+之上。大家含淚笑著說，難怪沒人來DDOS，這個只要正常訪問量多點就能掛掉的網站，一點DDOS的成就感都沒啊。 2） 網路中的爬蟲有很多，有大的搜尋引擎公司的爬蟲，比如google的Googlebot，百度的baiduspider，搜狗的sogou spider，有道的YodaoBot，騰訊的Sosospider，msn的是Msnbot。還有一些個人開發的用來嘗試的小的爬蟲。因此即使同一站點，對於網路中的不同爬蟲的壓力允許程度不同的。 3） 站點對於爬蟲的壓力允許程度不是公開的。 由於網路上的爬蟲，站點不可能一一告訴各個爬蟲其允許的壓力程度。同時站點也大致都沒有告訴爬蟲其壓力程度。站點都是在自己的伺服器管理上新增爬蟲訪問的限制工具。當爬蟲壓力過大時直接封禁爬蟲處理。 4）但是即便對於爬蟲來說進行壓力控制是一個困難的問題，但是對於一個正規的爬蟲來說，如果想爬蟲站點的資料，就不得不面對這個問題。 而站點的壓力控制可以分為以下幾點： 壓力的形式：通常來說，壓力主要分為兩個部分：抓取間隔和併發度。抓取間隔是兩次抓取時間的時間視窗。而併發度，則是同一時刻有幾個執行緒或者程序在訪問站點。比如抓取間隔為10s，併發度為1，就是每隔10s訪問站點的1個連結。這兩個引數決定了爬蟲對站點的抓取壓力。而且這兩個引數的不同造成的壓力是不相同的。比如說抓取間隔為10，併發度為10，是每隔10s訪問站點的10個連結， 其在100s內訪問的連結為100/10*10= 100個連結。而抓取間隔為100，併發為100，其在100s內訪問的連結為100/100*100= 100個連結。雖然兩個在100s。看起來訪問的站點連結數量是相同的，但是對站點的壓力來說是不同的。因為間隔為100，併發為100的這種壓力，雖然間隔相對較長，但是在一個瞬時100的壓力對站點來說可能會較大的。 對站點來說，一段時間訪問總量過大會造成壓力過大，而在同一時刻併發數較多，也是會造成壓力過大的問題的。 壓力的粒度：爬蟲面對的是一個一個的站點，而實際上，爬蟲抓取是經過dns解析成站點的ip，而站點和ip之間的關係是一種多對多的關係。即一個站點可能對外有多個ip，而一個ip上也可能有多個站點(通常是一些託管小站，託管在一個站點上)。 壓力控制以站點為單位的話，邏輯上要簡單。但是對於一個ip上多個站點可能會造成壓力大的問題。而以ip為單位，則需要考慮一個ip上多個站點的輪轉問題。同時一個站點多個ip時，還需要考慮多個ip上的壓力分攤問題。 也可以採取<站點，ip>的二元組的粒度來控制壓力。機制上相對複雜一些，但是可以更好的控制壓力。 壓力的計算：壓力計算是壓力控制的核心。其中有複雜的策略。後面單獨介紹該問題。 壓力的執行：理論的壓力計算的再好，也需要按照計算的壓力執行，才能達到預期的效果。這就要考慮抓取快取的設定問題，快取是有效的，因此不能無限制的將資料發給快取。而快取的資料如果不足，則會導致壓力執行的中斷，導致這段時間配額的浪費。 5） 壓力計算的策略 壓力計算主要考慮的因素： 站點規模：一般來講，站點規模較大，站點的使用者訪問頻度較多，站點的壓力承受程度相對要大些。其可以作為一個參考因素。 站點質量：站點質量指站點的資料是否是特別需要的，即質量較高，並且可代替性較低。站點質量較高的站點，代表爬蟲對其的抓取需求高。需要的抓取壓力控制程度高。 站點成分：站點的成分一般指站點的索引頁的比例。如果索引頁較多，承擔著其他站點提供索引的功能，則其可以幫助我們發現連結。應該為其提供相對多一些的抓取。 站點待抓比：站點的待抓取比高，表明站點的抓取需求大，希望抓取的資料更多一些。但是，計算站點待抓比時需要考慮歷史因素，即由於歷史因素的造成的待抓比高，不能覬覦短期內可以彌補而將壓力調節的較大。 站點訪問時間： 一般來講，站點的訪問時間較大時，代表站點的伺服器壓力較大。此時應該降低抓取壓力，以造成對方伺服器的崩潰或者對方的封禁。 站點的約定： 站點主動提供抓取壓力說明時，應該控制抓取壓力不超過對方設定的壓力限制。 站點抓取結果： 如果站點的抓取成功比率降低時，一般表示站點的壓力可能較大。此時應該注意降低站點壓力，以避免無效的抓取和站點的封禁。而且這時的抓取可能會帶來我們死鏈判斷的誤判。如果站點已經明確封禁或者發現站點封禁的話，則應該降低至很低的抓取壓力，使用少量的幾個url來測試站點是否解除封禁。 6）抓取壓力需考慮的其他問題 上面是我們進行壓力計算的時候需要考慮的問題，但是實際的問題是複雜的。比如站點規模較大隻是代表了站點能承受的壓力較大，但是站點如果對於爬蟲不夠友好的，則可能允許爬蟲的壓力較小。在設定了抓取壓力時，我們也需要對我們的抓取情況進行監控統計，來觀察按照我們計算的壓力執行時，是否合理。另外，在具體環節中的情況多種多樣。比如有些站點對於不同時段對於爬蟲的壓力允許程度是不同的。比如站點在早上八點到十點和下午兩點到五點這種工作時間會有較多的使用者訪問，希望爬蟲能避開這樣的使用者訪問高峰來訪問，對於時效性允許的網站我們應該考慮該問題。同時還有新聞這種時效性站點，可能在編輯的上班時間釋出的新聞較多，這時候需要相對較大的抓取壓力。而在晚上的時段則可能產生的新聞較多，我們對於新聞HUB也的抓取頻度可以適當降低。