百度爬蟲這個詞語，一般出現的都是python相關的資料。

py也有很多爬蟲框架，比如scrapy，Portia，Crawley等。

之前我個人更喜歡用C#做爬蟲。

隨著對nodejs的熟悉。發現做這種事情還是用指令碼語言適合多了，至少不用寫那麼多的實體類。而且指令碼一般使用比較簡單。　　

在github上搜索node+spider，排名第一的就是node-crawler

github:https://github.com/bda-research/node-crawler

簡單使用

npm 安裝：

npm install crawler

new一個crawler物件

var c = new Crawler({
 // 在每個請求處理完畢後將呼叫此回撥函式
 callback : function (error,res,done) {
  if(error){
   console.log(error);
  }else{
   var $ = res.$;
   // $ 預設為 Cheerio 解析器
   // 它是核心jQuery的精簡實現，可以按照jQuery選擇器語法快速提取DOM元素
   console.log($("title").text());
  }
  done();
 }
});

然後往crawler佇列裡面不停的加url就行了，

// 將一個URL加入請求佇列，並使用預設回撥函式
c.queue('http://www.amazon.com');

// 將多個URL加入請求佇列
c.queue(['http://www.google.com/','http://www.yahoo.com']);

控制併發速度

爬蟲框架一般都是同時去爬多個頁面，但是速度過快會觸發目標網站的反爬蟲機制，也同時影響別人網站的效能。

控制最大的併發數量

var c = new Crawler({
 // 最大併發數預設為10
 maxConnections : 1,callback : function (error,done) {
  if(error){
   console.log(error);
  }else{
   var $ = res.$;
   console.log($("title").text());
  }
  done();
 }
});

使用慢速模式

使用引數rateLimit啟用慢速模式，兩次請求之間會閒置rateLimit毫秒，而maxConnections將被強行修改為 1 。

var c = new Crawler({
 // `maxConnections` 將被強制修改為 1
 maxConnections : 10,// 兩次請求之間將閒置1000ms
 rateLimit: 1000,done) {
  if(error){
   console.log(error);
  }else{
   var $ = res.$;
   console.log($("title").text());
  }
  done();
 }
});

下載圖片等靜態檔案

var c = new Crawler({
 encoding:null,jQuery:false,// set false to suppress warning message.
 callback:function(err,done){
  if(err){
   console.error(err.stack);
  }else{
   fs.createWriteStream(res.options.filename).write(res.body);
  }
  
  done();
 }
});

c.queue({
 uri:"https://nodejs.org/static/images/logos/nodejs-1920x1200.png",filename:"nodejs-1920x1200.png"
});

以上就是node.js爬蟲框架node-crawler初體驗的詳細內容，更多關於爬蟲框架node-crawler的資料請關注我們其它相關文章！