背景

最近在組內做一些爬蟲相關的工作，本來想自己簡單造個輪子的，但是經網友推薦後，採用了node-crawler，用了一段時間過後，確實滿足了我的絕大部分需求，但是其 api 卻不支援 promise，而且我還需要一些同步爬取、同步處理的能力，如果不用 promise 的話，寫法很不優雅，所以我就簡單地給其封裝了一層 promise api

現狀

目前 node-crawler 的使用方式不支援 promise ，這裡直接給出 npm 上的使用例子

const Crawler = require("crawler")

// 例項化
const c = new Crawler({
  // ... 可以傳入一些配置
  callback : function (error,res,done) {
    // 請求回撥，例項化的時候傳入的 callback 是作為預設 callback 的，後續每次抓取如果沒有傳入 callback，那麼都會呼叫預設 callback
    done();
  }
})

// 爬取
c.queue([{
  uri: 'http://parishackers.org/',jQuery: false,// The global callback won't be called
  callback: function (error,done) {
    if(error){
      console.log(error);
    }else{
      console.log('Grabbed',res.body.length,'bytes');
    }
    done();
  }
}])

這樣的回撥方式對於多爬蟲同步爬取很不友好

改造

理想使用方式：

const Crawler = require('crawler')

const c = new Crawler({
  // 一些預設配置
})

c
.queue({
  uri: 'xxx'
})
.then(res => {
  // 抓取成功
})
.catch(err => {
  // 抓取失敗
})

改造方案：

// utils/crawler.js
const Crawler = require('crawler')
const defaultOptions = {
 jQuery: false,rateLimit: fetchRateLimit,retries: 0,timeout: fetchTimeout,}

module.exports = class PromiseifyCrawler extends Crawler {
  // namespace 是為了後續抓取結果統一上報時候進行區分
  constructor(namespace = 'unknow',options = {}) {
   if (typeof namespace === 'object') {
    options = namespace
    namespace = 'unknow'
   }
   
   options = merge({},defaultOptions,options)

   const cb = options.callback
   options.callback = (err,done) => {
    typeof cb === 'function' && cb(err,noop)
    process.nextTick(done)
    // 在這裡可以自定義抓取成功還是失敗
    // 我這裡直接設定的是如果 http code 不是 200 就視為錯誤
    // 而且在這裡也可以做一些抓取成功失敗的統計
    if (err || res.statusCode !== 200) {
     if (!err) err = new Error(`${res.statusCode}-${res.statusMessage}`)
     err.options = res.options
     err.options.npolisReject(err)
    } else {
     res.options.npolisResolve(res)
    }
   }
   options.headers = Object.assign({},options.headers,{
    'X-Requested-With': 'XMLHttpRequest',})
   super(options)
  }
 
  queue(options = {}) {
   // 每次抓取都是一個新的 promise
   return new Promise((resolve,reject) => {
    // 然後在 options 裡掛載上 resolve 和 reject
    // 這樣在全域性 callback 上就可以用到了
    options.npolisResolve = resolve
    options.npolisReject = reject

    const pr = options.preRequest
    options.preRequest = (options,done) => {
     typeof pr === 'function' && pr(options,noop)
     // 在這裡也可以做一些通用的抓取前的處理
     
     done()
    }

    super.queue(options)
   })
  }
  
  // direct api 同理
 }
// 使用
const Crawler = require('./utils/crawler')

const crawler = new Crawler('示例爬蟲 namespace')

crawler
.queue({
 uri: 'xxx',preRequest: options => log('開始抓取'),})
.then(res => {
 log('爬取成功')
 return res
})
.catch(err => {
 log('爬取失敗')
 throw err
})
promise 化後，多個爬取任務同步爬取寫法就友好多了：

// 抓取任務1
const fetchTask1 = () => crawler.queue({/* 配置 */}).then(res => handle(res))
// 抓取任務2
const fetchTask2 = () => crawler.queue({/* 配置 */}).then(res => handle(res))

const fetch = () => {
  return Promise.all([
    fetchTask1(),fetchTask2(),])
}

fetch()

這樣就完成了對 node-crawler 的 promise 化改造了

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。