PhantomJs 入門小demo

為啥要用PhantomJs呢，而不是superagent + cheerio？後者只可以爬取一些靜態網頁是非常好用的，但是遇到了動態JS載入資料的網頁就束手無策了。所以這裡選取了phantomJs作為爬蟲的工具（又稱無頭瀏覽器）

• 官網下載phantomJs的exe程式

• 配置phantomJs環境變數

  • mac配置

    我用的是Iterm2 + Oh my zash 所以我配置的是.zshrc檔案

    
    alias phantomjs='/Applications/phantomjs/bin/phantomjs'

• 編寫Js檔案

  例子

  var page = require('webpage').create();
  phantom.outputEncoding="utf-8";//指定編碼方式
  page.open("http://news.163.com/", function(status) {
  if ( status === "success" ) {
      // 載入成功
      console.log(page.content) // 輸出全部網頁內容（動態載入資料以後的網頁）
  } else {
  console.log("網頁載入失敗");
  }
  phantom.exit(0);//退出系統
  });

- 命令執行

phantomjs xxx.js