既然你來到了這裡，想必你肯定已經知道了神箭手雲爬蟲平臺是幹什麼的，目的也是非常的明確。
那麼接下來的過程中，我將給你演示如何在最快時間內編寫一個簡單的爬蟲，每一個屬性的講解，將會讓你一路順風。

進入爬蟲市場

首先進入爬蟲市場，登入，連結在這–爬蟲市場。

在這裡也可以使用別人的爬蟲和API，但是這不是我們的目的，況且博主自己把大部分爬蟲看了，很少會有人將爬蟲的程式碼開源出來，只有去官方的GitHub能看到幾個例子，但是對於初學者來說，還是稍微難了一點。

這裡是神箭手的開發文件，如果你想真的寫爬蟲，最好還是先過一遍文件，連結在這–開發文件。

第一遍應該能瞭解個大概，但是又不知從何入手，沒關係，主題來了。

建立爬蟲

進入我的控制檯或者我的爬蟲，點選新建應用。

然後彈窗中選擇自己開發，輸入名字，點選建立。

進入到專案中。

編輯程式碼

這裡是我一個採集名叫牛人微信的一個小網站。

var configs = {
  domains: ["weixin.niurenqushi.com"],
  //定義爬蟲爬取哪些域名下的網頁, 非域名下的url會被忽略以提高爬取速度

  scanUrls: ["http://weixin.niurenqushi.com/"],
  //定義爬蟲的入口連結, 爬蟲從這些連結開始爬同時這些連結也是監控爬蟲所要監控的連結

  contentUrlRegexs: "http://weixin\\.niurenqushi\\.com/article/list\\-\\d+.html"
 
,
  //定義”內容頁”url的規則“內容頁”是指包含要爬取內容的網頁, 比如,“http://www.qiushibaike.com/article/117844937“就是糗事百科一個”內容頁”

  helperUrlRegexes: ["http://weixin\\.niurenqushi\\.com/article/2016-11-30/\\d+.html"],
  //定義”列表頁”url的規則對於有列表頁的網站, 使用此配置可以大幅提高爬蟲的爬取速率“列表頁”是指包含”內容頁”列表的網頁, 比如,“http://www.qiushibaike.com/8hr/page/2/?s=4867046“就是糗事百科的一個”列表頁”
 


  enableJS: false,
  //是否使用JS渲染預設值是false, 如果需要使用JS渲染, 可以設定此項為true

  interval: 3000,
  //爬蟲爬取每個網頁的時間間隔單位: 毫秒

  fields: [
  //定義”內容頁”的抽取規則規則由一個個field組成, 一個field代表一個數據抽取項
    {
        name: "article_title",//名稱欄位，可以隨便取
        selector: "//div[contains(@class,'contitle')]/h1",//指的是你要抓取的內容在哪個標籤中，這裡就是在一個名叫contitle的div中的h1中抓取內容
        required: false//是否能為空
    },
    {
       name: "article_content",
       selector: "//div[contains(@id,'contentbody')]",
       required: false
    },
    {
       name: "article_publish_time",
       selector: "//div[contains(@class,'contitle')]//div",
      required: false
    },
     {
       name: "article_topic",
       selector: "//a[contains(@class,'ly')]",
      required: false
    }
  ]
};

//下面這個方法，當一個field的內容被抽取到後進行的回撥, 在此回撥中可以對網頁中抽取的內容作進一步處理
configs.afterExtractField = function(fieldName, data, page){
  if (fieldName == "article_content") {
        return cacheImg(data); // 返回可被託管到圖片雲伺服器上的url，如果你只想將資料儲存在本地，那麼這個可以不寫。
    }
     if(fieldName=="article_publish_time"){
      data = Date.parse(new Date())/1000+"";//將抓取到的時間轉換成2016-12-4形式
    }
  return data;
};

var crawler = new Crawler(configs);
crawler.start();//開啟爬蟲

可以在右邊測試欄先測試。

抓取結果

點選左側總覽，然後右上角啟動。

稍作等待。

點選左側爬取結果。

釋出結果

不論你是想釋出到網站上還是儲存資料下來，平臺都有方法。

如果想要匯出Excel表格形式，點選左側匯出到檔案。按需求選擇，點選生成檔案即可。

如果是想釋出到網站上，點選這裡，會有很好的解釋。–資料釋出

這裡有很多整合式網站的介面，可以直接使用，博主就是用的wecenter釋出的資料，www.nicesunny.com，網站沒啥東西。

如果在釋出過程後，資料被髮布了，但是其中的圖片沒有顯示出來，那麼可以試試神箭手平臺的圖片託管，有三種，阿里，七牛，神箭手，為了方便，我用的神箭手。

好了，如果有其他的問題，隨時可以聯絡博主，郵箱[email protected]。

如果喜歡的話，請在GitHub上給上一顆star吧！