一入爬蟲深似海，從此複製是路人。

都說在這一行混，多多少少都要會點爬蟲，畢竟自己動手豐衣足食，本文記錄小鑫第一次練習爬蟲的過程。僅供參考，歡迎各路朋友指點。（E-mail：[email protected]）

文末有原始碼及資料。

準備 | 必要的工具

chrome瀏覽器+SelectorGadget外掛。

用來獲得網頁中某些部分的相關標籤，若不懂HTML和CSS，強烈安利這個外掛。懂HTML和CSS的話，略過，用不著我來教了。

安裝外掛之後，在網頁的右上角就會出現圖示，在使用的時候單機一下就可以。

點選之後，滑鼠移動到網頁上就會出現一系列的變化，再單機想要知道標籤的地方，比如標題部分：

可以看到，雖然選中了標題，但同時公司名稱和薪資也同樣被選中了，想要取消選中公司名稱很簡單，單機一下公司名稱所在的位置就可以了，如下圖

至於不選中薪資，在這裡沒法做到，不過沒關係，在後面可以進行清理。

當然，也可以通過右鍵檢視網頁原始碼或者右鍵審查，可以檢視標籤，這種方式顯然需要一點HTML基礎。

至於R的操作環境，推薦使用RStudio，沒有原因，它就是非常好……

開始 | 準備爬取

網上有看到爬知乎、爬微博、爬智聯招聘、爬拉勾網，各種網站的爬取方式略微不同，小鑫在找了幾個招聘的網站之後，發現BOSS直聘的網址比較簡單，頁面原始碼也不復雜，因此，就從這裡開始。

先載入需要的包:

library(xml2)
library(rvest)

首先，分析網址

其中個地方引起了我注意：page=2和ka=page-2，小鑫試了一下，只要改變這個數字，就能控制翻頁，這個網站最多隻能顯示30頁，每頁15個。所以，不同頁，除了數字不同之外，其他部分都是一模一樣的，那就好辦了，給出一個變數page，然後用for迴圈：

site1 <- "https://www.zhipin.com/c101280600/h_101280600/?query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page="
site2 <- "&ka=page-"
page <- 1
for(page in 1:30){
  site <- paste(site1,page,site2,page,sep="")
  webpage <- read_html(site)
  循…
  環…
  內…
  容…
  …

}
 

site1和site2控制著整個網址的固定部分，page控制網址的變動部分，從1迴圈到30。

迴圈中的第一個語句，用paste將site1、site2、page連線成一個完整的網址。

第二句：將網頁資訊儲存到webpage這個變數裡，以後的所有抓取動作，都是從這個變數裡來的。

然後，確定抓取內容

這一步主要是回到網頁中來：

可以發現，在每條招聘資訊裡，可以爬取這些內容：標題、薪資、公司名、地點、經驗要求、學歷要求、行業、融資/上市情況、公司規模、關鍵詞、聯絡人及其崗位。

不同的內容在不同的標籤裡面，這裡僅僅拿部分內容舉例說明，其他資訊的爬取都是大同小異的，詳見附件原始碼或聯絡小鑫（E-mail：[email protected]）

值得一提的是，不同招聘資訊的關鍵詞數量不同，所以，我就單獨把關鍵詞作為另一項內容儲存了起來，用於後面做詞雲。

OK | 開始爬取

先爬取標題和公司名稱，用谷歌瀏覽器和外掛，可得知標題和公司名稱所在的標籤分別是：.info-primary .name和.company-text .name，使用如下語句：

name1 <- html_nodes(webpage,'.info-primary .name')# 抓取標題
name2 <- html_nodes(webpage,'.company-text .name')# 抓取公司名稱

檢視name1和name2。

可以看出，已經爬取了正確的資訊，只是需要刪除那些標籤和不需要的內容，接下來的思路就很簡單了，使用gsub函式，將不必要的內容替換成空。

比如：< h3 class=”name”>、< span class=”red”>、< /span>\n這些標籤。

name1 <- gsub("<h3 class=\"name\">","",name1)
name1 <- gsub(" <span class=\"red\">.*","",name1)
name1 <- gsub("</span>\n</h3>","",name1)
name1 <- gsub("</h3>","",name1)
titlename <- as.data.frame(name1)

name2 <- gsub("<h3 class=\"name\">","",name2)
name2 <- gsub("</h3>","",name2)
companyname <- as.data.frame(name2)

這個時候，再看一下資料內容：

儲存資料：

bossdata <- data.frame(companyname,titlename)
bossdata

可以看出，能完成到這一步，基本上算是完成了90%，後面的思路都是大同小異的，注意變換一下形式就OK了，但是還是有一個小問題，就是剩下的10%。

繼續 | 最後一小步

然後就是抓取薪資，這一步也很簡單，直接上程式碼：

# 抓取薪資
salary <- html_nodes(webpage,'.red')
salary <- gsub("<span class=\"red\">","",salary)
salary <- gsub("</span>","",salary)

bossdata <- cbind(bossdata,salary)
bossdata

問題出在了這一步：

# 抓取要求及公司資訊
message <- html_nodes(webpage,'p')
message <- message[-1]
message <- gsub("<p>","",message)
message <- gsub("<em class=\"vline\"></em>",",",message)
message <- gsub("</p>","",message)
message <- gsub("<img",",",message)
message

可以看得出來，問題就在於“地點、工作經驗、學歷”在同一個位置，“行業、融資/上市情況、公司規模”也在同一個位置，這樣的情況下，就不能按照上面的方法來操作了，其實也不難，只要設定一個迴圈，重點就解決了。

# 先設定三個變數，分別讀取message中的不同資料
xx <- c(1:as.numeric(length(message)/3))
yy <- c(1:as.numeric(length(message)/3))
zz <- c(1:as.numeric(length(message)/3))

# xx用來存放message中的地點、經驗、學歷要求
k1 <- 1
l1 <- 1
for(k1 in seq(1:(length(message)/3))){
  xx[k1] <- message[l1]
  l1 <- k1*3+1
}
xx

# 可以看出xx雖然提取正確了，但是還需要進一步處理
xx <- as.data.frame(xx)
xx <- apply(as.data.frame(xx),1,strsplit,",")
xx <- as.data.frame(xx)
xx[1,]

# 分別提取xx中的地點，經驗，學歷
place <- t(as.data.frame(xx[1,]))
experience <- t(as.data.frame(xx[2,]))
education <- t(as.data.frame(xx[3,]))

# 合併資料框
bdata <- data.frame(place,experience,education)
names(bdata) = c("place", "experience", "education")
bossdata <- data.frame(bossdata, bdata)
bossdata

後面需要提取行業、融資/上市情況、公司規模等資訊，都是採用相同的方法，具體內容，可以檢視附件程式碼。至此，最簡單的一個爬蟲就寫好了。

一般來說，行業、融資/上市情況、公司規模這三個是在一起的，但是有兩條資訊，只有兩個內容，如下圖：

我的解決方法是：找到相應的位置，然後在那個地方填補一個缺失值NA，比如，在小鑫執行程式的時候，他們處在第一頁的第十一和第十五條資料，因此，小鑫使用如下程式碼：

if(page == 1){
  financing11 <- financing[11,]
  financing15 <- financing[15,]

  financing[11,] <- NA
  financing[15,] <- NA
  companysize[11,] <- financing11
  companysize[15,] <- financing15
}
else {
  print("Hello World")
}

但是這種方法有很大的弊端，小鑫在寫這篇文章的時候，這兩條資訊又跑到了第二頁第五條和第十三條。因此，第一行的程式碼就變成了page == 2，第二三行分別是：financing5 <- financing[5,]
financing13 <- financing[13,]

小鑫在想是不是可以讓R自動識別他們的位置，然後填充NA，甚至於在以後出現第三條、第四條類似資訊的時候，也能識別出空缺的位置，然後進行自動填補呢？

應該是可以的，不過小鑫現在才疏學淺，還沒那個技術。待小鑫技術學成，再奉上文章。

【END】

原始碼及爬取後資料

密碼：0cjv