在當今網際網路時代，資料要會挖，得先學會爬！爬的過程是痛苦的，因為在計算機程式開發領域，網路爬蟲的開發是一個很專業的方向，技術門檻比較高，它所要求的綜合知識很多，相信很多同學都望而卻步了。別急，說話說到後面往往都有但是滴。
但是該領域的幾個非常方便的工具已經被整合到R的一些第三方包中了，所以我們完全可以基於R用一種很容易實現的方式來實現網際網路資料的抓取，讓我們可以直接去挖掘網際網路這座金礦。
有了XML包，RCurl包，尤其是最近新出的rvest包（聽說簡直就是神器，是不是吹的呢），媽媽再也不用擔心我的資料了。
今天下午學了一下RCurl包，很抱歉沒有太多中文文件，看英語學來的，英語真的很重要，誰讓程式設計軟體都是由老外開發的呢，爬取了杭州安居客九堡租房資訊，瞎操練的，實踐出真知，慢慢懂了。。。
坑爹的地方真多，不同情況不同處理方法，還有有的網站URL本身就是加密的，如淘寶的https，還有些網頁需要登入之後才能檢視，有的網頁甚至你點它的下一頁，url居然還一樣，原始碼不變的，真是百思不得姐了。為什麼沒有大神寫一本書，我給它起叫做，《那些年，爬蟲我們遇到過的坑》。

data:2015-11-7
author:laidefa

library(XML)
library(RCurl)
loginURL<-"http://hz.zu.anjuke.com/fangyuan/jiubao/"
cookieFile<-"E://cookies.txt"
loginCurl<-getCurlHandle(followlocation=TRUE,verbose=TRUE,ssl.verifyhost=FALSE,
ssl.verifypeer=FALSE,cookiejar=cookieFile,cookiefile=cookieFile)

#獲取第一頁的url
 

web<-getURL(loginURL,curl=loginCurl)

#獲取第2-10頁的url
url_list = ""
i=1:9
url_list[i]<-paste0('http://hz.zu.anjuke.com/fangyuan/jiubao/p',i+1,'/')

#迴圈讀取url
for(url in url_list){
web1 <-getURL(url,curl=loginCurl)
web<-rbind(web,web1)
}

#解析url樹結構
doc<-htmlParse(web)
zufang_title<-sapply(getNodeSet(doc,"//div[@class
 
='zu-info']//h3//a[@title]"),xmlValue)
type<-sapply(getNodeSet(doc,"//div[@class='zu-info']//p[1]"),xmlValue)
address<-sapply(getNodeSet(doc,"//div[@class='zu-info']//address"),xmlValue)
address<-substring(address,34)
price<-sapply(getNodeSet(doc,"//div[@class='zu-side']//p[1]"),xmlValue)
price<-price[-seq(53,520,53)]
contacts<-sapply(getNodeSet(doc,"//p[@class='bot-tag']//span[1]"),xmlValue)

#合併資料框
data<-data.frame(zufang_title,price[-503],type,contacts,address)
View(data)