數據保存本地

參考前文 爬蟲系列1：https://www.cnblogs.com/yizhiamumu/p/9451093.html

參考前文 爬蟲系列2：https://www.cnblogs.com/yizhiamumu/p/10267721.html

小豬短租是一個租房網站，上面有很多優質的民宿出租信息，下面我們以成都地區的租房信息為例，來嘗試爬取這些數據。

小豬短租（成都）頁面：http://cd.xiaozhu.com/

1.爬取租房標題

按照慣例，先來爬下標題試試水，找到標題，復制xpath。

多復制幾個房屋的標題 xpath 進行對比：

//[@id="page_list"]/ul/li[1]/div[2]/div/a/span //

• 後序號變化,於是，秒寫出爬取整頁標題的 xpath：

//*[@id=“page_list”]/ul/li/div[2]/div/a/span

還是固定的套路，讓我們嘗試把整頁的標題爬下來:

小豬在IP限制方面比較嚴格,代碼中務必要加入 sleep() 函數控制爬取的頻率

順著標題的標簽網上找，找到整個房屋信息標簽， xpath 對比如下：

//[@id=“page_list”]/ul/li #整體 //[@id=“page_list”]/ul/li/div[2]/div/a/span #標題
 


你應該知道該怎麽來改代碼了吧，寫一個循環：

file=s.xpath(‘//*[@id=“page_list”]/ul/li’)
for div in file:    
  title=div.xpath("./div[2]/div/a/span/text()")[0]

寫文件時，我們主要用到 with open() 語句:
with open(name,mode,encoding) as file：
  file.write()
  # 註意，with open() 後面的語句有一個縮進

• name：包含文件名稱的字符串，比如：‘xiaozhu.txt’;
• mode：決定了打開文件的模式,只讀/寫入/追加等;
• encoding：表示我們要寫入數據的編碼，一般為 utf-8 或者 gbk ;
• file：表示我們在代碼中對文件的命名。

# http://cd.xiaozhu.com/
# 主題 + 分頁 + 保存本地

from lxml import etree
import requests 
import time 

with open(‘C:/Users/Administrator/Desktop/comment15.txt‘,‘w‘,encoding=‘utf-8‘) as f:
    for a in range(1,7):
        url = ‘http://cd.xiaozhu.com/search-duanzufang-p{}-0/‘.format(a)
        data = requests.get(url).text
        s=etree.HTML(data)

        titles = s.xpath(‘//*[@id="page_list"]/ul/li‘)
        time.sleep(7)

        for div in titles:
            title = div.xpath("./div[2]/div/a/span/text()")[0]
            price = div.xpath("./div/div[1]/span[1]/i/text()")[0]
            scribe = div.xpath("./div[2]/div/em/text()")[0].strip()
            pic = div.xpath("./a/img/@lazy_src")[0]

            print("{} {} {} {}".format(title,price,scribe,pic))
            
            f.write("{} {} {} {}\n".format(title,price,scribe,pic))

打印結果預覽：

溫馨浪漫情侶度假—民謠裏貝殼帳篷 1580 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,26,19200,1800,1199,8068737f.jpg
含早/成都東站2號地鐵-肯派之家13-101 298 獨立單間/1張床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,6,4561,1800,1202,9e891d09.jpg
薌吟民宿-《竹塢》成都太古裏市井中的隱世桃源 777 整套出租/4室2廳/4張床/宜住8人 https://image.xiaozhustatic1.com/12/51,0,96,19302,1800,1202,f6740069.jpg
37樓夜景超美 樓頂空中花園俯瞰成都 298 整套出租/2室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,16,29629,1800,1200,70a3953b.jpg
【曄艷】東客站-巨屏投影地鐵直達太古裏m 200 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,28,18056,1800,1201,404b7ef3.jpg
春熙路/太古裏/英倫風兩居/地鐵直達寬窄巷子 288 整套出租/2室1廳/2張床/宜住4人 https://image.xiaozhustatic1.com/12/16,0,77,34616,1800,1200,0ebc6521.jpg
【幾末】空間幾何/地鐵100米/一居/桐梓林 258 整套出租/1室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,9,23389,1800,1202,5754c402.jpg
春熙路地鐵口&寬窄巷&莫蘭迪復古&兩居躍層 338 整套出租/2室1廳/2張床/宜住4人 https://image.xiaozhustatic1.com/12/51,0,60,843,1800,1200,168035ac.jpg
新房特惠川師東站三聖鄉34號愛情公寓輕奢浪漫 208 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,27,12717,1800,1200,f21ab62c.jpg
【白鹿】春熙路武侯祠/九眼橋/寬窄巷子套一 159 整套出租/1室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,86,14671,1498,1000,c5c55bb2.jpg
【初醒】成都市中心鹽市口春熙路太古裏IFS 198 整套出租/1室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,20,24457,1800,1202,485c365f.jpg
【花韻】舒適大床房/春熙路寬窄巷子文殊院地鐵 188 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/18,0,97,13909,1800,1200,31083987.jpg
【一厘一景】武侯祠錦裏&近地鐵口&近天府廣場 188 整套出租/1室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,13,1739,1800,1200,87f65e79.jpg
漫時光?寬窄巷子?.春熙路.太古裏 188 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,52,2877,1800,1200,8a7ff4b7.jpg
【洛麗塔】美拍網紅/泡泡池網紅/太古裏/春熙 208 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/17,0,10,10978,1800,1200,7b571573.jpg
柒??田螺姑娘??北歐套一近八寶街/寬窄巷子 288 整套出租/1室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,92,21587,1800,1202,c2122770.jpg
【馥綠輕奢】春熙路/2號線/牛市口/高端物業 198 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,60,8059,1800,1200,e971ed29.jpg
〖美居〗免費接送機 復式二房 近機場 商圈 228 整套出租/2室1廳/2張床/宜住4人 https://image.xiaozhustatic1.com/12/14,0,31,9446,1800,1200,93a5e7d1.jpg
春熙路太古裏寬窄巷子北歐.杜夫公寓913 168 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/16,0,44,41422,1800,1202,3876b7a0.jpg
畫途美宿|S4火車東站巨幕投影凱德廣場地鐵旁 198 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,24,5683,1800,1200,c4787970.jpg
寬窄巷子/復古小木屋大一居 228 整套出租/1室1廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,19,15728,1800,1200,98637263.jpg
新上線優惠??【夕替·伊人】少女心｜超大投影 218 整套出租/1室0廳/1張床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,95,1036,1800,1200,38232cbf.jpg
【甜夢】寬窄巷子 錦裏  地鐵 吃貨集中營 198 整套出租/1室1廳/2張床鋪/宜住4人 https://image.xiaozhustatic1.com/12/12,0,72,18081,1800,1200,28f9bcf3.jpg
◣簡?奢◥∽地鐵4號線旁原木風度假、商旅套房 269 整套出租/2室1廳/3張床鋪/宜住6人 https://image.xiaozhustatic1.com/12/14,0,86,24588,1800,1200,5adb64d9.jpg

by【一只阿木木】

爬蟲系列3：Requests+Xpath 爬取租房網站信息並保存本地