2. 程式人生 > 其它 >爬蟲+資料分析：重慶買房嗎？爬取重慶房價

爬蟲+資料分析：重慶買房嗎？爬取重慶房價

阿新 • • 發佈：2021-02-10

技術標籤：爬蟲爬蟲

現在結婚，女方一般要求城裡有套房。要了解近些年的房價，首先就要獲取網上的房價資訊，今天以重慶鏈家網上出售的房價資訊為例，將資料爬取下來分析。

爬蟲部分

一.網址分析
https://cq.fang.lianjia.com/loupan/

下面我們來分析我們所要提取的資訊的位置，開啟開發者模式查詢元素，我們找到房子如下圖.如圖發現，一個房子資訊被儲存到一個li標籤裡。

單擊一個li標籤，再查詢房子名，地址，房價資訊。

網址分析，當我點選下一頁時，網路地址pg引數會發生變化。
第一頁pg1,第二頁pg2…

二.單頁網址爬取
採取requests-Beautiful Soup的方式來爬取

from bs4 import BeautifulSoup
import numpy as np
import requests
from requests.exceptions import  RequestException
import pandas as pd
#讀取網頁
def craw(url,page):
    try:

        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36"
 
}
        html1 = requests.request("GET", url, headers=headers,timeout=10)
        html1.encoding ='utf-8' # 加編碼，重要！轉換為字串編碼，read()得到的是byte格式的
        html=html1.text
        return html
    except RequestException:#其他問題
        print('讀取error')
        return None

for i  in range(1,2):#遍歷網頁1
 

    url="https://cq.fang.lianjia.com/loupan/pg"+str(i)+"/"
    html=craw(url,i)
    print(html)

print('結束')

三.網頁資訊提取


#解析網頁並儲存資料到表格
def pase_page(url,page):
    html=craw(url,page)
    html = str(html)
    if html is not None:
        soup = BeautifulSoup(html, 'lxml')
        "--先確定房子資訊，即li標籤列表--"
        houses=soup.select('.resblock-list-wrapper li')#房子列表
        "--再確定每個房子的資訊--"
        for house in houses:#遍歷每一個房子
            "名字"
            recommend_project=house.select('.resblock-name a.name')
            recommend_project=[i.get_text()for i in recommend_project]#名字 英華天元，斌鑫江南御府...
            #print(recommend_project)
            "型別"
            house_type=house.select('.resblock-name span.resblock-type')
            house_type=[i.get_text()for i in house_type]#寫字樓,底商...
            #print(house_type)
            "銷售狀態"
            sale_status = house.select('.resblock-name span.sale-status')
            sale_status=[i.get_text()for i in sale_status]#在售,在售,售罄,在售...
            #print(sale_status)
            "大地址:如['南岸', '南坪']"
            big_address=house.select('.resblock-location span')
            big_address=[i.get_text()for i in big_address]#['南岸', '南坪']，['巴南', '李家沱']...
            #print(big_address)
            "具體地址:如：銅元局輕軌站菜園壩長江大橋南橋頭堡上"
            small_address=house.select('.resblock-location a')
            small_address=[i.get_text()for i in small_address]#銅元局輕軌站菜園壩長江大橋南橋頭堡上,龍洲大道1788號..
            #print(small_address)
            "優勢。如：['環線房', '近主幹道', '配套齊全', '購物方便']"
            advantage=house.select('.resblock-tag span')
            advantage=[i.get_text()for i in advantage]#['環線房', '近主幹道', '配套齊全', '購物方便']，['地鐵沿線', '公交直達', '配套齊全', '購物方便']
            #print(advantage)
            "均價：多少1平"
            average_price=house.select('.resblock-price .main-price .number')
            average_price=[i.get_text()for i in average_price]#16000,25000,價格待定..
            #print(average_price)
            "總價,單位萬"
            total_price=house.select('.resblock-price .second')
            total_price=[i.get_text()for i in total_price]#總價400萬/套，總價100萬/套'...
            #print(total_price)

四.多頁爬取，並將資訊儲存到表格

from bs4 import BeautifulSoup
import numpy as np
import requests
from requests.exceptions import  RequestException
import pandas as pd
#讀取網頁
def craw(url,page):
    try:

        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36"}
        html1 = requests.request("GET", url, headers=headers,timeout=10)
        html1.encoding ='utf-8' # 加編碼，重要！轉換為字串編碼，read()得到的是byte格式的
        html=html1.text

        return html
    except RequestException:#其他問題
        print('第{0}讀取網頁失敗'.format(page))
        return None
#解析網頁並儲存資料到表格
def pase_page(url,page):
    html=craw(url,page)
    html = str(html)
    if html is not None:
        soup = BeautifulSoup(html, 'lxml')
        "--先確定房子資訊，即li標籤列表--"
        houses=soup.select('.resblock-list-wrapper li')#房子列表
        "--再確定每個房子的資訊--"
        for j in range(len(houses)):#遍歷每一個房子
            house=houses[j]
            "名字"
            recommend_project=house.select('.resblock-name a.name')
            recommend_project=[i.get_text()for i in recommend_project]#名字 英華天元，斌鑫江南御府...
            recommend_project=' '.join(recommend_project)
            #print(recommend_project)
            "型別"
            house_type=house.select('.resblock-name span.resblock-type')
            house_type=[i.get_text()for i in house_type]#寫字樓,底商...
            house_type=' '.join(house_type)
            #print(house_type)
            "銷售狀態"
            sale_status = house.select('.resblock-name span.sale-status')
            sale_status=[i.get_text()for i in sale_status]#在售,在售,售罄,在售...
            sale_status=' '.join(sale_status)
            #print(sale_status)
            "大地址:如['南岸', '南坪']"
            big_address=house.select('.resblock-location span')
            big_address=[i.get_text()for i in big_address]#['南岸', '南坪']，['巴南', '李家沱']...
            big_address=''.join(big_address)
            #print(big_address)
            "具體地址:如：銅元局輕軌站菜園壩長江大橋南橋頭堡上"
            small_address=house.select('.resblock-location a')
            small_address=[i.get_text()for i in small_address]#銅元局輕軌站菜園壩長江大橋南橋頭堡上,龍洲大道1788號..
            small_address=' '.join(small_address)
            #print(small_address)
            "優勢。如：['環線房', '近主幹道', '配套齊全', '購物方便']"
            advantage=house.select('.resblock-tag span')
            advantage=[i.get_text()for i in advantage]#['環線房', '近主幹道', '配套齊全', '購物方便']，['地鐵沿線', '公交直達', '配套齊全', '購物方便']
            advantage=' '.join(advantage)
            #print(advantage)
            "均價：多少1平"
            average_price=house.select('.resblock-price .main-price .number')
            average_price=[i.get_text()for i in average_price]#16000,25000,價格待定..
            average_price=' '.join(average_price)
            #print(average_price)
            "總價,單位萬"
            total_price=house.select('.resblock-price .second')
            total_price=[i.get_text()for i in total_price]#總價400萬/套，總價100萬/套'...
            total_price=' '.join(total_price)
            #print(total_price)

            "--------------寫入表格-------------"
            information = [recommend_project, house_type, sale_status,big_address,small_address,advantage,average_price,total_price]
            information = np.array(information)
            information = information.reshape(-1, 8)
            information = pd.DataFrame(information, columns=['名稱', '型別', '銷售狀態','大地址','具體地址','優勢','均價','總價'])
            if page== 1 and j==0:
                information.to_csv('鏈家網重慶房子資料.csv', mode='a+', index=False)  # mode='a+'追加寫入
            else:
                information.to_csv('鏈家網重慶房子資料.csv', mode='a+', index=False, header=False)  # mode='a+'追加寫入
        print('第{0}頁儲存資料成功'.format(page))
    else:
        print('解析失敗')


for i  in range(1,101):#遍歷網頁1
    url="https://cq.fang.lianjia.com/loupan/pg"+str(i)+"/"
    pase_page(url,i)


print('結束')

五.多執行緒爬取

from bs4 import BeautifulSoup
import numpy as np
import requests
from requests.exceptions import  RequestException
import pandas as pd


#讀取網頁
def craw(url,page):
    try:

        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36"}
        html1 = requests.request("GET", url, headers=headers,timeout=10)
        html1.encoding ='utf-8' # 加編碼，重要！轉換為字串編碼，read()得到的是byte格式的
        html=html1.text

        return html
    except RequestException:#其他問題
        print('第{0}讀取網頁失敗'.format(page))
        return None
#解析網頁並儲存資料到表格
def pase_page(url,page):
    html=craw(url,page)
    html = str(html)
    if html is not None:
        soup = BeautifulSoup(html, 'lxml')
        "--先確定房子資訊，即li標籤列表--"
        houses=soup.select('.resblock-list-wrapper li')#房子列表
        "--再確定每個房子的資訊--"
        for j in range(len(houses)):#遍歷每一個房子
            house=houses[j]
            "名字"
            recommend_project=house.select('.resblock-name a.name')
            recommend_project=[i.get_text()for i in recommend_project]#名字 英華天元，斌鑫江南御府...
            recommend_project=' '.join(recommend_project)
            #print(recommend_project)
            "型別"
            house_type=house.select('.resblock-name span.resblock-type')
            house_type=[i.get_text()for i in house_type]#寫字樓,底商...
            house_type=' '.join(house_type)
            #print(house_type)
            "銷售狀態"
            sale_status = house.select('.resblock-name span.sale-status')
            sale_status=[i.get_text()for i in sale_status]#在售,在售,售罄,在售...
            sale_status=' '.join(sale_status)
            #print(sale_status)
            "大地址:如['南岸', '南坪']"
            big_address=house.select('.resblock-location span')
            big_address=[i.get_text()for i in big_address]#['南岸', '南坪']，['巴南', '李家沱']...
            big_address=''.join(big_address)
            #print(big_address)
            "具體地址:如：銅元局輕軌站菜園壩長江大橋南橋頭堡上"
            small_address=house.select('.resblock-location a')
            small_address=[i.get_text()for i in small_address]#銅元局輕軌站菜園壩長江大橋南橋頭堡上,龍洲大道1788號..
            small_address=' '.join(small_address)
            #print(small_address)
            "優勢。如：['環線房', '近主幹道', '配套齊全', '購物方便']"
            advantage=house.select('.resblock-tag span')
            advantage=[i.get_text()for i in advantage]#['環線房', '近主幹道', '配套齊全', '購物方便']，['地鐵沿線', '公交直達', '配套齊全', '購物方便']
            advantage=' '.join(advantage)
            #print(advantage)
            "均價：多少1平"
            average_price=house.select('.resblock-price .main-price .number')
            average_price=[i.get_text()for i in average_price]#16000,25000,價格待定..
            average_price=' '.join(average_price)
            #print(average_price)
            "總價,單位萬"
            total_price=house.select('.resblock-price .second')
            total_price=[i.get_text()for i in total_price]#總價400萬/套，總價100萬/套'...
            total_price=' '.join(total_price)
            #print(total_price)

            "--------------寫入表格-------------"
            information = [recommend_project, house_type, sale_status,big_address,small_address,advantage,average_price,total_price]
            information = np.array(information)
            information = information.reshape(-1, 8)
            information = pd.DataFrame(information, columns=['名稱', '型別', '銷售狀態','大地址','具體地址','優勢','均價','總價'])

            information.to_csv('鏈家網重慶房子資料.csv', mode='a+', index=False, header=False)  # mode='a+'追加寫入
        print('第{0}頁儲存資料成功'.format(page))
    else:
        print('解析失敗')


#雙執行緒
import threading
for i  in range(1,99,2):#遍歷網頁1-101
    url1="https://cq.fang.lianjia.com/loupan/pg"+str(i)+"/"
    url2 = "https://cq.fang.lianjia.com/loupan/pg" + str(i+1) + "/"

    t1 = threading.Thread(target=pase_page, args=(url1,i))#執行緒1
    t2 = threading.Thread(target=pase_page, args=(url2,i+1))#執行緒2
    t1.start()
    t2.start()

可能是網的問題，很多頁的資料沒有讀取下來。

儲存到的資訊有近438條。原始資料有1838條。
可以自己把失敗的頁數儲存下來，再重新請求一次。我這裡就不搞啦。將就用。

在這裡插入圖片描述

相關推薦

爬蟲+資料分析：重慶買房嗎？爬取重慶房價

技術標籤：爬蟲爬蟲 現在結婚，女方一般要求城裡有套房。要了解近些年的房價，首先就要獲取網上的房價資訊，今天以重慶鏈家網上出售的房價資訊為例，將資料爬取下來分析。

Java爬蟲系列四：使用selenium-java爬取js非同步請求的資料

在之前的系列文章中介紹了如何使用httpclient抓取頁面html以及如何用jsoup分析html原始檔內容得到我們想要的資料，但是有時候通過這兩種方式不能正常抓取到我們想要的資料，比如看如下例子。

Python爬蟲實戰，openpyxl模組學習，爬取房價資訊並簡單的資料分析

前言 利用Python爬取房價資訊並進行簡單的資料分析 Ok，讓我們開始吧~~~ 開發工具

大資料分析：疫情分析

　　此專案為《大資料分析》的期末作業，分為四個任務，四個任務所用的covid都是源資料covid-19-all.csv的pandas物件。本文的資料預測使用的是python的機器學習sklearn中的指數平滑法，使用方式比較粗糙，只是用來應

Python資料分析：pandas 類庫及常用方法

定義：pandas是基於NumPy陣列構建的，使資料預處理、清洗、分析工作變得更快更簡單。pandas是專門為處理表格和混雜資料設計的，而NumPy更適合處理統一的數值陣列資料。

python資料分析：資料索引——最關鍵的操作

前言 資料索引是資料分析中最關鍵的操作。在資料分析中經常需要選取固定的行列，在Excel中可以使用滑鼠進行點選，但是敲命令的時候，例如python和R中不方便使用滑鼠，這就需要靈活掌握資料的索引。如果資料索引不能

爬蟲實戰： 圖片的批量爬取

1. 找好練習網站（不要惡意爬取，爬取前面10也即可，避免給網站造成壓力）

Python資料分析：統計函式繪製簡單圖形

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。

Python資料分析：用Matplotlib視覺化建立套圖

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。

Python資料分析：視覺化圖表註釋設定

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。

京東資料分析：蘋果終入5G戰場，國產智慧手機市場即將翻天

今天全網的主角無疑就是蘋果釋出會。除了外形迴歸蘋果4的直角邊框、全新配色出現、支援5倍光學變焦攝影等等創新之外，另一個讓消費者等待已久也有足夠大吸引力的亮點，就是新機iPhone12系列全部支援5G網路。

Python資料分析：如何繪製柱形圖，繪製柱形圖的方法

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。( 想要學習Python？Python學習交流群：1039649593，滿足你的需求，資料都已經上傳群檔案流，

資料分析：複雜業務場景下，量化評估流程

本文原始碼：GitHub·點這裡 ||GitEE·點這裡 一、量化思維 在程式設計體系中有很多複雜的業務是很難理解的，但是又需要做一個量化分析，給業務人員或者運營，或者使用者一個參考標準，例如常見指數，芝麻分數，店鋪

python資料分析：多元線性迴歸

技術標籤：資料分析python 多元線性迴歸，即多個變數對目標值的影響（Y=aX1+bX2+cX3…+z）；接下來分析下“店鋪面積”和“距離最近的車站”對便利店“月營業額”的影響，並預測店鋪的月營業額。 資料準備如下：

Python資料分析：美國警察槍擊案EDA分析

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯絡我們以作處理。

python爬蟲利用selenium實現自動翻頁爬取某魚資料的思路詳解

基本思路: 首先用開發者工具找到需要提取資料的標籤列 利用xpath定位需要提取資料的列表

python對二維陣列統計某一行的去重計數_Python 資料分析：初識 Pandas

技術標籤：python對二維陣列統計某一行的去重計數 點選上方藍字關注，學習Python

三大運營商四月份運營資料分析：5G 時代全面開啟，中國移動仍是“領頭雁”

5 月 20 日，是一個適合“官宣”的好日子。昨日，三大運營商也紛紛“官宣”了四月份的運營資料。在最受關注的 5G 使用者方面，三大運營商紛紛給出了新驚喜：移動的 5G 套餐使用者累計總量破兩億，電信聯通 5G 套餐使

Python資料分析：股價相關性

好久沒發部落格了，今天來發一篇分析股價相關度的。╮ ( ╯ ▽ ╰ ) ╭ 為什麼要分析股價相關度呢，我們來引入一個概念——配對交易

python資料分析：流量資料化運營（下）——基於自動K值得KMeans廣告效果聚類分析

案例背景 某企業由於投放的廣告渠道比較多，需要對其做廣告效果分析以實現有針對性的廣告效果測量和優化工作。跟以應用為目的的案例不同的是，由於本案例是一個分析型案例，該過程的輸出其實是不固定的，因此需要跟業