抓取趕集網租房資訊 python3
try: from bs4 import BeautifulSoup import requests except Exception : print("請安裝 bs4庫 和 requests庫 再來執行") exit(0) #獲取當前價位的累計 def settle_add_num(soup_find_all,money): index=0 for tag in soup_find_all: if tag.contents[0].isnumeric(): money = money + int(tag.contents[0]) index+=1 return money #獲取當前平方的累計 def settle_add_m2(soup_find_all,m2): index = 0 for tag in soup_find_all: m2 = m2 + int(tag['data-area'].replace('㎡', '')) index += 1 return m2 #詳細資訊 def settle_moneysize_data(soup_find_all): url ="http://cs.ganji.com{0}" for tag in soup_find_all: print(tag.text.split()) #標題 newurl=url.format(tag.a["href"]) soup = BeautifulSoup(requests.get(newurl).text, "html.parser") for a in soup.find_all('div', class_='f-group'):#,id ="js-house-describe" if "地圖" in a.text.split(): pass else: print(a.text.split()) print("-------------------------------------------------") #下一頁是否有 def is_next_page(soup_find_all,next): for tag in soup_find_all: for line in tag.strings: if line ==next: return True def mian(): url = "http://cs.ganji.com/fang1/liuyang/o{0}/" urlsize =1 m2 = 0 money = 0 next=True while next: newurl =url.format(urlsize) urlsize+=1 soup = BeautifulSoup(requests.get(newurl).text, "html.parser") settle_moneysize_data(soup.find_all('dd', class_='dd-item title')) money = settle_add_num(soup.find_all('span', class_='num'),money)#計算錢 m2 =settle_add_m2(soup.find_all('dd', class_="dd-item size"),m2)#計算平方 next =is_next_page(soup.find_all('ul',class_='pageLink clearfix'),str(urlsize))#判斷是否還有 print("當前房價為 ", int((money / m2)), "一平") if __name__ =='__main__': mian() else: print("請從bs4Demo啟動 ,謝謝")
out
['第1灣', '精品2室房', '不靠橋', '乾淨溫馨', '隨時入住', '品質小區']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '開福區四方坪第一灣業主誠心出租精裝2室房(不靠橋,安靜溫馨)附近交通生活便利,出門就公交車站,建設銀行,中國銀行,到火車站約15分鐘車程!', '歡迎隨時看房,看中拎包入住!']
['小區資訊', '第一灣', '(小區介紹)', '均價9548元/m²', '小區租房(215)', '小區合租房(2)', '小區二手房(127)', '容積率:暫無資訊', '所在地址:第一灣車站北路與瀏陽河交匯處', '綠化率:暫無資訊', '所在區域:瀏陽', '停車位:暫無資訊', '竣工時間:暫無資訊']
['經紀人', '葛恆康', '1年', '服務區域:暫無資訊', '我愛我家', '經紀人店鋪>']
-------------------------------------------------
['優質高檔小區', '精裝3房', '價格美麗', '通透敞亮', '本時段優質好房.']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '第一灣', '位於雙擁路上', '北臨瀏陽河', '人車分流的小區', '小區環境極好', '管理嚴謹', '更好外國友人常年居住於此', '小區配套齊全更有健身房', '游泳館', '飯店', '早餐店', '食品店', '好又多大超市', '滿足生活需求', '交通便利多路公交線路經過於此,小區口就是公交站', '不管您是居家還是多人合租,此房子都非常適合您房源真實,現場實拍']
['小區資訊', '第一灣', '(小區介紹)', '均價9548元/m²', '小區租房(215)', '小區合租房(2)', '小區二手房(127)', '容積率:暫無資訊', '所在地址:第一灣車站北路與瀏陽河交匯處', '綠化率:暫無資訊', '所在區域:瀏陽', '停車位:暫無資訊', '竣工時間:暫無資訊']
['經紀人', '黃志國', '1年', '服務區域:暫無資訊', '新夢想地產', '經紀人店鋪>']
-------------------------------------------------
['好房出租', '卡通主題風格', '全小區只此一套', '價格美麗', '看房的速度']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '一社群環境', '1.周邊交通便利緊鄰城市主幹道享受數十餘公交線路等便利的交通設施', '2.專業打造一個純居住的小區,綠化率高,社群環境好', '二*理由', '1.的經典戶型,,客廳臥室全帶陽臺飄窗,明廚明衛,居住非常舒適,利用率超高!', '2.業主自己裝修的,傢俱家電俱全!', '2.租價合理,非常超值,業主誠意出租,看房隨時!', '歡迎您點選我的頭像進入我的店鋪,有更多超值戶型等您選擇,期待您的*!!', '另本人鄭重承諾將為您的電話號碼提供保密,以免讓您接到不必要的打擾電話!!']
['小區資訊', '第一灣', '(小區介紹)', '均價9548元/m²', '小區租房(215)', '小區合租房(2)', '小區二手房(127)', '容積率:暫無資訊', '所在地址:第一灣車站北路與瀏陽河交匯處', '綠化率:暫無資訊', '所在區域:瀏陽', '停車位:暫無資訊', '竣工時間:暫無資訊']
['經紀人', '黃志國', '1年', '服務區域:暫無資訊', '新夢想地產', '經紀人店鋪>']
-------------------------------------------------
['四方坪,第壹灣,正規一房,家電齊全,交通方便,隨時看房拎包住']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '第一灣位於雙擁路和車長北路交接處上', '交通方便', '出門就是公交站', '有150路', '228路', '906路到百花園公交站', '在車站北路上還有個四方坪公交站126路', '906路', '小區附近有大潤發', '招商銀行', '花之林', '發超市', '生鮮超市', '羅莎蛋糕店', '仟吉蛋糕店', '建設銀行', '水靈瓏', '紅色商貿城', '在第一灣裡面有一個愛*幼兒園', '第一灣對面有個朵朵幼兒園', '小學有國防科大附小', '四方坪二小', '瀏陽河小學',
'中學有', '國防科大附屬中學', '此房南北通透', '豪華裝修', '採光好', '家電傢俱齊全', '小區環境好', '首.次出租', '隨時看房', '拎包入住']
['小區資訊', '第一灣', '(小區介紹)', '均價9548元/m²', '小區租房(215)', '小區合租房(2)', '小區二手房(127)', '容積率:暫無資訊', '所在地址:第一灣車站北路與瀏陽河交匯處', '綠化率:暫無資訊', '所在區域:瀏陽', '停車位:暫無資訊', '竣工時間:暫無資訊']
['經紀人', '黃志國', '1年', '服務區域:暫無資訊', '新夢想地產', '經紀人店鋪>']
-------------------------------------------------
['精裝修房屋出租']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '精品裝修房屋出租,拎包即可入住,一切家電齊全(該資訊由使用者發自手機)']
['小區資訊', '創意東方新天地', '(小區介紹)', '暫無', '小區租房(3)', '小區二手房(1)', '容積率:1.55', '所在地址:碧桂園路', '綠化率:39%', '所在區域:瀏陽', '停車位:1個', '竣工時間:2008年']
-------------------------------------------------
['全新精裝', '傢俱齊全拎包入住', '南北通透', '交通便利環境好']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '房子出門五分鐘就是公交車站,交通方便周邊有很多超市便利店,購物方便房子是朝南向房東很好說話,租金又便宜;租房客戶的*選擇', '本人專做四方坪樓盤租房,先手中房源樓盤有通華天都---四季美景---如果愛---時代先鋒---華龍公館---華府一地航線---星尚公寓---瑞都豪庭---左岸春天---才子佳苑--萬煦園--香樟雅郡--第一灣--科大北苑--水木軒--聽香水榭--美美公館--科大南苑--金帆小區--雅雀湖']
['小區資訊', '第一灣', '(小區介紹)', '均價9548元/m²', '小區租房(215)', '小區合租房(2)', '小區二手房(127)', '容積率:暫無資訊', '所在地址:第一灣車站北路與瀏陽河交匯處', '綠化率:暫無資訊', '所在區域:瀏陽', '停車位:暫無資訊', '竣工時間:暫無資訊']
['經紀人', '朱盛然', '1年', '服務區域:長沙', '開福', '四方坪', '新夢想地產', '經紀人店鋪>']
-------------------------------------------------
['精裝房價效比高房東急租', '家電齊全拎包入住', '交通便利光線好']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '此房業主誠心出租,可以隨時看房,室內家電傢俱齊全,附近交通便利,生活方便,出門就有公交站、菜市場,大型生活超市,建設銀行,中國銀行等,離長沙火車站只有15分鐘的車程,十分便捷']
['小區資訊', '第一灣', '(小區介紹)', '均價9548元/m²', '小區租房(215)', '小區合租房(2)', '小區二手房(127)', '容積率:暫無資訊', '所在地址:第一灣車站北路與瀏陽河交匯處', '綠化率:暫無資訊', '所在區域:瀏陽', '停車位:暫無資訊', '竣工時間:暫無資訊']
['經紀人', '朱盛然', '1年', '服務區域:長沙', '開福', '四方坪', '新夢想地產', '經紀人店鋪>']
-------------------------------------------------
['瀏陽鑫遠名城2室1廳1衛']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '1.房屋特徵這是一套高利用率的大宅,75㎡傢俱家電齊全優質樓層,更安寧,更清淨!', '2.周邊配套房子在瀏陽城區車站路與勞動路交匯處鑫遠名城,交通非常便利,生活氛圍很濃,附近有銀行,醫院,學校,娛樂場所,日常所需就在身邊', '再來說說房子', '3.房東心態有意租房者歡迎來電諮詢,非誠勿擾!']
-------------------------------------------------
['金沙路單間出租']
['房屋配套', '電視', '空調', '熱水器', '洗衣機', '微波爐', '冰箱', '床', '沙發', '衣櫃', '暖氣', '寬頻網', '可做飯', '陽臺', '獨立衛生間']
['房屋描述', '自家的房子,位於市中心,比一比數碼城斜對面,靠近羅家坎,交通出入方便,房間乾淨,有傢俱家電,釆光好,三個月起租(該資訊由使用者發自手機)']
-------------------------------------------------
['精裝急出!', '交通便利光線好', '乾淨整潔舒適溫馨', '價效比高!']