一、如何爬取鏈家網頁房源資訊

阿新 • • 發佈：2019-01-19

由於個人安裝的Python版本是2.7的，因此此後的相關程式碼也是該版本。

爬取網頁所有資訊
利用urllib2包來抓取網頁的資訊，先介紹下urllib2包的urlopen函式。
urlopen：將網頁所有資訊存到一個object裡，我們可通過讀取這個object來獲得網頁資訊。例如，我們使用它來獲取百度首頁資訊如下。

import urllib2
f = urllib2.urlopen('http://www.baidu.com')
f.read(100)

通過上面的程式碼我們讀取了百度首頁的前100個字元：

'<!DOCTYPE html><!--STATUS OK--> 
<html><head><meta http-equiv="content-type" content="text/html;charse'

有時可能會出現編碼問題導致開啟的是亂碼，只需修改下編碼格式即可：

f.read(100).decode('utf-8')

通過這種方法我們可以獲得鏈家一個二手房首頁的資訊：

import urllib2
url = 'http://sz.lianjia.com/ershoufang/pg'
res = urllib2.urlopen(url)
content = res.read().decode('utf-8')

於是網頁資訊便存在了content之中。

獲取房源資訊
上面我們已經獲得了一整個的網頁資訊，接下來需要獲取網頁中我們需要的有用資訊，我們的目標是獲取房源資訊，方法是利用正則表示式來獲取。關於正則表示式的知識可以參考一個網友的博文http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html
首先，我們檢視下網頁資訊：

我們關注類似下面的這種資訊

data-el="region">萬科第五園一期</a> | 3室2廳 | 104.58平米 | 南 | 精裝</div><

import urllib2
import re
url = 'http://sz.lianjia.com/ershoufang/pg/' 

res = urllib2.urlopen(url)
content=res.read().decode('utf-8')
result = re.findall(r'>.{1,100}?</div></div><div class="flood">',content)
for i in result:
    print(i[0:-31].decode('utf-8'))

執行結果如下圖：
執行結果圖
這樣就算是獲取了我想要的資訊了，不過這個資訊中間有個我們不想要的符號，接下來還需要去掉這個符號（可見這種方法比較繁瑣，效率也偏低）。
在這裡我通過字元替換操作，用空字元來替換這個多餘字元。
程式碼為：

import urllib2
import re
url = 'http://sz.lianjia.com/ershoufang/pg/'
res = urllib2.urlopen(url)
content=res.read().decode('utf-8')
result = re.findall(r'>.{1,100}?</div></div><div                            class="flood">',content)
for i in result:
    print(i[0:-31].replace('</a>','').decode('utf-8'))

這裡寫圖片描述
上面的方法雖然幫我們獲得了房源資訊，但是方法還是有些繁瑣，而且效率也並不高
我們利用上面的方法來爬取鏈家二手房100個頁面房源資訊，程式碼修改如下：

import urllib2
import time
import re
print(time.clock())
url = 'http://sz.lianjia.com/ershoufang/pg'
for x in range(101):
    finalUrl = url + str(x) + '/'
    res = urllib2.urlopen(finalUrl)
    content=res.read().decode('utf-8')
    result = re.findall(r'>.{1,100}?</div></div><div class="flood">',content)
    for i in result:
        print(i[0:-31].replace('</a>','').decode('utf-8'))
print(time.clock())

主要是測試一下執行時間，測試結果大概是350s左右（當然，主要還受網速的影響，而對程式碼本身來說消耗的大多數時間都在urlopen上），接下來，在下一篇中，將利用BeautifulSoup庫來實現房源的獲取。

一、如何爬取鏈家網頁房源資訊

一、如何爬取鏈家網頁房源資訊

利用高德API + Python爬取鏈家網租房資訊 01

Python的scrapy之爬取鏈家網房價資訊並儲存到本地

python爬蟲爬取鏈家二手房資訊

爬蟲爬取鏈家二手房資訊，對二手房做分析

爬取鏈家網租房資訊（萬級資料的簡單實現）

Scrapy實戰篇（一）之爬取鏈家網成交房源數據（上）

Java爬蟲學習《一、爬取網頁URL》

爬取鏈家網北京房源及房價分析

scrapy實戰(一)-------------爬取鏈家網的二手房資訊

Scrapy實戰篇（二）之爬取鏈家網成交房源數據（下）

爬取鏈家所有地區最新房源信息

python爬蟲：爬取鏈家深圳全部二手房的詳細信息

Python爬蟲項目--爬取鏈家熱門城市新房

Python爬蟲專案--爬取鏈家熱門城市新房

python 學習 - 爬蟲入門練習爬取鏈家網二手房資訊

43.scrapy爬取鏈家網站二手房信息-1

43.scrapy爬取鏈家網站二手房資訊-1

44.scrapy爬取鏈家網站二手房資訊-2

分享爬取鏈家地圖找房房價資料的小爬蟲

一、如何爬取鏈家網頁房源資訊

相關推薦