1. 程式人生 > >去哪兒網景點爬蟲

去哪兒網景點爬蟲

1.依舊來自一篇很火的微信文章

https://mp.weixin.qq.com/s/F_lI639kXgEkwiovQjxOPw

《全國 41611 個景點,程式設計師用 Python 告訴你哪些地方最值得一遊!》

雖然作者貼心的把程式碼和資料都給了我們,但是我還是想自己用python寫一寫

2.以上海市為例進行爬取,網址依舊是等差數列

http://xxx.com/XXX/XXX&page=a

a從1到100

3.對內容進行爬取

使用Xpath分別獲取

景點名、景區等級、地點、門票價格、景區簡述、銷量以及熱度,經緯度

原作者沒有爬經緯度,是採用的高德地圖api地理編碼,其實仔細找找,網頁內容中已經隱含了經緯度

4.進行試驗,並存入資料庫中

共得到景點資料1487條,效果如下

 

作者微訊號w912917507