2. 程式人生 > >Python爬蟲（一）--城市公交網路站點資料的爬取

Python爬蟲（一）--城市公交網路站點資料的爬取

阿新 • • 發佈：2019-02-15

作者：WenWu_Both
出處：http://blog.csdn.net/wenwu_both/article/
版權：本文版權歸作者和CSDN部落格共有
轉載：歡迎轉載，但未經作者同意，必須保留此段聲 必須在文章中給出原文連結；否則必究法律責任

這裡寫圖片描述

（1）環境配置，直接上程式碼：

# -*- coding: utf-8 -*-

import requests ##匯入requests
from bs4 import BeautifulSoup ##匯入bs4中的BeautifulSoup
import os

headers =  {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
 
}
all_url = 'http://beijing.8684.cn'  ##開始的URL地址
start_html = requests.get(all_url, headers=headers) 
#print (start_html.text)
Soup = BeautifulSoup(start_html.text, 'lxml') # 以lxml的方式解析html文件

（2）爬取站點分析

1、北京市公交線路分類方式有3種：
這裡寫圖片描述
本文通過數字開頭來進行爬取，“F12”啟動開發者工具，點選“Elements”,點選“1”，可以發現連結儲存在<div class="bus_kt_r1">

裡面，故只需要提取出div裡的href即可：

這裡寫圖片描述

程式碼：

all_a = Soup.find(‘div’,class_=’bus_kt_r1’).find_all(‘a’)

2、接著往下，發現每1路的連結都在<div id="con_site_1" class="site_list">
的<a>裡面，取出裡面的herf即為線路網址，其內容即為線路名稱，程式碼：

href = a['href'] #取出a標籤的href 屬性
html = all_url + href
second_html = requests.get(html,headers=headers)
#print (second_html.text)
 

Soup2 = BeautifulSoup(second_html.text, 'lxml') 
all_a2 = Soup2.find('div',class_='cc_content').find_all('div')[-1].find_all('a') # 既有id又有class的div不知道為啥取不出來，只好迂迴取了

3、開啟線路連結，就可以看到具體的站點資訊了，開啟頁面分析文件結構後發現：線路的基本資訊存放在<div class="bus_i_content">裡面，而公交站點資訊則存放在<div class="bus_line_top">及<div class="bus_line_site">裡面，提取程式碼：
這裡寫圖片描述

title1 = a2.get_text() #取出a1標籤的文字
href1 = a2['href'] #取出a標籤的href 屬性
#print (title1,href1)
html_bus = all_url + href1  # 構建線路站點url
thrid_html = requests.get(html_bus,headers=headers)
Soup3 = BeautifulSoup(thrid_html.text, 'lxml') 
bus_name = Soup3.find('div',class_='bus_i_t1').find('h1').get_text() # 提取線路名
bus_type = Soup3.find('div',class_='bus_i_t1').find('a').get_text() # 提取線路屬性
bus_time = Soup3.find_all('p',class_='bus_i_t4')[0].get_text() # 執行時間
bus_cost = Soup3.find_all('p',class_='bus_i_t4')[1].get_text() # 票價
bus_company = Soup3.find_all('p',class_='bus_i_t4')[2].find('a').get_text() # 公交公司
bus_update = Soup3.find_all('p',class_='bus_i_t4')[3].get_text() # 更新時間
bus_label = Soup3.find('div',class_='bus_label')
if bus_label:
    bus_length = bus_label.get_text() # 線路里程
else:
    bus_length = []
#print (bus_name,bus_type,bus_time,bus_cost,bus_company,bus_update)
all_line = Soup3.find_all('div',class_='bus_line_top') # 線路簡介
all_site = Soup3.find_all('div',class_='bus_line_site')# 公交站點
line_x = all_line[0].find('div',class_='bus_line_txt').get_text()[:-9]+all_line[0].find_all('span')[-1].get_text()
sites_x = all_site[0].find_all('a')
sites_x_list = [] # 上行線路站點
for site_x in sites_x:
    sites_x_list.append(site_x.get_text())
line_num = len(all_line)
if line_num==2:  # 如果存在環線，也返回兩個list，只是其中一個為空
    line_y = all_line[1].find('div',class_='bus_line_txt').get_text()[:-9]+all_line[1].find_all('span')[-1].get_text()
    sites_y = all_site[1].find_all('a')
    sites_y_list = [] # 下行線路站點
    for site_y in sites_y:
        sites_y_list.append(site_y.get_text())
else:
    line_y,sites_y_list=[],[]
information = [bus_name,bus_type,bus_time,bus_cost,bus_company,bus_update,bus_length,line_x,sites_x_list,line_y,sites_y_list]

自此，我們就把一條線路的相關資訊及上、下行站點資訊就都解析出來了。如果想要爬取全市的公交網路站點，只需要加入迴圈就可以了。
完整程式碼：

# -*- coding: utf-8 -*-
# Python3.5
import requests ##匯入requests
from bs4 import BeautifulSoup ##匯入bs4中的BeautifulSoup
import os

headers =  {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}
all_url = 'http://beijing.8684.cn'  ##開始的URL地址
start_html = requests.get(all_url, headers=headers) 
#print (start_html.text)
Soup = BeautifulSoup(start_html.text, 'lxml')
all_a = Soup.find('div',class_='bus_kt_r1').find_all('a')
Network_list = []
for a in all_a:
    href = a['href'] #取出a標籤的href 屬性
    html = all_url + href
    second_html = requests.get(html,headers=headers)
    #print (second_html.text)
    Soup2 = BeautifulSoup(second_html.text, 'lxml') 
    all_a2 = Soup2.find('div',class_='cc_content').find_all('div')[-1].find_all('a') # 既有id又有class的div不知道為啥取不出來，只好迂迴取了
    for a2 in all_a2:
        title1 = a2.get_text() #取出a1標籤的文字
        href1 = a2['href'] #取出a標籤的href 屬性
        #print (title1,href1)
        html_bus = all_url + href1
        thrid_html = requests.get(html_bus,headers=headers)
        Soup3 = BeautifulSoup(thrid_html.text, 'lxml') 
        bus_name = Soup3.find('div',class_='bus_i_t1').find('h1').get_text()
        bus_type = Soup3.find('div',class_='bus_i_t1').find('a').get_text()
        bus_time = Soup3.find_all('p',class_='bus_i_t4')[0].get_text()
        bus_cost = Soup3.find_all('p',class_='bus_i_t4')[1].get_text()
        bus_company = Soup3.find_all('p',class_='bus_i_t4')[2].find('a').get_text()
        bus_update = Soup3.find_all('p',class_='bus_i_t4')[3].get_text()
        bus_label = Soup3.find('div',class_='bus_label')
        if bus_label:
            bus_length = bus_label.get_text()
        else:
            bus_length = []
        #print (bus_name,bus_type,bus_time,bus_cost,bus_company,bus_update)
        all_line = Soup3.find_all('div',class_='bus_line_top')
        all_site = Soup3.find_all('div',class_='bus_line_site')
        line_x = all_line[0].find('div',class_='bus_line_txt').get_text()[:-9]+all_line[0].find_all('span')[-1].get_text()
        sites_x = all_site[0].find_all('a')
        sites_x_list = []
        for site_x in sites_x:
            sites_x_list.append(site_x.get_text())
        line_num = len(all_line)
        if line_num==2:  # 如果存在環線，也返回兩個list，只是其中一個為空
            line_y = all_line[1].find('div',class_='bus_line_txt').get_text()[:-9]+all_line[1].find_all('span')[-1].get_text()
            sites_y = all_site[1].find_all('a')
            sites_y_list = []
            for site_y in sites_y:
                sites_y_list.append(site_y.get_text())
        else:
            line_y,sites_y_list=[],[]
        information = [bus_name,bus_type,bus_time,bus_cost,bus_company,bus_update,bus_length,line_x,sites_x_list,line_y,sites_y_list]
        Network_list.append(information)
# 定義儲存函式，將運算結果儲存為txt檔案
def text_save(content,filename,mode='a'):
    # Try to save a list variable in txt file.
    file = open(filename,mode)
    for i in range(len(content)):
        file.write(str(content[i])+'\n')
    file.close()

# 輸出處理後的資料     
text_save(Network_list,'Network_bus.txt');

最後輸出整個城市的公交網路站點資訊，這次就先儲存在txt檔案裡吧，也可以儲存到資料庫裡，比如mysql或者MongoDB裡，這裡我就不寫了，有興趣的可以試一下，附上程式執行後的結果圖：
這裡寫圖片描述

相關推薦

Python爬蟲（一）--城市公交網路站點資料的爬取

作者：WenWu_Both 出處：http://blog.csdn.net/wenwu_both/article/ 版權：本文版權歸作者和CSDN部落格共有 轉載：歡迎轉載，但未經作者同意，必須保留此段聲 必須在文章中給出原文連結；否則必究法律責任

Python爬蟲（一）：基本概念

popu 通用 字符 spider dai 自身 部分 螞蟻 people 網絡爬蟲的定義 網絡爬蟲（Web Spider。又被稱為網頁蜘蛛。網絡機器人，又稱為網頁追逐者），是一種依照一定的規則，自己主動的抓取萬維網信息的程序或者腳本。另外一些不常使用

python爬蟲（一）

返回 沒有 發現 學習內容 部分 訪問 family 司機 獲得 1.首先你需要一些Python的基礎知識和相關的開發環境，沒有相關基礎的同學推薦可以先去網易雲的Mooc觀看學習相關教程 2.什麽是網絡爬蟲？ 　　我們上網會在瀏覽器中輸入連接，然後服務器會返回給我們相關的信

python 爬蟲（一） requests+BeautifulSoup 爬取簡單網頁代碼示例

utf-8 bs4 rom 文章 都是 Coding man header 文本 以前搞偷偷摸摸的事，不對，是搞爬蟲都是用urllib，不過真的是很麻煩，下面就使用requests + BeautifulSoup 爬爬簡單的網頁。 詳細介紹都在代碼中註釋了，大家可以參閱。

自學Python爬蟲（一）認識爬蟲

1、爬蟲的概念 這裡就不解析了，可自行百度 拋連結： https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fr=aladdin 2、爬蟲的基本流程 2.1發起請求 通過HTTP

Python爬蟲（一）：編寫簡單爬蟲之新手入門

最近學習了一下python的基礎知識，大家一般對“爬蟲”這個詞，一聽就比較熟悉，都知道是爬一些網站上的資料，然後做一些操作整理，得到人們想要的資料，但是怎麼寫一個爬蟲程式程式碼呢？相信很多人是不會的，今天寫一個針對新手入門想要學習爬蟲的文章，希望對想要學習的你能有所幫助~~廢話不多說，進入正文！

python爬蟲（一）---智聯招聘實戰

智聯校園招聘資料爬取 1 本次實驗只爬取一頁內容，適合入門學習xpath，excel檔案寫入。 2 url =‘https://xiaoyuan.zhaopin.com/full/538/0_0_160000_1_0_0_0_1_0’ 3 結尾會附上全部程式碼 大神請繞過本部落格

python爬蟲（一）--------selenium+python+PhantomJS的使用

　　最近爬取相關網站時，發現沒有找到js包的地址，我就採用selenium來爬取資訊，相關實戰連結：python爬蟲實戰（一）--------中國作物種質資訊網 一、Selenium介紹 　　Selenium 是什麼？一句話，自動化測試工具。它支援各種瀏覽器，包括 Chr

python 爬蟲（一）urllib使用demo

import urllib.request #向指定的url地址發起請求，並返回伺服器響應的資料（檔案的物件） response = urllib.request.urlopen("http://www.baidu.com") #直接將檔案寫入指定路徑， filePath = r"C:/Use

Python 爬蟲（一）綜述

開始爬蟲之前先看看這些來打個底吧~ 1.首先，什麼是爬蟲呢？ 爬蟲（spider），可以理解為在網路上爬行的一隻蜘蛛，爬蟲在網際網路這張網上爬來爬去地找資源，如果它遇到想要的資源，就會把它抓取下來。至於什麼資源是想要的抓取的？這個由你來控制它咯。 概括來說

python爬蟲（一）爬取豆瓣電影Top250

提示：完整程式碼附在文末 一、需要的庫           requests：獲得網頁請求           BeautifulSoup：處理資料，獲得所需要的資料 二、爬取豆瓣電影Top250           爬取內容為：豆瓣評分前二百五位電影的名字、主演、

python爬蟲（一）urllib庫基本使用

注，以下內容均為python3.5.*程式碼 學習爬蟲，首先有學會使用urllib庫，這個庫可以方便的使我們解析網頁的內容，本篇講一下它的主要用法 解析網頁 #!/usr/bin/env python3 # coding=utf-8 import u

零基礎入門Python爬蟲（一）

閱讀本篇大概需要 4 分鐘。前言很多人都或多或少聽說過 Python 爬蟲，我也一直很感興趣，所

python爬蟲（一）Urllib使用

爬蟲介紹 網路爬蟲就是一個爬行程式，一個抓取網頁的程式。網路爬蟲的基本操作是抓取網頁，但爬蟲概念包括抓取和資料解析兩個部分。 爬蟲是通過網頁的連結地址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址，然後通過這些連

python爬蟲（一）BeautifulSoup簡介

BeautifulSoup庫的名字取自劉易斯·卡羅爾在《愛麗絲漫遊仙境》裡的同名詩歌。BeautifulSoup通過定位HTML標籤來格式化和組織複雜的網路資訊，用簡單易用的python物件展現XML結構資訊。 一、安裝Beautifulsoup 1、win

Python爬蟲（一）：爬蟲偽裝

1 簡介 對於一些有一定規模或盈利性質比較強的網站，幾乎都會做一些防爬措施，防爬措施一般來說有兩種：一種是做身份驗證，直接把蟲子擋在了門口，另一種是在網站設定各種反爬機制，讓蟲子知難而返。 2 偽裝策略 我們知道即使是一些規模很小的網站通常也會對來訪者的身份做一下檢查，如驗證請求 Headers，而對於

Python爬蟲入門教程 3-100 美空網資料爬取

簡介 從今天開始，我們嘗試用2篇部落格的內容量，搞定一個網站叫做“美空網”網址為：http://www.moko.cc/， 這個網站我分析了一下，我們要爬取的圖片在 下面這個網址 http://www.moko.cc/post/1302075.html 然後在去分析一下，我需要找到一個圖片列表

python網路爬蟲（一）

網路爬蟲之前奏 網路爬蟲之規則 Requests庫入門 requests庫的安裝 requests的詳細資訊 Win平臺: “以管理員身份執行” cmd，執行pip3 install requests。 requests庫安裝成功與否的測試

[Python]網路爬蟲（一）：抓取網頁的含義和URL基本構成

一、網路爬蟲的定義 網路爬蟲，即Web Spider，是一個很形象的名字。 把網際網路比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。 網路蜘蛛是通過網頁的連結地址來尋找網頁的。 從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址

Python實戰（一）——Python編寫網路爬蟲

實戰內容針對不需要login的靜態網頁爬取。避免抓取登入、ajax非同步載入的內容。 一、抓取程式主要模組組成    1、url管理器 ：管理已抓取、未抓取的url連線，避免重複、迴圈抓取    2、網頁下載器 urllib2：下載url網頁資料    3、網頁解析器