使用eclipse+python編寫爬蟲獲取python百科的1000條詞條

阿新 • • 發佈：2019-01-21

爬蟲的機構

1. 爬蟲的排程端

作用是實現爬蟲的啟動，停止和監視爬蟲的執行情況

包括URL管理器：包含待爬取的URL和已經爬取的URL

把待爬取的URL送到網頁下載器，下載器會將URL指定的網頁下載下來儲存成一個字串，這個字串會傳送給玩野直譯器解析，一方面解釋出有價值的資料，和一些指向其他網頁的URL，這些URL會補充到URL管理器，這三個模組形成一個迴圈，有相關的URL就會一直執行下去。

2．

例項爬蟲的步驟

1．確定目標：百度百科Python詞條相關詞條網頁-標題和簡介

2．分析目標

1） URL格式

入口頁：

http://baike.baidu.com/view/125370.htm

詞條頁面URL格式：/view/125370.htm"

2）頁面編碼 UTF-8

3）資料格式

標題格式<ddclass="lemmaWgt-lemmaTitle-title"></dd>

簡介格式“<divclass="lemma-summary" label-module="lemmaSummary">

3．編寫爬蟲

#coding:utf8

# from:http://www.imooc.com/learn/563

# By:muqingcai

from bs4import BeautifulSoup

import re

importurlparse

importurllib2

import os

#URL管理器

classUrlManager(object):

def __init__(self):

self.new_urls = set()

self.old_urls = set()

def add_new_url(self,url):

if url is None:

raise Exception # 為None丟擲異常

if url not in self.new_urls and url notin self.old_urls:

self.new_urls.add(url)

def add_new_urls(self,urls):

if urls is None or len(urls) == 0:

raise Exception # 為None丟擲異常

for url in urls:

self.add_new_url(url)

def has_new_url(self):

return len(self.new_urls) != 0

def get_new_url(self):

new_url = self.new_urls.pop()

self.old_urls.add(new_url)

return new_url

#HTML下載器

classHtmlDownloader(object):

def download(self, url):

if url is None:

return None

response = urllib2.urlopen(url)

if response.getcode() != 200:

return None

return response.read()

# HTML解析器

classHtmlParser(object):

def _get_new_urls(self,page_url,soup):

new_urls = [] ###########

# /view/123.htm：得到所有詞條URL

links = soup.find_all("a",href=re.compile(r"/view/\d+\.htm"))

for link in links:

new_url = link["href"]

#把new_url按照page_url的格式拼接成完整的URL格式

new_full_url =urlparse.urljoin(page_url,new_url)

new_urls.append(new_full_url)

return new_urls

def _get_new_data(self,page_url,soup):

res_data = {}

#url

res_data["url"] = page_url

#<ddclass="lemmaWgt-lemmaTitle-title"><h1>Python</h1>

title_node =soup.find("dd",class_="lemmaWgt-lemmaTitle-title").find("h1")

res_data["title"] =title_node.get_text()

#<divclass="lemma-summary" label-module="lemmaSummary">

summery_node =soup.find("div",class_="lemma-summary")

res_data["summary"] =summery_node.get_text()

return res_data

def parse(self,page_url,html_cont):

if page_url is None or html_cont isNone:

return

soup = BeautifulSoup(html_cont,"html.parser", from_encoding="utf-8")

new_urls = self._get_new_urls(page_url,soup)

new_data = self._get_new_data(page_url,soup)

return new_urls, new_data

# HTML輸出器

classHtmlOutputer(object):

def __init__(self):

self.datas = []

def collect_data(self, data):

if data is None:

return

self.datas.append(data)

def output_html(self):

fout =open("baike_spider_output.html", "w")

fout.write("<html>")

fout.write("<head>")

fout.write('<metacharset="utf-8"></meta>')

fout.write("<title>百度百科Python頁面爬取相關資料</title>")

fout.write("</head>")

fout.write("<body>")

fout.write('<h1style="text-align:center">在百度百科中爬取相關資料展示</h1>')

fout.write("<table>")

for data in self.datas:

fout.write("<tr>")

fout.write("<td>%s</td>" % data["url"])

fout.write("<td><ahref='%s'>%s</a></td>" %(data["url"].encode("utf-8"),data["title"].encode("utf-8")))

fout.write("<td>%s</td>" %data["summary"].encode("utf-8"))

fout.write("</tr>")

fout.write("</table>")

fout.write("</body>")

fout.write("</html>")

classSpiderMain():

def craw(self, root_url, page_counts):

count = 1 #記錄爬取的是第幾個URL

UrlManager.add_new_url(root_url)

while UrlManager.has_new_url(): # 如果有待爬取的URL

try:

# 把新URL取出來

new_url =UrlManager.get_new_url()

# 記錄爬取的URL數量

print "\ncrawed %d :%s" % (count, new_url)

# 下載該URL的頁面

html_cont =HtmlDownloader.download(new_url)

# 進行頁面解析，得到新的URL和資料

new_urls, new_data =HtmlParser.parse(new_url, html_cont)

# 新URL補充進URL管理器

UrlManager.add_new_urls(new_urls)

# 進行資料的收集

HtmlOutputer.collect_data(new_data)

# 爬取到第counts個連結停止

if count == page_counts:

break

count = count + 1

except:

print "craw failed"

#輸出收集好的資料

HtmlOutputer.output_html()

if__name__=="__main__":

print "\nWelcome to use baike_spider:)"

UrlManager = UrlManager()

HtmlDownloader = HtmlDownloader()

HtmlParser = HtmlParser()

HtmlOutputer = HtmlOutputer()

root = raw_input("Enter you want tocraw which baike url: http://baike.baidu.com/view/")

root_url ="http://baike.baidu.com/view/%s" % (root) #爬蟲入口URL

page_counts = input("Enter you want tocraw how many pages:" ) #想要爬取的數量

SpiderMain = SpiderMain()

SpiderMain.craw(root_url,page_counts) #啟動爬蟲

print"\nCraw is done, please go to"+os.path.dirname(os.path.abspath('__file__')) + " to see the resultin baike_spider_output.html"

4．執行爬蟲

直接python run即可，執行結果

如下：

..................................

……………………..

在package包下按F5即可重新整理得到

點開可以看到

使用eclipse+python編寫爬蟲獲取python百科的1000條詞條

爬蟲的機構

例項爬蟲的步驟

使用eclipse+python編寫爬蟲獲取python百科的1000條詞條

python編寫爬蟲獲取區域程式碼-遞迴獲取所有子頁面

python 利用爬蟲獲取頁面上下拉框裏的所有國家

python 編寫爬蟲常用包下載地址、工具網站以及相關安裝問題集合（持續更新）

使用python編寫爬蟲配置環境變數以及使用scrapy

【Python網路爬蟲】Python維基百科網頁抓取（BeautifulSoup+Urllib2）

python 3 爬蟲獲取可用ip地址（小白）

用Python爬取了考研吧1000條帖子，原來他們都在討論這些！

使用Python的BeautifulSoup庫實現一個可以爬取1000條百度百科數據的爬蟲

python 爬蟲獲取文件式網站資源（基於python 3.6）

python 爬蟲獲取文件式網站資源完整版（基於python 3.6）

python 爬蟲--糗事百科段子

零基礎掌握百度地圖興趣點獲取POI爬蟲（python語言爬取）（基礎篇）

使用簡單的python語句編寫爬蟲定時拿取信息並存入txt

python 爬蟲獲取世界杯比賽賽程

用Python編寫web爬蟲的5個方法

有哪些網站值得用python爬蟲獲取很有價值的資料

Python爬蟲（二）：爬蟲獲取資料儲存到檔案

常常寫出不阻塞的爬蟲？分享5個用Python編寫非阻塞web爬蟲的方法 python

第二章 python分散式爬蟲打造搜尋引擎環境搭建第二節正則表示式的學習和編寫練習

使用eclipse+python編寫爬蟲獲取python百科的1000條詞條

爬蟲的機構

例項爬蟲的步驟

相關推薦