靜態頁面的抓取（學習簡單爬蟲）

阿新 • • 發佈：2019-02-09

聖誕節快樂(づ￣ 3￣)づ～～～

在這個半放假的日子裡，人也變得慵懶起來，在MOOC下學習了靜態頁面的簡單爬蟲（傳送門：http://www.imooc.com/learn/563），乾貨滿滿啊～～

所以爬了一個羋月傳麼麼噠～～～

# coding=utf-8
import urllib2
class UrlManager(object):

    def __init__(self):
        self.new_urls=set()
        self.old_urls=set()

    def add_new_url(self,url):
        if url is 
 None:
            return 
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self,urls):
        if urls is None or len(urls)==0:
            return 
        for url in urls:
            self.add_new_url(url)

    def has_new_url 
(self):
        return len(self.new_urls)!=0

    def get_new_url(self):
        new_url=self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

class HtmlDownloader(object):
    def download(self,url):
        if url is None:
            return None
        response = urllib2.urlopen(url)

        if 
 response.getcode()!=200:
            return None

        return response.read()

from bs4 import BeautifulSoup
import re
import urlparse

class HtmlParser(object):

    def _get_new_urls(self,page_url,soup):
        new_urls=set()
        #/view/123.htm
        links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))
        for link in links:
            new_url = link['href']
            new_full_url = urlparse.urljoin(page_url,new_url)
            new_urls.add(new_full_url)
        return new_urls

    def _get_new_data(self,page_url,soup):
        res_data={}
        res_data['url']=page_url
        #<dd class="lemmaWgt-lemmaTitle-title"> <h1>Python</h1>
        title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
        res_data['title']=title_node.get_text()
        summary_node=soup.find('div',class_="lemma-summary")
        res_data['summary']=summary_node.get_text()
        return res_data

    def parse(self,page_url,html_cont):
        if page_url is None or html_cont is None:
            return 
        soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')

        new_urls=self._get_new_urls(page_url,soup)
        new_data=self._get_new_data(page_url,soup)
        return new_urls,new_data

class HtmlOutputer(object):
    def __init__(self):
        self.datas=[]

    def collect_data(self,data):
        if data is None:
            return 
        self.datas.append(data)

    def output_html(self):
        fout = open('output.html','w')
        fout.write("<html>")
        fout.write("<meta charset='UTF-8'>")
        fout.write("<body>")
        fout.write("<table>")
        for data in self.datas:
            fout.write("<tr>")
            #asci
            fout.write("<td>%s</td>"% data['url'])
            fout.write("<td>%s</td>"% data['title'].encode('utf-8'))
            print data['title'].encode('utf-8')
            fout.write("<td>%s</td>"% data['summary'].encode('utf-8'))
        fout.write("</table>")
        fout.write("</body>")
        fout.write("</html>")
        fout.close()
class SpiderMain(object):
    def __init__(self):
        self.urls = UrlManager()
        self.downloader=HtmlDownloader()
        self.parser=HtmlParser()
        self.outputer=HtmlOutputer()

    def craw(self,root_url):
        count=1

        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print 'craw %d : %s' %(count,new_url)
                html_cont = self.downloader.download(new_url)
                new_urls,new_data=self.parser.parse(new_url,html_cont)
                self.urls.add_new_urls(new_urls)
                self.outputer.collect_data(new_data)
                if count==50:
                    break
                count = count +1
            except:
                print 'craw failed'
        self.outputer.output_html()
if __name__=="__main__":
    root_url="http://baike.baidu.com/subview/9975572/10764629.htm"
    obj_spider= SpiderMain()
    obj_spider.craw(root_url)

有些小的細節沒有做好，所以在除錯上費了不少的功夫，還是太粗心了T^T

需要說明的一點是，跟著老師的程式碼，當寫入到output.html中出現了亂碼，但是寫到output.txt中不會有問題。查了一下是因為html頁面如果是中文也需要進行編碼的說明，因此在原來程式碼基礎上增加了

fout.write("<meta charset='UTF-8'>")

tutu
開心地去看羋月傳啦～～～～

靜態頁面的抓取（學習簡單爬蟲）

聖誕節快樂(づ￣ 3￣)づ～～～在這個半放假的日子裡，人也變得慵懶起來，在MOOC下學習了靜態頁面的簡單爬蟲（傳送門：http://www.imooc.com/learn/563），乾貨滿滿啊～～所以爬了一個羋月傳麼麼噠～～～ # coding=u

爬蟲技術 -- 進階學習（十）網易新聞頁面資訊抓取（htmlagilitypack搭配scrapysharp）

最近在弄網頁爬蟲這方面的，上網看到關於htmlagilitypack搭配scrapysharp的文章，於是決定試一試~ 於是到https://www.nuget.org/packages/ScrapySharp去看看，看到這句下載提示：To install ScrapySharp, run the fo

Python爬蟲：新浪新聞詳情頁的數據抓取（函數版）

earch edit arm python爬蟲 print 詳情 contents enter uwa 上一篇文章《Python爬蟲：抓取新浪新聞數據》詳細解說了如何抓取新浪新聞詳情頁的相關數據，但代碼的構建不利於後續擴展，每次抓取新的詳情頁時都需要重新寫一遍，因此，我們需

python知乎內容抓取（redis存儲）

sorted mat param 爬取 Nid odi 請求 quest 一個　　因為平時喜歡上知乎，發現其話題是一個有向無環圖（自己介紹說得），一級一級往上最後到根話題，所以我就想嘗試從根話題一級一級往下將其全部內容爬取。最後實踐過程中發現自己想多了..有以下三個問題：

vba-網路抓取（get，post）

1.網路抓取有很多種方法，處理也有很多種方法，以下提供一些程式碼，僅供參考（1）GET獲取資料 Option Explicit '以快遞一百查詢快遞單號為例 '用fiddler 來檢視自己想要的連結等資訊 'GET請求獲取資料 Public Sub testkuaidi

php爬蟲教程（一）簡單的頁面抓取

最近朋友抓取點資料，寫了幾個抓取資料的指令碼。主要功能是，分別抓起x了麼，美x，x度外賣的餐廳和菜品資料，後期我把程式碼分享出來。今天就先說說簡單的頁面抓取－－－－－－－－－－－－－－－

Python3學習(34)--簡單網頁內容抓取（爬蟲入門一）

基礎講多了也不好，懂的人看了煩躁，半懂的人看多了沒耐心，我也不能打消了你們學習Python的積極性了，開始爬蟲系列基礎篇之前，先上一張圖，給大腦充充血：很多人，學習Python，無非兩個目的，

python學習第一彈：爬蟲（抓取博客園新聞）

結果 csv hid window 相關數解析html 可能一個 _id 前言　　說到python，對它有點耳聞的人，第一反應可能都是爬蟲~ 　　這兩天看了點python的皮毛知識，忍不住想寫一個簡單的爬蟲練練手，JUST DO IT 準備工作　　要制作數據

Python開發簡單爬蟲之靜態網頁抓取篇：爬取“豆瓣電影 Top 250”電影數據

模塊歲月 python開發 IE 女人 bubuko status 公司使用目標：爬取豆瓣電影TOP250的所有電影名稱，網址為：https://movie.douban.com/top250 1）確定目標網站的請求頭：打開目標網站，在網頁空白處點擊鼠標右鍵，

爬蟲原理與數據抓取-----（了解）通用爬蟲和聚焦爬蟲

網頁特殊 mon 相關百度 engine links 標準數據抓取通用爬蟲和聚焦爬蟲根據使用場景，網絡爬蟲可分為通用爬蟲和聚焦爬蟲兩種. 通用爬蟲通用網絡爬蟲是捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目的是將互聯

Python爬蟲實戰專案2 | 動態網站的抓取（爬取電影網站的資訊）

1.什麼是動態網站？動態網站和靜態網站的區別在於，網頁中常常包含JS，CSS等動態效果的內容或者檔案，這些內容也是網頁的有機整體。但對於瀏覽器來說，它是如何處理這些額外的檔案的呢？首先瀏覽器先下載html檔案，然後根據需要，下載JS等額外檔案，它會自動去下載它們，如果我們要爬取這些網頁中的動態

selenium點選連結進入子頁面抓取內容（新聞抓取案例一）

找了一個新聞網站練習爬蟲抓取，目標：逐一點選目錄標題，進入詳細新聞頁面，抓取子頁面的標題和正文內容並打印出來，返回目錄標題頁，點選下一篇文章。注：沒有新開視窗，是在原視窗實現跳轉。新開視窗進行抓取看下一篇文章。試了很多種方法都抓取不到class=rightContent下

新浪微博爬蟲分享（一天可抓取 1300 萬條資料）

爬蟲功能：此專案和QQ空間爬蟲類似，主要爬取新浪微博使用者的個人資訊、微博資訊、粉絲和關注（詳細見此）。程式碼獲取新浪微博Cookie進行登入，可通過多賬號登入來防止新浪的反扒（用來登入的賬號可從淘寶購買，一塊錢七個）。專案爬的是新浪微

Python 抓取網頁學習系列之一（網頁編碼格式

第一步：你需要知道你所抓取的網頁編碼格式，方法：右鍵檢視網頁編碼，ctrl +F ，搜尋：charset會看到：<meta http-equiv="Content-Type" content="text/html; charset=gbk" />，OK確定是gb

使用Python爬取學校學生資訊！（簡單爬蟲）

很久木有來寫博文啦，發現學校的教務系統很多童鞋都木有修改初始密碼，於是博主就想寫試用python寫一個爬蟲小指令碼，將木有修改初始密碼的童鞋資料扒下來，然後嘿嘿嘿~~~通知他們修改！鑑於寫博文時未通知這些受害童鞋們，因此隱去關鍵資訊。首先為初始化方法__

【Python網路爬蟲】Python維基百科網頁抓取（BeautifulSoup+Urllib2）

引言：從網路提取資料的需求和重要性正在變得越來越迫切。每隔幾個星期，我都會發現自己需要從網路中提取資料。例如，上週我們正在考慮建立一個關於網際網路上可用的各種資料科學課程的熱度和情緒指數。這不僅需要找到新的課程，而且還要抓住網路的評論，然後在

Python簡單抓取原理引出分散式爬蟲

首先，我們先來看看，如果是人正常的行為，是如何獲取網頁內容的。 (1)開啟瀏覽器，輸入URL，開啟源網頁 (2)選取我們想要的內容，包括標題，作者，摘要，正文等資訊 (3)儲存到硬碟中上面的三個過程，對映到技術層面上，其實就是：網路請求，抓取結構化資料，資料儲存。我們

使用Chrome快速實現數據的抓取（二）

run 描述管理 opp socket 請求 icon err protoc 在前面的文章簡單的介紹了一下Chrome調試模式的啟動方式，但前面的API只能做到簡單的打開，關閉標簽操作，當我們需要對某個標簽頁進行詳細的操作時，則需要用到頁面管理API。首先我們還是來回顧下

使用Chrome快速實現數據的抓取（四）——優點

一個 java 海量 height 調試工具 -1 idt socket程序格式些一個抓取WEB頁面的數據程序比較簡單，大多數語言都有相應的HTTP庫，一個簡單的請求響應即可，程序發送Http請求給Web服務器，服務器返回HTML文件。交互方式如下：　　在使用

使用Chrome快速實現數據的抓取（五）—— puppeteer

ref google rem 官方簡單的 code web 驅動 ace 如果要以自動化的方式驅動Chrome進行數據抓取，必須實現Chrome Dev Protocol協議的客戶端。這個協議本身並不復雜，我在之前的文章中也簡單的介紹過一下。 Google本身有一個No

靜態頁面的抓取（學習簡單爬蟲）

相關推薦