爬取一個網站的基本過程

• 確定目標 –> 分析目標 –> 編寫程式 -> 執行爬蟲

• 分析目標：
  url 格式 資料格式 網頁編碼

  分析目標資料在原始碼裡的結構，以便在獲取整個頁面原始碼後，可以利用正則進行匹配。

注意：目標網站的格式會隨時升級，定向爬蟲也需要定期升級。

例項：爬取某代理Ip網站上的所有ip

確定目標:

• 爬取西刺代理上存活一年以上的高匿代理IP

分析目標

根據上面分析可以確定兩個正則表示式

• 獲取目標資料：

re.compile(r'(\d+\.\d+\.\d+\.\d+).*?<td>(\d{2,4})</td>.*?<td>(\d+.*?)</td>'
 
,re.M|re.S) 

• 獲取新的url：

re.compile(r'<a.*?href="(/nn/\d+)">\d{1,4}</a>',re.M|re.S)

編寫程式

• 如果你得程式設計能力很強，那麼倒是可以直接入手編寫程式。但是作為我還差的遠，所以在編寫程式之前就把程式碼架構在腦海中過一遍，畫一個流程圖。以便編寫程式時有一個清楚的思路。同時這也是一個很好的習慣。
• 程式碼結構：

HttpMain.py    ---主檔案
     class Htma()        
         def beganCrawl()      主程式    
     if
 
 __name__ == '__main__':  程式執行入口 
HttpSourceCode.py     ---獲取原始碼檔案
     class Souco()
         def sent()   請求連線函式 
HttpAnalyze.py      ---分析原始碼檔案  
    class Anurl()       
        def getInfor()   分析獲取url和目標資料 
HttpHandleUrl.py    ---處理新的url檔案
    class Hanur()
        def takeOutUrl()  獲取url方法
        def
 
 gainUrls()    儲存url方法 
HttpSaveFile.py       ---儲存資料檔案     
    class Safi()        
        def dataNotNone() 儲存一個網頁上的目標資料      
        def outputer()   把全部目標資料寫入檔案

• 程式

HttpMain.py —主檔案—主檔案

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[email protected]
'''
from reprile_IP import HttpSourceCode,HttpHandleUrl,HttpAnalyze,HttpSaveFile

class Htma(object):
    def __init__(self):
        self.sourceCode = HttpSourceCode.Souco()  #下載原始碼
        self.analyze = HttpAnalyze.Anurl()  # 分析原始碼
        self.handleUrl = HttpHandleUrl.Hanur()   #處理新的url
        self.saveFile = HttpSaveFile.Safi()      #儲存資訊到檔案

    def beganCrawl(self,new_url):
        count = 1
        #把主url新增到new_url中去
        self.handleUrl.addNewUrl(new_url)

        #判斷 new_url_lsit 列表中是否存還存在url
        while self.handleUrl.new_url_list:

            #從new_url_lsit列表中獲取一個url
            new_url = self.handleUrl.takeOutUrl()
            print u'開始爬取第%d個:%s' %(count,new_url)

            #把這個url傳入到獲取請求函式中，並把原始碼返回
            html_code = self.sourceCode.sent(new_url)

            #把原始碼傳入分析原始碼函式中，並把返回新獲取的url和主要資訊
            new_urls,new_data = self.analyze.getInfor(html_code)
            # print new_data
            # print new_urls
            #把new_urls列表新增到 new_url_lsit 中去
            #把new_date列表傳入到寫入檔案函式中
            self.handleUrl.gainUrls(new_urls)
            self.saveFile.dateNotNone(new_data)

            if count == 20:break
            count += 1
        self.saveFile.outputer()

if __name__ == '__main__':
    rootUrl = 'http://www.xicidaili.com/nn/1'
    hm = Htma()
    hm.beganCrawl(rootUrl)

HttpSourceCode.py —獲取原始碼檔案

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[email protected]
'''
import urllib2

class Souco(object):
    def sent(self, new_url):
        if new_url is None:
            return None
        #獲取一個User-Agent
        headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
             'Gecko/20100101 Firefox/54.0',
        }

        #獲取request請求物件
        request = urllib2.Request(new_url,headers = headers)
        try:
            # 建立物件
            response = urllib2.urlopen(request)
            if response.getcode() !=200:
                return None
            return response.read()
        except:
            print u'獲取網站原始碼失敗'

HttpAnalyze.py —分析原始碼檔案

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[email protected]
'''

import re,urllib2
from reprile_IP import HttpSourceCode

class Anurl(object):
    def getInfor(self, html_code):
        try:
            findInforList = self.getInforCompile().findall(html_code)
            inforList = self.filtrationInfor(findInforList)

            findUrlList = self.getUrlCompile().findall(html_code)
            urlList = self.filtrationUrl(findUrlList)
            return urlList, inforList
        except:
            print u'從原始碼中匹配資訊失敗'

    def getInforCompile(self):
        inforCom = re.compile(r'(\d+\.\d+\.\d+\.\d+).*?<td>(\d{2,4})</td>.*?<td>(\d+.*?)</td>',re.M|re.S)
        return inforCom

    def getUrlCompile(self):
        urlCom = re.compile(r'<a.*?href="(/nn/\d+)">\d{1,4}</a>',re.M|re.S)
        return urlCom

    def filtrationInfor(self, findInforList):
        ipList = []
        for i in findInforList:
            if '天' in i[2]:
                if int(re.search('\d+',i[2]).group()) > 365:
                    ipList.append(i)
        return ipList

    def filtrationUrl(self, findUrlList):
        urlList = []
        string = 'http://www.xicidaili.com'
        for url in findUrlList:
            urlList.append(string+url)
        return urlList

HttpHandleUrl.py —處理新的url檔案

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[email protected]
'''

import random

class Hanur(object):
    def __init__(self):
        self.new_url_list = list()
        self.old_url_list = list()

    def addNewUrl(self,new_url):
        if new_url is None:return

        if new_url in self.new_url_list or new_url in self.old_url_list:return
        self.addNewurls(new_url)

    def addNewurls(self, new_url):
        #把這個新的url新增到url列表中
        self.new_url_list.append(new_url)

    def takeOutUrl(self):
        #獲取一個url
        if self.new_url_list is not None:
            try:
                new_url = random.choice(self.new_url_list)
                self.new_url_list.remove(new_url)
                self.old_url_list.append(new_url)
            except:
                print u'獲取新的url失敗'
            else:
                return new_url

    def gainUrls(self, new_urls):
        try:
            for url in new_urls:
                self.addNewUrl(url)
        except:
            print u'新增新的url失敗'

HttpSaveFile.py —儲存資料檔案

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[email protected]
'''


class Safi(object):
    def __init__(self):
        self.datas = list()

    def dateNotNone(self, new_data):
        try:
            for data in new_data:
                if data is None:return
                self.datas.append(data)
        except:
            print u'新增有用資訊到列表失敗'

    def outputer(self):
        with open('ip.txt','w+') as f:
            for data in self.datas:
                f.write('%3s:%s' % (data[0],data[1]))
                f.write('%20s' % data[2])
                f.write('\n')

執行程式

執行非常完美。

總結

在編寫這個程式時，遇到最大的問題就是用正則表示式匹配網站上的資訊。不得已又把正則過了一遍。又瞭解到了flag引數（I,M…），總之滿滿的收穫。