中國大學排名爬蟲

輸入：大學排名URL鏈接

輸出：大學排名信息的屏幕輸出（排名，大學名稱，總分）

技術路線：requests-bs4

定向爬取：僅對輸入URL進行爬取，不進行擴展爬取

程序的結構設計

• 從網絡上獲取大學排名網頁內容 getHTMLText()
• 提取網頁內容中信息到合適的數據結構 fillUnivList()
• 利用數據結構展示並輸出結果 printUnivList()

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r 
 
= requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(‘tbody‘).children:
        if isinstance(tr,bs4.element.Tag):
            tds 
 
= tr(‘td‘)
            ulist.append([tds[0].string,tds[1].string,tds[3].string])

def printUnivList(ulist,num):
    print(‘{:^10}\t{:^6}\t{:^10}‘.format(‘排名‘,‘學校名稱‘,‘總分‘))
    print(‘suc‘+str(num))
    for i in range(num):
        u = ulist[i]
        print(‘{:^10}\t{:^6}\t{:^10}‘.format(u[0],u[1],u[2]))


 
def main():
    uinfo = []
    url = ‘http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html‘
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)  #打印20所大學的信息

main()

爬蟲小例