1.根據url爬取頁面內容

def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)#設定超時時長為30s
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return ""

2.使用beautifulsoup尋找排名所在的頁面的標籤位置，並將找到的結果儲存到list中

def fillUnivList(ulist,html):
        #beautifulsoup解析html程式碼，把html程式碼中的元素變成python可以呼叫的物件
	soup = BeautifulSoup(html,'html.parser')
	for tr in soup.find('tbody').children:
		if isinstance(tr,bs4.element.Tag):#<tag>.string可能返回註釋內容
			tds = tr('td') #等同呼叫了find_all() 方法，找到tr下的所有td標籤
			ulist.append([tds[0].string,tds[1].string,tds[2].string])
	pass
 

3.使用format方法格式化輸出列表內容

def printUnivList(ulist,num):
        if num > len(ulist):
		num = len(ulist)
	tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"#{3}表示使用format函式的第三個變數進行填充
	print(tplt.format("排名","學校名稱","總分",chr(12288)))
	for i in range(num):
		u = ulist[i]
		print(tplt.format(u[0],u[1],u[2],chr(12288)))

全程式碼:

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)#設定超時時長為30s
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return ""

def fillUnivList(ulist,html):
	soup = BeautifulSoup(html,'html.parser')
	for tr in soup.find('tbody').children:
		if isinstance(tr,bs4.element.Tag):#<tag>.string可能返回註釋內容
			tds = tr('td')
			ulist.append([tds[0].string,tds[1].string,tds[2].string])
	pass

def printUnivList(ulist,num):
        if num > len(ulist):
		num = len(ulist)
	tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"#{3}表示使用format函式的第三個變數進行填充
	print(tplt.format("排名","學校名稱","總分",chr(12288)))
	for i in range(num):
		u = ulist[i]
		print(tplt.format(u[0],u[1],u[2],chr(12288)))
	
def mian():
	uinfo = []
	url = "http://www.gaokaopai.com/paihang-otype-2.html"
	html = getHTMLText(url)
	fillUnivList(uinfo,html)
	printUnivList(uinfo,20)
mian()
 

輸出結果：

值得注意的是request-beautifulsoup只能爬取鑲嵌在html頁面裡程式碼的內容，如果想要頁面是通過js加載出來的，就無法獲取。

本例中由於頁面中只鑲嵌了25所大學的排名其餘均為js載入所得，所以只能爬取25所大學排名。

完整功能待續.....