爬蟲——中國大學排名
阿新 • • 發佈:2020-12-14
from bs4 import BeautifulSoup # 網頁解析 獲取資料 import re # 正則表示式 進行文字匹配 import urllib.request, urllib.error # 制定url 獲取網頁資料 import xlwt def main(): baseurl = "http://m.gaosan.com/gaokao/265440.html" # 1爬取網頁 datalist = getData(baseurl) savepath = "中國大學排名.xls" saveData(datalist,savepath) # 正則表示式 paiming = re.compile(r'<td>(.*)</td><td>.*</td><td>.*</td><td>.*</td><td>.*</td>') # 建立超連結正則表示式物件,表示字串模式,規則 xuexiao = re.compile(r'<td>.*</td><td>(.*)</td><td>.*</td><td>.*</td><td>.*</td>') defen = re.compile(r'<td>.*</td><td>.*</td><td>(.*)</td><td>.*</td><td>.*</td>') xingji = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>(.*)</td><td>.*</td>') cengci = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>.*</td><td>(.*)</td>') # 爬取網頁 def getData(baseurl): datalist = [] html = askURL(baseurl) # 儲存獲取到的網頁原始碼 # print(html) #【逐一】解析資料 (一個網頁就解析一次) soup = BeautifulSoup(html, "html.parser") # soup是解析後的樹形結構物件 for item in soup.find_all('tr'): # 查詢符合要求的字串形成列表 # print(item) #測試檢視item全部 data = [] # 儲存一個學校的所有資訊 item = str(item) #排名 paiming1 = re.findall(paiming, item) # re正則表示式查詢指定字串 0表示只要第一個 前面是標準後面是找的範圍 # print(paiming1) if(not paiming1): pass else: print(paiming1[0]) data.append(paiming1) if(paiming1 in data): #學校名字 xuexiao1 = re.findall(xuexiao, item)[0] # print(xuexiao1) data.append(xuexiao1) #得分 defen1 = re.findall(defen, item)[0] # print(defen1) data.append(defen1) #星級 xingji1 = re.findall(xingji, item)[0] # print(xingji1) data.append(xingji1) #層次 cengci1 = re.findall(cengci, item)[0] # print(cengci1) data.append(cengci1) # print('-'*80) datalist.append(data) # 把處理好的一個學校資訊放入datalist中 return datalist # 得到指定一個url網頁資訊內容 def askURL(url): # 我的初始訪問user agent head = { # 模擬瀏覽器頭部資訊,向豆瓣伺服器傳送訊息 偽裝用的 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36" } # 使用者代理表示告訴豆瓣伺服器我們是什麼型別的機器--瀏覽器 本質是告訴瀏覽器我們可以接受什麼水平的檔案內容 request = urllib.request.Request(url, headers=head) # 攜帶頭部資訊訪問url # 用request物件訪問 html = "" try: response = urllib.request.urlopen(request) # 用urlopen傳遞封裝好的request物件 html = response.read().decode("utf-8") # read 讀取 可以解碼 防治亂碼 # print(html) except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) # 列印錯誤程式碼 if hasattr(e, "reason"): print(e.reason) # 列印錯誤原因 return html # 3儲存資料 def saveData(datalist, savepath): book = xlwt.Workbook(encoding="utf-8", style_compression=0) # 建立workbook物件 樣式壓縮效果 sheet = book.add_sheet('中國大學排名', cell_overwrite_ok=True) # 建立工作表 一個表單 cell覆蓋 for i in range(0, 640): print("第%d條" % (i + 1)) data = datalist[i] # print(data) for j in range(0, 5): # 每一行資料儲存進去 sheet.write(i , j, data[j]) # 資料 book.save(savepath) # 儲存資料表 #主函式 if __name__ == "__main__": # 當程式執行時 # #呼叫函式 程式執行入口 main() # init_db("movietest.db") print("爬取完畢!")