豆瓣TOP250爬蟲
阿新 • • 發佈:2020-08-28
#https://movie.douban.com/top250 #-*-coding:utf-8-*- import sys from bs4 import BeautifulSoup ##網頁解析,獲取資料 import re ##正則表示式,進行文字匹配 import urllib.request,urllib.error##製作URL,獲取網頁資料 import xlwt ##進行excel操作 import sqlite3 ##進行sql操作 def main(): baseurl = 'https://movie.douban.com/top250?start=' #1.爬取網頁 datalist = getData(baseurl) # 2.解析資料 #3.儲存資料 savepath = ".\\豆瓣電影Top250.xls" saveData(datalist,savepath) # askURL("https://movie.douban.com/top250?start=0") #獲取影片詳情連結規則 findLink = re.compile(r'<a href="(.*?)">') #建立正則表示式物件,表示規則(字串的模式),complie適用大量重複的比對 #<img alt="肖申克的救贖" class="" src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" width="100"/> #獲取影片圖片的連結 findImgSrc =re.compile(r'<img .*src="(.*?)"',re.S) #re.S 讓換行符包含在字元中 #h影片片名 findTile = re.compile(r'<span class="title">(.*?)</span>') #影片評分 findRating = re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>') #獲取評價人數 findJudge= re.compile(r'<span>(\d*?)人評價</span>') #找到概況 findInq = re.compile(r'<span class="inq">(.*?)</span>') #找到影片的相關內容 findBd = re.compile(r'<p class="">(.*?)</p>',re.S) #爬取網頁 def getData(baseurl): datalist = [] for i in range(0,250,25):#這裡可以設定步進,即range(0,250,25),下面就不用乘25 url = baseurl+str(i)#str(i*25) html = askURL(url)#儲存獲取到的網頁原始碼 # 2.逐一解析資料 soup = BeautifulSoup(html,"html.parser") # 查詢符合要求的字串,形成列表 for item in soup.find_all('div',class_='item'): # 查詢class是item,且屬於div的 ,注意這裡的class有下劃線 #print(item)#測試:檢視電影item全部資訊 data = []#儲存一部電影的全部資訊 item = str(item) #獲取影片詳情連結 link = re.findall(findLink,item)[0]#re庫用來通過正則表示式查詢指定的字串 #print(link) data.append(link) #獲取圖片資訊 imgSrc = re.findall(findImgSrc,item)[0] #print(imgSrc) data.append(imgSrc) titles = re.findall(findTile,item)#片名可能只有一箇中文名,也可能既有外文 if(len(titles)==2): #新增中文名 ctitle = titles[0] data.append(ctitle) #新增外國名 otitle = titles[1].replace('/','')#去掉無關的符號,比如/ data.append(otitle) else: data.append(titles[0]) data.append(' ')#留空,給外國名留空 #新增評分 rating = re.findall(findRating,item)[0] data.append(rating) #print(rating) #評價人數 judgeNum = re.findall(findJudge,item)[0] data.append(judgeNum) inq = re.findall(findInq,item) #獲得概況 #data.append(inq) if(len(inq)) !=0: inq = inq[0].replace('。','') data.append(inq) else: data.append(' ') bd = re.findall(findBd,item)[0] bd = re.sub('<br(\s+)?/>(\s+)?','',bd)#去掉<br/> data.append(bd.strip())#去掉前後的空格 datalist.append(data) #print(datalist) return datalist #得到指定一個URL網頁內容 def askURL(url): head = { ##模擬瀏覽器頭部資訊,向豆瓣伺服器傳送訊息 "user-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36" } ##使用者代理,表示告訴豆瓣伺服器,我們是什麼型別的機器,瀏覽器(本質是告訴瀏覽器,我們可以接受什麼水平的資訊) request = urllib.request.Request(url,headers=head) html = "" try: response = urllib.request.urlopen(request) html = response.read().decode("utf-8") #print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e.code) if hasattr(e,"reason"): print(e.reason) return html #3.儲存資料 def saveData(datalist,savepath): workbook = xlwt.Workbook(encoding='utf-8',style_compression=0) worksheet = workbook.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#cell_overwrite_ok是否被覆蓋 col = ('電影詳情連結','圖片連結','影片中文名','影片外國名','評分','評價數','概括','相關資訊') for i in range(0,8): worksheet.write(0,i,col[i]) for i in range(0,250): print("第 %d 條"%i) data = datalist[i] for j in range(0,8): worksheet.write(i+1,j,data[j]) workbook.save(savepath) if __name__ == '__main__':##當前程式是主程式 main()
注意項(舉例):
from bs4 import BeautifulSoup import re str1 =''' <span class="title">肖申克的救贖</span> <span class="title"> / The Shawshank Redemption</span>''' s =re.compile('<span class="title">(.*?)</span>')#.*?表示匹配任意字元到下一個符合條件的字元 print(re.findall(s,str1)) str = 'aabab' p = re.compile('a(.*?)b') print(re.findall(p,str))
使用re.complie().findall方式篩選出來的是complie(XX()XX)裡面()的內容,並且是將匹配到的所有內容 以 陣列形式返回。所以上面的例子匹配到了肖申克的救贖,/ The Shawshank Redemption。
開始不理解.?,以為應該只返回一個值,這裡是匹配到了所有的值,比如aabab 這裡a(.?)b,能匹配到a,‘’ ,所以返回了兩個值。