Python爬取豆瓣視訊資訊程式碼例項
阿新 • • 發佈:2020-01-09
這篇文章主要介紹了Python爬取豆瓣視訊資訊程式碼例項,文中通過示例程式碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
這裡是爬取豆瓣視訊資訊,用pyquery庫(jquery的python庫)。
一:程式碼
from urllib.request import quotefrom pyquery import PyQuery as pqimport requestsimport pandas as pddef get_text_page (movie_name): '' ' 函式功能:獲得指定電影名的原始碼 引數:電影名 返回值:電影名結果的原始碼 ' '' url = 'https://www.douban.com/search?q=' + movie_name headers = { 'Host': 'www.douban.com','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/75.0.3770.90 Safari/537.36',} r = requests.get(url,headers = headers,timeout = 5) return r.textdef get_last_url( this_text): '' ' 函式功能:根據指定的原始碼得到最終的網頁地址 引數:搜尋結果原始碼 返回值:最終的網頁地址 ' '' doc = pq(this_text) lis = doc( '.title a').items() k = 0 this_str = '' for i in lis: #print('豆瓣搜尋結果為:{0}'.format( i.text()))# print('地址為:{0}'.format(i.attr .href))# print('\n') if k == 0: this_str = i.attr.href k += 1 return this_strdef the_last_page( this_url): '' ' 函式功能:獲得最終電影網頁的原始碼 引數:最終的地址 返回值:最終電影網頁的原始碼 ' '' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,} r = requests.get(this_url,headers = headers,timeout = 20) return r.textdef the_last_text( this_text,movie_name): '' ' 函式功能:獲得每一項的資料 引數:爬取頁面的原始碼 返回值:返回空 ' '' doc = pq(this_text)# 獲取標題 title = doc( '#content h1').text()# 獲取海報 photo = doc('.nbgnbg img') photo_url = photo.attr .src r = requests.get(photo_url) with open( '{m}.jpg'.format(m = movie_name),'wb') as f: f.write(r.content)# 電影資訊 message = doc('#info').text()# 豆瓣評分 grade = doc( '#interest_sectl').text()# 劇情 things = doc('.related-info').text() with open( '{0}.txt'.format(movie_name),'w+') as f: try: f.writelines([title,'\n','\n\n',message,grade,things ]) except: f.writelines([title,grade ])# 演員# 演員名 name = [] person_name = doc('.info').items() for i in person_name: name.append(i.text())# 演員圖片地址 person_photo = doc('#celebrities') j = 0 for i in person_photo.find('.avatar').items(): m = i.attr('style') person_download_url = m[m.find('(') + 1: m.find(')')]# 下載演員地址 r = requests.get(person_download_url) try: with open('{name}.jpg'.format(name = name[j]),'wb') as f: f.write(r.content) except: continue j += 1 def lookUrl(this_text,my_str): '' ' 函式功能:獲得觀看連結 引數:爬取頁面的原始碼 返回值:返回空 ' '' doc = pq(this_text) all_url = doc( '.bs li a').items() movie_f = [] movie_url = [] for i in all_url: movie_f.append(i.text()) movie_url .append(i.attr.href) dataframe = pd.DataFrame({ '觀看平臺': movie_f,'觀看地址': movie_url }) dataframe.to_csv( "{movie_name}的觀看地址.csv".format( movie_name = my_str),index = False,encoding = 'utf_8_sig',sep = ',') def main(): name = input('') my_str = name movie_name = quote(my_str) page_text = get_text_page(movie_name)# 得指定電影名的原始碼 last_url = get_last_url(page_text)# 根據指定的原始碼得到最終的網頁地址 page_text2 = the_last_page(last_url)# 獲得最終電影網頁的原始碼 the_last_text( page_text2,my_str)# 獲得每一項的資料 lookUrl( page_text2,my_str)# 得到並處理觀看連結main()
二:結果如下(部分例子)
1.輸入天氣之子
2.輸入百變小櫻魔法卡
必須是已經上映的電影才有觀看地址
3.獨立日
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。