爬蟲獲取視訊基礎教程
阿新 • • 發佈:2018-12-12
根據上篇文章的方法,選用requests+beautifulsoup爬取網站的一些小視訊
環境:
anaconda python 3.6.1
程式設計思路明白了之後,程式碼就很簡單
import requests from bs4 import BeautifulSoup def get_url(): url='http://699pic.com/video-sousuo-0-2-1-200-0-0.html?sem=1&sem_kid=126640&sem_type=2' headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } #模擬瀏覽器 r=requests.get(url,headers) r.encoding = 'UTF-8' #print(r.text) #初學很必要,至少可以看到成功獲取了所有網頁原始碼 all_video = BeautifulSoup(r.text, 'lxml').find_all('video', class_='video-hover lazy') #找到所有屬性為video-hover lazy的video節點 j=0 l=[] for i in range(1,100): l.append(i) #主要是用來命名,個人習慣用數字命名 for video in all_video: video_url=video['data-original'] video_url='http:'+video_url print(video_url) #迴圈獲取所有符合條件的img標籤中的scr所指向的內容 name=str(l[j]) savefile(video_url,name) j+=1 def savefile(video_url,name): print("開始下載···") video=requests.get(video_url) file_name=name+'.mp4' f = open('F://python//test//爬蟲學習//視訊素材' + '/'+ file_name, 'ab') print('開始儲存視訊') f.write(video.content) f.close() get_url() savefile()
儲存視訊如下:
歡迎留言多多交流,互相學習