1. 程式人生 > >python爬蟲之騰訊視訊vip下載

python爬蟲之騰訊視訊vip下載

執行環境

IDE:pycharm
python:3.6.5

實現目的

實現對騰訊視訊目標url的解析與下載,由於第三方vip解析,只提供線上觀看,隱藏想實現對目標視訊的下載

實現思路

首先拿到想要看的騰訊電影url,通過第三方vip視訊解析網站進行解析,通過抓包,模擬瀏覽器傳送正常請求,通過拿到快取ts檔案,下載視訊ts檔案,最後通過轉換為mp4檔案,即可實現正常播放

原始碼

import re
import os,shutil
import requests,threading
from urllib.request import urlretrieve
from
pyquery import PyQuery as pq from multiprocessing import Pool class video_down(): def __init__(self,url): # 拼接全民解析url self.api='https://jx.618g.com' self.get_url = 'https://jx.618g.com/?url=' + url #設定UA模擬瀏覽器訪問 self.head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
} #設定多執行緒數量 self.thread_num=32 #當前已經下載的檔案數目 self.i = 0 # 呼叫網頁獲取 html = self.get_page(self.get_url) if html: # 解析網頁 self.parse_page(html) def get_page(self,get_url): try: print('正在請求目標網頁....',get_url) response=requests.get(get_url,headers=self.head) if
response.status_code==200: #print(response.text) print('請求目標網頁完成....\n 準備解析....') self.head['referer'] = get_url return response.text except Exception: print('請求目標網頁失敗,請檢查錯誤重試') return None def parse_page(self,html): print('目標資訊正在解析........') doc=pq(html) self.title=doc('head title').text() print(self.title) url = doc('#player').attr('src')[14:] html=self.get_m3u8_1(url).strip() #self.url = url + '800k/hls/index.m3u8' self.url = url[:-10] +html print(self.url) print('解析完成,獲取快取ts檔案.........') self.get_m3u8_2(self.url) def get_m3u8_1(self,url): try: response=requests.get(url,headers=self.head) html=response.text print('獲取ts檔案成功,準備提取資訊') return html[-20:] except Exception: print('快取檔案請求錯誤1,請檢查錯誤') def get_m3u8_2(self,url): try: response=requests.get(url,headers=self.head) html=response.text print('獲取ts檔案成功,準備提取資訊') self.parse_ts_2(html) except Exception: print('快取檔案請求錯誤2,請檢查錯誤') def parse_ts_2(self,html): pattern=re.compile('.*?(.*?).ts') self.ts_lists=re.findall(pattern,html) print('資訊提取完成......\n準備下載...') self.pool() def pool(self): print('經計算需要下載%d個檔案' % len(self.ts_lists)) self.ts_url = self.url[:-10] if self.title not in os.listdir(): os.makedirs(self.title) print('正在下載...所需時間較長,請耐心等待..') #開啟多程序下載 pool=Pool(16) pool.map(self.save_ts,[ts_list for ts_list in self.ts_lists]) pool.close() pool.join() print('下載完成') self.ts_to_mp4() def ts_to_mp4(self): print('ts檔案正在進行轉錄mp4......') str='copy /b '+self.title+'\*.ts '+self.title+'.mp4' os.system(str) filename=self.title+'.mp4' if os.path.isfile(filename): print('轉換完成,祝你觀影愉快') shutil.rmtree(self.title) def save_ts(self,ts_list): try: ts_urls = self.ts_url + '{}.ts'.format(ts_list) self.i += 1 print('當前進度%d/%d'%(self.i,len(self.ts_lists))) urlretrieve(url=ts_urls, filename=self.title + '/{}.ts'.format(ts_list)) except Exception: print('儲存檔案出現錯誤') if __name__ == '__main__': #電影目標url:狄仁傑之四大天王 url='https://v.qq.com/x/cover/r6ri9qkcu66dna8.html' #電影碟中諜5:神祕國度 url1='https://v.qq.com/x/cover/5c58griiqftvq00.html' #電視劇鬥破蒼穹 url2='https://v.qq.com/x/cover/lcpwn26degwm7t3/z0027injhcq.html' url3='https://v.qq.com/x/cover/33bfp8mmgakf0gi.html' video_down(url2)

視訊快取ts檔案

這裡都是一些快取視訊檔案,每個只有幾秒鐘播放,最後需要合併成一個mp4格式的視訊,就可以正常播放,預設高清下載
注意這裡的進度因為使用多程序下載,進度僅供參考,沒有確切顯示進度,可以進資料夾檢視正常進度,可以理解為顯示一次進度,下載一個ts檔案
這裡寫圖片描述

轉換MP4

這裡寫圖片描述