1. 程式人生 > 實用技巧 >python爬蟲:抓取下載電影檔案,合併ts檔案為完整視訊

python爬蟲:抓取下載電影檔案,合併ts檔案為完整視訊

目標網站:https://www.88ys.cc/vod-play-id-58547-src-1-num-1.html 反貪風暴4

對電影進行分析

我們發現,電影是按片段一點點加載出來的,我們分別抓取所有ts檔案,然後合併成一個完整的檔案即可下載到完整電影

程式碼如下:

# https://www.88ys.cc/vod-play-id-58547-src-1-num-1.html 電影地址
import requests
import os
import time
from multiprocessing import Pool

def run(i):
    url = 'https://cn1.chinapellets.com/hls/20190406/ae64c4b38a00fb989546672c7d75c660/1554536039/film_0%04d.ts'%i
    print("開始下載:"+url)
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36"}
    r = requests.get(url, headers = headers)
    # print(r.content)
    with open('./mp4/{}'.format(url[-10:]),'wb') as f:
        f.write(r.content)

def merge(t,cmd):
    time.sleep(t)
    res=os.popen(cmd)
    print(res.read())



if __name__ == '__main__':
    # 建立程序池,執行10個任務
    pool = Pool(10)
    for i in range(2790):
        pool.apply_async(run, (i,)) #執行任務
    pool.close()
    pool.join()
    #呼叫合併
    merge(5,"copy /b mp4\\*.ts mp4\\new.mp4")
    print('ok!處理完成')

因為單個程序下載太慢了,這裡用到了程序池,這樣基本達到了,最大網速

執行過程:

下載完成: