Node 批量爬取頭條視訊並儲存
阿新 • • 發佈:2018-12-10
目標網站:西瓜視訊 專案功能:下載頭條號【維辰財經】下的最新20個視訊 專案地址:Github 地址 姊妹專案:批量下載美女圖集
簡介
一般批量爬取視訊或者圖片的套路是,使用爬蟲獲得檔案連結集合,然後通過 writeFile 等方法逐個儲存檔案。然而,頭條的視訊,在需要爬取的 html 檔案(服務端渲染輸出)中,無法捕捉視訊連結。視訊連結是頁面在客戶端渲染時,通過某些 js 檔案內的演算法或者解密方法,根據視訊的已知 key 或者 hash 值,動態計算出來並新增到 video 標籤的。這也是網站的一種反爬措施。
我們在瀏覽這些頁面時,通過稽核元素,可以看到計算後的檔案地址。然而在批量下載時,逐個手動的獲取視訊連結顯然不可取。開心的是,puppeteer 提供了模擬訪問 Chrome 的功能,使我們可以爬取經過瀏覽器渲染出來的最終頁面。
專案啟動
命令
npm i
npm start
Notice: 安裝 puppeteer 的過程稍慢,耐心等待。
配置檔案
// 配置相關
module.exports = {
originPath: 'https://www.ixigua.com', // 頁面請求地址
savePath: 'D:/videoZZ' // 存放路徑
}
技術點
puppeteer
puppeteer 提供一個高階 API 來控制 Chrome 或者 Chromium。
puppeteer 主要作用:
- 利用網頁生成 PDF、圖片
- 爬取SPA應用,並生成預渲染內容(即“SSR” 服務端渲染)
- 可以從網站抓取內容
- 自動化表單提交、UI測試、鍵盤輸入等
使用到的 API:
- puppeteer.launch() 啟動瀏覽器例項
- browser.newPage() 建立一個新頁面
- page.goto() 進入指定網頁
- page.screenshot() 截圖
- page.waitFor() 頁面等待,可以是時間、某個元素、某個函式
- page.$eval() 獲取一個指定元素,相當於 document.querySelector
- page.$$eval() 獲取某類元素,相當於 document.querySelectorAll
- page.$('#id .className') 獲取文件中的某個元素,操作類似jQuery
程式碼示例
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({path: 'example.png'});
await browser.close();
})();
視訊檔案下載方法
- 下載視訊主方法
const downloadVideo = async video => {
// 判斷視訊檔案是否已經下載
if (!fs.existsSync(`${config.savePath}/${video.title}.mp4`)) {
await getVideoData(video.src, 'binary').then(fileData => {
console.log('下載視訊中:', video.title)
savefileToPath(video.title, fileData).then(res =>
console.log(`${res}: ${video.title}`)
)
})
} else {
console.log(`視訊檔案已存在:${video.title}`)
}
}
- 獲取視訊資料
getVideoData (url, encoding) {
return new Promise((resolve, reject) => {
let req = http.get(url, function (res) {
let result = ''
encoding && res.setEncoding(encoding)
res.on('data', function (d) {
result += d
})
res.on('end', function () {
resolve(result)
})
res.on('error', function (e) {
reject(e)
})
})
req.end()
})
}
- 將視訊資料儲存到本地
savefileToPath (fileName, fileData) {
let fileFullName = `${config.savePath}/${fileName}.mp4`
return new Promise((resolve, reject) => {
fs.writeFile(fileFullName, fileData, 'binary', function (err) {
if (err) {
console.log('savefileToPath error:', err)
}
resolve('已下載')
})
})
}
爬取結果截圖
說明
此爬蟲僅用於個人學習,如果侵權,即刻刪除!