1. 程式人生 > >知乎視訊下載(爬蟲)

知乎視訊下載(爬蟲)

目前主要功能是完成知乎視訊的下載.

在抓包和網頁分析發現有blob:https://...格式的視訊連結, 但是無法訪問, 不過知乎好像是m3u8格式的, 具體的我也不太清楚, 但這並不妨礙我們的下載工作.

關鍵在於 https://lens.zhihu.com/api/videos/1024143280014860288 這個api返回的json資料, 包含了不同解析度的視訊url,但其中url開啟後是這樣的文字檔案

其中ts就是被分割後的相對url, 拼接後就可以下載播放了, 不過這裡還要做的就是將所有被分割的視訊合併成一個完整的視訊檔案,具體的可參考下面程式碼.

----------------------分割線----->

有相關基礎的同學都會知道一個知乎視訊是被分割成了許多片段.這樣的話的確帶來了諸多好處,但同時給它的下載帶來了麻煩(手動滑稽). 這裡的話專案給出了完整的下載流程,具體我也不多講了.

專案內視訊的初步連結可通過如圖方式獲取:

F12 元素選擇器選中視訊框後會找到<iframe>標籤,其中的src就是對應的視訊初步連結.

下面貼上程式碼:

HttpUtil.java
 1 import org.json.JSONObject;
 2 
 3 import java.io.*;
 4 import java.net.URL;
5 import java.net.URLConnection; 6 import java.util.ArrayList; 7 import java.util.List; 8 import java.util.regex.Matcher; 9 import java.util.regex.Pattern; 10 11 /** 12 * 該類完成視訊下載的一些基本操作 13 * @author As_ 14 * @date 2018-09-17 20:29:12 15 * @github https://github.com/apknet 16 */ 17 public
class HttpUtil { 18 19 /** 20 * 由api提取出最高清晰度的url 21 * @param url 22 * @return play_url 23 */ 24 public static String getPlayUrl(String url) throws IOException { 25 26 String json = getContent(url); 27 28 JSONObject jsonObject = new JSONObject(json).getJSONObject("playlist"); 29 30 if(jsonObject.has("hd")){ 31 return jsonObject.getJSONObject("hd").getString("play_url"); 32 }else if(jsonObject.has("sd")){ 33 return jsonObject.getJSONObject("sd").getString("play_url"); 34 }else if(jsonObject.has("ld")){ 35 return jsonObject.getJSONObject("ld").getString("play_url"); 36 } 37 return null; 38 } 39 40 /** 41 * 解析出播放清單檔案內分散的多個js格式視訊url 42 * @param url 43 * @return 44 */ 45 public static List<String> getSrcList(String url) throws IOException { 46 List<String> list = new ArrayList<>(); 47 String content = getContent(url); 48 // 提取出相對路徑 49 String relUrl = url.replaceAll("/\\w+-\\w+-\\w+-\\w+-\\w+\\.m3u8.*", ""); 50 51 // 正則提取出的為相對路徑, 需與前面的relUrl完成拼接 52 Matcher matcher = Pattern.compile("EXTINF:\\d+\\.\\d+,(.+?)#").matcher(content); 53 54 while (matcher.find()){ 55 System.out.println(matcher.group(1)); 56 list.add(relUrl + "/" + matcher.group(1)); 57 } 58 59 return list; 60 } 61 62 /** 63 * 讀取輸入流並寫到輸出流中,該函式用於合併分散的視訊檔案 64 * @param in 65 * @param out 66 * @throws IOException 67 */ 68 public static void combineStream(InputStream in, OutputStream out) throws IOException { 69 byte[] bytes = new byte[1024]; 70 int n; 71 while ((n = in.read(bytes)) != -1){ 72 out.write(bytes, 0, n); 73 } 74 in.close(); 75 } 76 77 public static InputStream getInputStream(String url) throws IOException { 78 URLConnection connection = new URL(url).openConnection(); 79 connection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"); 80 return connection.getInputStream(); 81 } 82 83 private static String getContent(String url) throws IOException { 84 URLConnection connection = new URL(url).openConnection(); 85 connection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"); 86 87 InputStream inputStream = connection.getInputStream(); 88 BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream)); 89 90 StringBuilder stringBuilder = new StringBuilder(); 91 String line; 92 while((line = reader.readLine()) != null){ 93 stringBuilder.append(line); 94 } 95 reader.close(); 96 inputStream.close(); 97 return stringBuilder.toString(); 98 } 99 }

Main.java

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;

public class Main {
    public static void main(String[] args) {

        // 將下面的替換成對應的知乎視訊url即可
        String url_1 = "https://lens.zhihu.com/api/videos/1024143280014860288";

        try {
            FileOutputStream outputStream = new FileOutputStream(new File("/home/as_/IdeaProjects/VideoHelper/video_1.mp4"));

            List<String> urls = HttpUtil.getSrcList(HttpUtil.getPlayUrl(url_1));

            for(String url: urls){
                HttpUtil.combineStream(HttpUtil.getInputStream(url), outputStream);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

最後附上