Python爬蟲實戰案例:取喜馬拉雅音訊資料詳解
前言
喜馬拉雅是專業的音訊分享平臺,彙集了有聲小說,有聲讀物,有聲書,FM電臺,兒童睡前故事,相聲小品,鬼故事等數億條音訊,我最喜歡聽民間故事和德雲社相聲集,你呢?
今天帶大家爬取喜馬拉雅音訊資料,一起期待吧!!
這個案例的視訊地址在這裡
https://v.douyu.com/show/a2JEMJj3e3mMNxml
專案目標
爬取喜馬拉雅音訊資料
受害者地址
https://www.ximalaya.com/
本文知識點:
- 1、系統分析網頁性質
- 2、多層資料解析
- 3、海量音訊資料儲存
環境:
- python 3.6
- pycharm
- requests
- parsel
思路:(爬蟲案例)
- 1.確定資料所在的連結地址(url)
- 2.通過程式碼傳送url地址的請求
- 3.解析資料(要的, 篩選不要的)
- 4.資料持久化(儲存)
案例思路:
- 1. 在靜態資料中獲取音訊的id值
- 2. 傳送指定id值json資料請求(src)
- 3. 從json資料中解析音訊所對應的URL地址
開始寫程式碼
先匯入所需的模組
import requests import parsel # 資料解析模組 import re
1.確定資料所在的連結地址(url) 逆向分析 網頁性質(靜態網頁/動態網頁)
開啟開發者工具,播放一個音訊,在Madie裡面可以找到一個數據包
複製URL,搜尋
找到ID值
繼續搜尋,找到請求頭引數
url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page) headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
2.通過程式碼傳送url地址的請求
response = requests.get(url=url, headers=headers) html_data = response.text
3.解析資料(要的, 篩選不要的) 解析音訊的 id值
selector = parsel.Selector(html_data) lis = selector.xpath('//div[@class="sound-list _is"]/ul/li') for li in lis: try: title = li.xpath('.//a/@title').get() + '.m4a' href = li.xpath('.//a/@href').get() # print(title, href) m4a_id = href.split('/')[-1] # print(href, m4a_id) # 傳送指定id值json資料請求(src) json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id) json_data = requests.get(url=json_url, headers=headers).json() # print(json_data) # 提取音訊地址 m4a_url = json_data['data']['src'] # print(m4a_url) # 請求音訊資料 m4a_data = requests.get(url=m4a_url, headers=headers).content new_title = change_title(title)
4.資料持久化(儲存)
with open('video\\' + new_title, mode='wb') as f: f.write(m4a_data) print('儲存完成:', title)
最後還要處理檔名非法字元
def change_title(title): pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |' new_title = re.sub(pattern, "_", title) # 替換為下劃線 return new_title
完整程式碼
import re import requests import parsel # 資料解析模組 def change_title(title): """處理檔名非法字元的方法""" pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |' new_title = re.sub(pattern, "_", title) # 替換為下劃線 return new_title for page in range(13, 33): print('---------------正在爬取第{}頁的資料----------------'.format(page)) # 1.確定資料所在的連結地址(url) 逆向分析 網頁性質(靜態網頁/動態網頁) url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page) headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'} # 2.通過程式碼傳送url地址的請求 response = requests.get(url=url, headers=headers) html_data = response.text # print(html_data) # 3.解析資料(要的, 篩選不要的) 解析音訊的 id值 selector = parsel.Selector(html_data) lis = selector.xpath('//div[@class="sound-list _is"]/ul/li') for li in lis: try: title = li.xpath('.//a/@title').get() + '.m4a' href = li.xpath('.//a/@href').get() # print(title, href) m4a_id = href.split('/')[-1] # print(href, m4a_id) # 傳送指定id值json資料請求(src) json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id) json_data = requests.get(url=json_url, headers=headers).json() # print(json_data) # 提取音訊地址 m4a_url = json_data['data']['src'] # print(m4a_url) # 請求音訊資料 m4a_data = requests.get(url=m4a_url, headers=headers).content new_title = change_title(title) # print(new_title) # 4.資料持久化(儲存) with open('video\\' + new_title, mode='wb') as f: f.write(m4a_data) print('儲存完成:', title) except: pass
執行程式碼,效果如下圖
相關推薦
Python爬蟲實戰案例:取喜馬拉雅音訊資料詳解
前言 喜馬拉雅是專業的音訊分享平臺,彙集了有聲小說,有聲讀物,有聲書,FM電臺,兒童睡前故事,相聲小品,鬼故事等數億條音訊,我最喜歡聽民間故事和德雲社相聲集,你呢? 今天帶大家爬取喜馬拉雅音訊資料,一起期待吧!! 這個案例的視訊地址在這裡 https://v.douyu.com/show/
小白福利貼:18個Python爬蟲實戰案例(已開源)
加qq群813622576或vx:tanzhouyiwan免費獲取Python視訊教程以及各類PDF! 爬蟲小工具 downloader.py:檔案下載小助手 一個可以用於下載圖片、視訊、檔案的小工具,有下載進度顯示功能。稍加修改即可新增到自己的爬蟲中。 動
Python爬蟲實戰一:爬取csdn學院所有課程名、價格和課時
import urllib.request import re,xlwt,datetime class csdn_spider(): def __init__(self): self.c = 0 def sava_data(self,name,class_num,price
Python爬蟲——實戰三:爬取蘇寧易購的商品價格(渲染引擎方法)
蘇寧易購的商品價格請求URL為 https://pas.suning.com/nspcsale_0_000000000152709847_000000000152709847_0000000000_10_010_0100101_20268_1000000_
Python爬蟲——實戰一:爬取京東產品價格(逆向工程方法)
在京東的單個產品頁面上,通過檢視原始碼檢查html,可以看到 <span class="p-price"><span>¥</span><span class="price J-p-1279836"></sp
python 爬蟲實戰4 爬取淘寶MM照片
寫真 換行符 rip 多行 get sts tool -o true 本篇目標 抓取淘寶MM的姓名,頭像,年齡 抓取每一個MM的資料簡介以及寫真圖片 把每一個MM的寫真圖片按照文件夾保存到本地 熟悉文件保存的過程 1.URL的格式 在這裏我們用到的URL是 http:/
Python爬蟲實戰(3)-爬取豆瓣音樂Top250資料(超詳細)
前言 首先我們先來回憶一下上兩篇爬蟲實戰文章: 第一篇:講到了requests和bs4和一些網頁基本操作。 第二篇:用到了正則表示式-re模組 今天我們用lxml庫和xpath語法來爬蟲實戰。 1.安裝lxml庫 window:直接用pip去
Python爬蟲實戰之爬取鏈家廣州房價_04鏈家的模擬登入(記錄)
問題引入 開始鏈家爬蟲的時候,瞭解到需要實現模擬登入,不登入不能爬取三個月之內的資料,目前暫未驗證這個說法是否正確,這一小節記錄一下利用瀏覽器(IE11)的開發者工具去分析模擬登入網站(鏈家)的內部邏輯過程,花了一個週末的時間,部分問題暫未解決。 思路介
18個Python爬蟲實戰案例(已開源)
目錄爬蟲小工具檔案下載小助手爬蟲實戰筆趣看小說下載VIP視訊下載百度文庫文章下載_rev1百度文庫文章下載_rev2《帥啊》網帥哥圖片下載構建代理IP池《火影忍者》漫畫下載財務報表下載小助手一小時入門網路爬蟲抖音App視訊下載_rev1抖音App視訊下載_
Python爬蟲小案例:豆瓣電影TOP250
原始碼: #!/usr/bin/python3 # -*-coding: UTF-8-*- from urllib import request import re class MovieTop250(object): def __init
Python爬蟲實戰之爬取B站番劇資訊(詳細過程)
目標:爬取b站番劇最近更新 輸出格式:名字+播放量+簡介 那麼開始擼吧~ 用到的類庫: requests:網路請求 pyquery:解析xml文件,像使用jquery一樣簡單哦~ 1.分析頁面佈局,找到需要爬取的內
Python爬蟲實戰之抓取淘寶MM照片(一)
背景 Python爬蟲系列教程的一次實戰,然而淘寶進行過頁面改版,現在已經沒有淘寶MM這個版面,取而代之的是淘女郎。改版後,頁面是使用JS渲染的,並不能直接通過url來切換頁碼。該系列教程後續講到
python 爬蟲實戰專案--爬取京東商品資訊(價格、優惠、排名、好評率等)
利用splash爬取京東商品資訊一、環境window7python3.5pycharmscrapyscrapy-splashMySQL二、簡介 為了體驗scrapy-spla
Python爬蟲實戰(6)-爬取QQ空間好友說說並生成詞雲(超詳細)
前言 先看效果圖: TXT檔案: 如果想生成特定圖片樣式的詞雲圖,可以直接訪問下面這篇文章學一下: https://mp.weixin.qq.com/s/FUwQ4jZu6KMkjRvEG3UfGw 前幾天我們陸陸續續的講了Python如何生成
利用python爬蟲技術動態爬取地理空間資料雲中的元資料(selenium)
python爬取地理空間資料雲selenium動態點選 爬取的網址秀一下: 爬取的資訊是什麼呢? 這個資訊的爬取涉及到右邊按鈕的點選,這屬於動態爬取的範疇,需要用到selenium 好了,那麼開始寫程式碼吧 首先匯入selenium from seleni
Python爬蟲入門學習線路圖最全知識點詳解
據不完全統計,世界上80%的爬蟲都是基於Python開發的。Python簡單易學,對程式設計初學者十分友好,而且具有豐富而強大的庫,開發效率奇高,因此很多程式設計愛好者都對Python爬蟲十分感興趣。要知道學好爬蟲對工作大有裨益,可為今後入門大資料分析、挖掘、機器學習等領域提供重要的資料來源,從而奠定一定
Python網絡爬蟲實戰案例之:7000本電子書下載(2)
3.2 pytho oss 部署 .html http term ext 開發環境安裝 一、前言 本文是《Python開發實戰案例之網絡爬蟲》的第二部分:7000本電子書下載網絡爬蟲開發環境安裝部署。配套視頻課程詳見51CTO學院。 二、章節目錄 (1)Python開發環境
Python網絡爬蟲實戰案例之:7000本電子書下載(1)
批量 cad 3.2 img oss 開發 批量導出 ucc 學院 一、前言 本文是《Python開發實戰案例之網絡爬蟲》的第一部分:7000本電子書下載網絡爬蟲完整案例演示。配套視頻課程詳見[51CTO學院] 章節目錄: (1)頁面分析1:列表頁-圖書清單(2)頁面分析2
Python網絡爬蟲實戰案例之:7000本電子書下載(3)
RoCE img http cfa ext 頁面 ffffff 分享 html 一、前言 本文是《Python開發實戰案例之網絡爬蟲》的第三部分:7000本電子書下載網絡爬蟲開發實戰詳解。配套視頻課程詳見51CTO學院請添加鏈接描述。 二、章節目錄 3.1 業務流程3.2
Python網絡爬蟲實戰案例之:7000本電子書下載(4)
視頻課程 3.1 剖析 src jpg -html proc 下載 blog 一、前言 本文是《Python開發實戰案例之網絡爬蟲》的第四部分:7000本電子書下載網絡爬蟲-源碼框架剖析。配套視頻課程詳見:51CTO學院。 二、章節目錄 3.1 requests-html文