Python爬蟲:爬取喜馬拉雅音訊資料詳解
阿新 • • 發佈:2020-12-08
前言
喜馬拉雅是專業的音訊分享平臺,彙集了有聲小說,有聲讀物,有聲書,FM電臺,兒童睡前故事,相聲小品,鬼故事等數億條音訊,我最喜歡聽民間故事和德雲社相聲集,你呢?
今天帶大家爬取喜馬拉雅音訊資料,一起期待吧!!
專案目標
爬取喜馬拉雅音訊資料
受害者地址
https://www.ximalaya.com/
本文知識點:
- 1、系統分析網頁性質
- 2、多層資料解析
- 3、海量音訊資料儲存
環境:
- python 3.6
- pycharm
- requests
- parsel
思路:(爬蟲案例)
- 1.確定資料所在的連結地址(url)
- 2.通過程式碼傳送url地址的請求
- 3.解析資料(要的, 篩選不要的)
- 4.資料持久化(儲存)
案例思路:
- 1. 在靜態資料中獲取音訊的id值
- 2. 傳送指定id值json資料請求(src)
- 3. 從json資料中解析音訊所對應的URL地址
開始寫程式碼
先匯入所需的模組
import requests
import parsel # 資料解析模組
import re
1.確定資料所在的連結地址(url) 逆向分析 網頁性質(靜態網頁/動態網頁)
開啟開發者工具,播放一個音訊,在Madie裡面可以找到一個數據包
複製URL,搜尋
找到ID值
繼續搜尋,找到請求頭引數
url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
2.通過程式碼傳送url地址的請求
response = requests.get(url=url, headers=headers)
html_data = response.text
3.解析資料(要的, 篩選不要的) 解析音訊的 id值
selector = parsel.Selector(html_data)
lis = selector.xpath('//div[@class="sound-list _is"]/ul/li')
for li in lis:
try:
title = li.xpath('.//a/@title').get() + '.m4a'
href = li.xpath('.//a/@href').get()
# print(title, href)
m4a_id = href.split('/')[-1]
# print(href, m4a_id)
# 傳送指定id值json資料請求(src)
json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)
json_data = requests.get(url=json_url, headers=headers).json()
# print(json_data)
# 提取音訊地址
m4a_url = json_data['data']['src']
# print(m4a_url)
# 請求音訊資料
m4a_data = requests.get(url=m4a_url, headers=headers).content
new_title = change_title(title)
4.資料持久化(儲存)
with open('video\\' + new_title, mode='wb') as f:
f.write(m4a_data)
print('儲存完成:', title)
最後還要處理檔名非法字元
def change_title(title):
pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |'
new_title = re.sub(pattern, "_", title) # 替換為下劃線
return new_title
完整程式碼
import re
import requests
import parsel # 資料解析模組
def change_title(title):
"""處理檔名非法字元的方法"""
pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |'
new_title = re.sub(pattern, "_", title) # 替換為下劃線
return new_title
for page in range(13, 33):
print('---------------正在爬取第{}頁的資料----------------'.format(page))
# 1.確定資料所在的連結地址(url) 逆向分析 網頁性質(靜態網頁/動態網頁)
url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
# 2.通過程式碼傳送url地址的請求
response = requests.get(url=url, headers=headers)
html_data = response.text
# print(html_data)
# 3.解析資料(要的, 篩選不要的) 解析音訊的 id值
selector = parsel.Selector(html_data)
lis = selector.xpath('//div[@class="sound-list _is"]/ul/li')
for li in lis:
try:
title = li.xpath('.//a/@title').get() + '.m4a'
href = li.xpath('.//a/@href').get()
# print(title, href)
m4a_id = href.split('/')[-1]
# print(href, m4a_id)
# 傳送指定id值json資料請求(src)
json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)
json_data = requests.get(url=json_url, headers=headers).json()
# print(json_data)
# 提取音訊地址
m4a_url = json_data['data']['src']
# print(m4a_url)
# 請求音訊資料
m4a_data = requests.get(url=m4a_url, headers=headers).content
new_title = change_title(title)
# print(new_title)
# 4.資料持久化(儲存)
with open('video\\' + new_title, mode='wb') as f:
f.write(m4a_data)
print('儲存完成:', title)
except:
pass
執行程式碼,效果如下圖
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯絡我們以作處理
想要獲取更多Python學習資料可以加QQ:2955637827私聊或加Q群630390733大家一起來學習討論吧!