2. 程式人生 > 其它 >python爬取網易雲音樂並分析：使用者有什麼樣的音樂偏好？

python爬取網易雲音樂並分析：使用者有什麼樣的音樂偏好？

阿新 • • 發佈：2022-05-04

發現自己有時候比挖掘別人來的更加有意義，自己到底喜歡誰的歌，自己真的知道麼？習慣不會騙你。

搭建爬蟲環境

1.安裝selenium

pip install selenium

# anaconda環境的可用conda install selenium

# 網速不好的可用到https://pypi.python.org/pypi/selenium下載壓縮包，解壓後使用python setup.py install

2.安裝Phantomjs

Mac版本

步驟一下載包：去這裡下載對應版本http://phantomjs.org/download.html

步驟二解壓：雙擊就行，用unzip這都無所謂

步驟三切入路徑:cd ~/Downloads/phantomjs-2.1.1-macosx/bin # 我下的路徑的路徑是download，版本不一，注意修改

步驟四：chmod +x phantomjs

步驟五: 配置環境，因為我裝的的zsh，所以檔案需要修改的是~/.zshrc這個檔案，加上這句話export PATH="/Users/mrlevo/Downloads/phantomjs-2.1.1-macosx/bin/:$PATH"，然後source ~/.zshrc 即可生效(沒用zsh的同學，直接修改的檔案時~/.bash_profile，新增內容和上述一致)

檢視是否生效：phantomjs -v # 有資訊如 2.1.1 則生效

mac若遇到問題請參考

PhantomJS 安裝

https://segmentfault.com/a/1190000009020535

Win版本

官網http://phantomjs.org/下載PhantomJS解壓後如下圖所示：

呼叫時可能會報錯“Unable to start phantomjs with ghostdriver”如圖：

此時可以設定下Phantomjs的路徑，同時如果你配置了Scripts目錄環境變數，可以解壓Phantomjs到該資料夾下。可參考Selenium with GhostDriver in Python on Windows - stackoverflow， https://stackoverflow.com/questions/21768554/selenium-with-ghostdriver-in-python-on-windows 整個win安裝過程可參考在Windows下安裝PIP+Phantomjs+Selenium], http://blog.csdn.net/eastmount/article/details/47785123 Mac和Linux/Ubuntu 下可參考[解決：Ubuntu(MacOS)+phantomjs+python的部署問題 http://blog.csdn.net/mrlevo520/article/details/73196256

測試安裝是否成功

爬取動態資料

獲取自己的id號，這個可以自己登陸自己的網易雲音樂後獲得，就是id=後面那個值

構造爬取的id，因為我發現，每個人的id只要被獲取到，他的歌單都是公開的！！！這就節省了自動登入的一步，而且，我還有個大膽的想法，哈哈哈，我還要搞個大新聞！這次先不說~

# -*- coding: utf-8 -*-

import traceback
from selenium import webdriver
import selenium.webdriver.support.ui as ui
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
import random


# 儲存為文字的子函式
def write2txt(data,path):
    f = open(path,"a")
    f.write(data)
    f.write("n")
    f.close()


# 獲取該id喜歡音樂的列表
def catchSongs(url_id,url):

    user = url_id.split('=')[-1].strip()  
    print 'excute user:',user

    driver = webdriver.PhantomJS()#,executable_path='/Users/mrlevo/phantomjs-2.1.1-macosx/bin/phantomjs')  
    #  注意填上路徑
    driver.get(url)

    driver.switch_to_frame('g_iframe')  # 網易雲的音樂元素都放在框架內！！！！先切換框架

    try:
        wait = ui.WebDriverWait(driver,15)
        wait.until(lambda driver: driver.find_element_by_xpath('//*[@class="j-flag"]/table/tbody')) 
        # 等待元素渲染出來
        try:
            song_key = 1
            wrong_time = 0
            while wrong_time < 5:  # 不斷獲取歌資訊，假定5次獲取不到值，就判無值可獲取，跳出迴圈
                try:
                    songs = driver.find_elements_by_xpath('//*[@class="j-flag"]/table/tbody/tr[%s]'%song_key)
                    info_ = songs[0].text.strip().split("n")
                    if len(info_) == 5:
                        info_.insert(2,'None') # 沒有MV選項的進行插入None
                    new_line = '%s|'%user+'|'.join(info_)
                    song_key +=1
                    #new_line = "%s|%s|%s|%s|%s|%s|%s"%(user,info_[0],info_[1],info_[2],info_[3],info_[4],info_[5])

                    print new_line

                    write2txt(new_line.encode('utf-8'),user)  
                    # mac寫入檔案需要改變字元，以id命名的檔案，儲存在執行指令碼的當前路徑下，
                    # 在win下請去掉編.endcode('utf-8')


                except Exception as ex:
                    wrong_time +=1
                    # print ex
        except Exception as ex:
            pass

    except Exception as ex:
        traceback.print_exc()
    finally:
        driver.quit()



# 獲取id所喜愛的音樂的url
def catchPlaylist(url):


    driver = webdriver.PhantomJS()
    #,executable_path='/Users/mrlevo/phantomjs-2.1.1-macosx/bin/phantomjs')  
    #  注意填上路徑
    driver.get(url)

    driver.switch_to_frame('g_iframe')  # 網易雲的音樂元素都放在框架內！！！！先切換框架

    try:
        wait = ui.WebDriverWait(driver,15)
        wait.until(lambda driver: driver.find_element_by_xpath('//*[@class="m-cvrlst f-cb"]/li[1]/div/a'))  
        # 根據xpath獲取元素

        urls = driver.find_elements_by_xpath('//*[@class="m-cvrlst f-cb"]/li[1]/div/a')
        favourite_url = urls[0].get_attribute("href")

    except Exception as ex:
        traceback.print_exc()
    finally:
        driver.quit()
    # print favourite_url
    return favourite_url



if __name__ == '__main__':

    for url in ['http://music.163.com/user/home?id=67259702']:  
        # 這裡把自己的id替換掉，想爬誰的歌單都可以，只要你有他的id
        time.sleep(random.randint(2, 4)) # 隨機休眠時間2~4秒
        url_playlist = catchPlaylist(url)
        time.sleep(random.randint(1, 2))
不出意外的話，你的執行指令碼的目錄下會產生一個以你的id命名的檔案，裡面開啟應該是這樣的

接下來就是處理自己下好的自己的歌單了，為了方便起見，我在構造爬取程式碼的時候，已經構造的比較好了，這也就幫助大家減少了資料預處理的時間了，一般來說，資料不會那麼幹淨的。

我只是做了最簡單的歌手詞雲的例子，資料比較豐富的情況下，自己處理吧，想做什麼統計都可以

# -*- coding: utf-8 -*-

# 如果還不清楚詞雲怎麼搞，
# 請參考這裡https://mp.weixin.qq.com/s/0Bw8QUo1YfWZR_Boeaxu_Q，或者自行百度，很簡單的一個包

import numpy as np
import PIL.Image as Image
from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt

# 統計詞頻
# win的使用者，把解碼去掉即可，因為當時mac寫入的檔案有編碼，所以讀出來需要解碼
def statistics(lst):  
    dic = {}  
    for k in lst:  
        if not k.decode('utf-8') in dic:dic[k.decode('utf-8')] = 0  
        dic[k.decode('utf-8')] +=1  
    return dic  


path = '67259702'  # 自己路徑自己搞定
list_ = []
with open(path,'r') as f:
    for line in f:
        list_.append(line.strip().split('|')[-2].strip())

dict_ = statistics(list_)


# the font from github: https://github.com/adobe-fonts
font = r'SimHei.ttf'
coloring = np.array(Image.open("screenshot.png"))  # 遮罩層自己定義，可選自己的圖片
wc = WordCloud(background_color="white",
               collocations=False, 
               font_path=font,
               width=1400, 
               height=1400,
               margin=2,
               mask=np.array(Image.open("screenshot.png"))).generate_from_frequencies(dict_)

# 這裡採用了generate_from_frequencies(dict_)的方法，裡面傳入的值是{‘歌手1’:5,‘歌手2’:8,},分別是歌手及出現次數，其實和jieba分詞
# 之後使用generate(text)是一個效果，只是這裡的text已經被jieba封裝成字典了

image_colors = ImageColorGenerator(np.array(Image.open("screenshot.png")))
plt.imshow(wc.recolor(color_func=image_colors))
plt.imshow(wc)
plt.axis("off")
plt.show()

wc.to_file('mymusic2.png')  # 把詞雲儲存下來 
方塊版本

# -*- coding: utf-8 -*-
# 稍微修改下引數，就是另一幅圖，這是沒有遮罩層的
import numpy as np
import PIL.Image as Image
from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt

# 統計詞頻
def statistics(lst):  
    dic = {}  
    for k in lst:  
        if not k.decode('utf-8') in dic:dic[k.decode('utf-8')] = 0  
        dic[k.decode('utf-8')] +=1  
    return dic  


path = '67259702'  # 自己路徑自己搞定
list_ = []
with open(path,'r') as f:
    for line in f:
        list_.append(line.strip().split('|')[-2].strip())

dict_ = statistics(list_)


# the font from github: https://github.com/adobe-fonts
font = r'SimHei.ttf'
coloring = np.array(Image.open("screenshot.png"))
wc = WordCloud(
               collocations=False, 
               font_path=font,
               width=1400, 
               height=1400,
               margin=2,
               ).generate_from_frequencies(dict_)

# 這裡採用了generate_from_frequencies(dict_)的方法，裡面傳入的值是{‘歌手1’:5,‘歌手2’:8,},分別是歌手及出現次數，其實和jieba分詞
# 之後使用generate(text)是一個效果，只是這裡的text已經被jieba封裝成字典了

image_colors = ImageColorGenerator(np.array(Image.open("screenshot.png")))

plt.imshow(wc)
plt.axis("off")
plt.show()

wc.to_file('mymusic2.png')  # 把詞雲儲存下來

剛看到個好玩的，迫不及待的試了下，這是關於語種翻譯的API介面，阿里雲買的，0.01=1000條，買買買，買來玩玩試試自己歌曲語種

# -*- coding:utf-8 -*-
# 呼叫的阿里雲的API介面實現語種翻譯
# API官網：https://market.aliyun.com/products/57124001/cmapi010395.html?spm=5176.730005.0.0.UrR9bO#sku=yuncode439500000
import urllib, urllib2, sys
import ssl

def Lang2Country(text):
    host = 'https://dm-12.data.aliyun.com'
    path = '/rest/160601/mt/detect.json'
    method = 'POST'
    appcode = 'xxxxx'  # 購買後提供的appcode碼
    querys = ''
    bodys = {}
    url = host + path
    bodys['q'] = text
    post_data = urllib.urlencode(bodys)
    request = urllib2.Request(url, post_data)
    request.add_header('Authorization', 'APPCODE ' + appcode)
    # 根據API的要求，定義相對應的Content-Type
    request.add_header('Content-Type', 'application/x-www-form-urlencoded; charset=UTF-8')
    ctx = ssl.create_default_context()
    ctx.check_hostname = False
    ctx.verify_mode = ssl.CERT_NONE
    response = urllib2.urlopen(request, context=ctx)
    content = response.read()
    if (content):
        # print(content)
        return content
    else:
        return None


# 
# 67259702|1|Claux - 水之畔(8lope Remix) (feat. 陶心瑤)|None|02:44|8lope|水之畔(feat. 陶心瑤) (8lope Remix)
list_songs = []
list_songwithsinger = []
with open('67259702') as f:  # 檔名寫上次爬下來的
    for line in f:
        line_split = line.split('|')
        list_songs.append(line_split[2])
        list_songwithsinger.append(line_split[2]+line_split[5])


# 呼叫介面進行語種識別
dict_lang = {}
for i in range(537):
    try:
        content = Lang2Country(list_songwithsinger[i])
        lag_ = json.loads(content)['data']['language']
        if lag_ not in dict_lang:
            dict_lang[lag_]=0
        dict_lang[lag_] +=1
    except:
        pass

print dict_lang 

# {u'ru': 1, u'fr': 9, u'en': 111, u'zh': 259, u'pt': 21, u'ko': 8, u'de': 7, u'tr': 15, u'it': 47, u'id': 2, u'pl': 7, u'th': 1, u'nl': 10, u'ja': 17, u'es': 20}

ok,資料準備好了，接下來視覺化就好了！這次我用Echarts，換個口味的就不用雲詞了，來個統計效果好看點的！

# 進入該網頁：http://echarts.baidu.com/demo.html#pie-simple
# 然後把裡面的內容替換掉就行
option = {
    title : {
        text: '哈士奇說喵喜歡的音樂',
        x:'center'
    },
    tooltip : {
        trigger: 'item',
        formatter:'{b} : {c} ({d}%)' 
    },
    legend: {
        orient: 'vertical',
        left: 'left',
        data:['中文','英文','俄語','法語','葡萄牙語','韓語','德語','土耳其語','義大利語']
    },
    series : [
        {
            name: '訪問來源',
            type: 'pie',
            radius : '55%',
            center: ['50%', '60%'],
            itemStyle: {  
              normal: {label:{  
                show:true,  
                formatter:'{b} : {c} ({d}%)'  
            },  
              }},
            data:[
                {value:259, name:'中文'},
                {value:111,name:'英文'},
                {value:1, name:'俄語'},
                {value:9, name:'法語'},
                {value:21, name:'葡萄牙語'},
                {value:8, name:'韓語'},
                {value:7, name:'德語'},
                {value:15, name:'土耳其語'},
                {value:47, name:'義大利語'},
                {value:2, name:'印尼語'},
                {value:7, name:'波蘭語'},
                {value:1, name:'泰語'},
                {value:10, name:'荷蘭語'},
                {value:17, name:'日語'},
                {value:20, name:'西班牙語'},

            ],

        }
    ]
};
  1. 這裡遇到的最大問題，就是網易雲的網頁竟然還iframe框來做！！！不切入那個內聯框架連phantomjs都無能為力！！這是最值得注意的一點，即使你找對了元素，也可能獲取不到值！
  2. 如果是win的計算機，在 driver = webdriver.PhantomJS()裡面填上phantomjs.exe的路徑，上面抓取資料的程式碼裡面有兩個需要引擎需要填寫路徑
  3. 如果有打印出欄位，但是記錄的資料為0KB，那麼是檔案沒有寫進去，對於win的使用者，把程式碼寫入的部門，編碼方式去掉即可
  4. 有些win的小夥伴反應路徑都載入對了，但是還是找不到exe，那麼請在路徑前面加r比如executable_path=r"F:Pythonphantomjs-1.9.1-windowsphantomjs.exe"

結論

果然一下子就看出是上個世紀九十年代的人（：，還有就是，音樂不分國界，就是動感~

via: http://blog.csdn.net/mrlevo520/article/details

相關推薦

Python爬蟲實戰，requests模組，Python爬取網易雲歌曲並儲存本地

前言 今天給大家簡單演示的爬取了一下某易雲歌曲的排行榜資訊,最後將音樂儲存到本地

python爬取網易雲音樂並分析：使用者有什麼樣的音樂偏好？

發現自己有時候比挖掘別人來的更加有意義，自己到底喜歡誰的歌，自己真的知道麼？習慣不會騙你。

python爬取網易雲音樂熱歌榜例項程式碼

首先找到要下載的歌曲排行榜的連結，這裡用的是： https://music.163.com/discover/toplist?id=3778678

Python爬取網易雲音樂歌手歌曲和歌單

僅供學習參考 Python爬取網易雲音樂網易雲音樂歌手歌曲和歌單，並下載到本地

python | 爬取網易雲音樂下載

一、選題背景 由於現在的音樂版權問題，很多音樂分佈在各個平臺的音樂播放器，而版權問題也使很多人非常的困擾，從而找不到音樂的資源。因此為幫助使用網易雲的夥伴們，更好的找到各個平臺的資源，聽到更多自己喜歡的

用Python爬取網易雲音樂的使用者評論文字

本文利用Python2.7根據網易雲音樂歌曲ID爬取了該歌曲的所有使用者評論資料。以id是28875120的歌曲《小歲月太著急》為示例，通過Chrome的DevTools工具獲取已加密評論資料，然後基於AES對稱加密演算法對已加密資料進行

Python 爬取網易雲歌手的50首熱門作品

使用requests爬取網易雲音樂 Python程式碼： import json import os import time from bs4 import BeautifulSoup

Python爬取網易雲歌曲評論，做詞雲分析

前言 emmmm 沒什麼說的，想說的都在程式碼裡 環境使用 Python 3.8 直譯器 3.10 Pycharm 2021.2 專業版

爬取網易雲音樂熱歌榜 - Python

現在很多音樂平臺的音樂因為版權，或多或少要收費或者只對vip開放，有時候想聽首自己喜歡的歌都很鬧心。今天來爬下網易雲音樂的熱歌榜，也可以爬自己喜歡的音樂然後下載到本地進行欣賞。

python爬蟲爬取網易雲音樂（超詳細教程，附原始碼）

一、 前言 先說結論，目前無法下載無損音樂，也無法下載vip音樂。 此程式碼模擬web網頁js加密的過程，向api介面傳送引數並獲取資料，僅供參考學習，如果需要下載網易雲音樂，不如直接在客戶端下載，客戶端還可以下載

爬取網易雲音樂歌曲特色榜單資訊

網易雲音樂(iframe內的歌單) 剛開始學習做下記錄 需要先下載好所需瀏覽器核心 我時谷歌，下載地址 http://chromedriver.storage.googleapis.com/index.html 然後沒了，自己F12扒拉下就行了執行：左側隨便點

爬取網易雲音樂

技術標籤：爬蟲pythonxpath 程式碼如下 import requests from lxml import etree import os url = \'https://music.163.com/discover/toplist?id=3779629\'

Python爬蟲實戰，argparse模組，Python模擬登入爬取網易雲個人聽歌排行榜

前言 那麼今天我們就來爬一波網抑雲個人聽歌排行榜吧。讓我們愉快地開始吧~

Scrapy爬取網易雲音樂和評論（二、Scrapy框架每個模組的作用）

教程系列連結目錄： 1、Scrapy爬取網易雲音樂和評論（一、思路分析） 2、Scrapy爬取網易雲音樂和評論（二、Scrapy框架每個模組的作用）

Scrapy爬取網易雲音樂和評論（五、評論）

教程系列連結目錄： 1、Scrapy爬取網易雲音樂和評論（一、思路分析） 2、Scrapy爬取網易雲音樂和評論（二、Scrapy框架每個模組的作用）

Scrapy爬取網易雲音樂和評論（四、關於API）

教程系列連結目錄： 1、Scrapy爬取網易雲音樂和評論（一、思路分析） 2、Scrapy爬取網易雲音樂和評論（二、Scrapy框架每個模組的作用）

用 Python 爬取網易嚴選妹子內衣資訊，探究妹紙們的偏好

今天繼續來分析爬蟲資料分析文章，一起來看看網易嚴選商品評論的獲取和分析。

Python爬蟲之js加密破解，抓取網易雲音樂評論生成詞雲

js破解歷程 前言 技能點 介面概況 靜態網頁動態網頁 頁面解析 step1： 找引數step2：分析js函式step3：分析引數step4： 校驗step5：轉為python程式碼

selenium自動爬取網易易盾的驗證碼

我們在爬蟲過程中難免會遇到一些攔路虎，比如各種各樣的驗證碼，時不時蹦出來，這時候我們需要去識別它來繼續我們的工作，接下來我將爬取網一些滑動驗證碼，然後通過百度的EasyDL平臺進行資料標註，建立模型，訓練模

爬取網易嚴選某種衣服商品資料，實現視覺化，結論有點嚇人

前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。