這個夏天，《長安十二時辰》火了。 易烊千璽、雷佳音主演；馬伯庸同名小說改編。 耗巨資花費七個月時間打造七十多畝長安城。 這部劇史料嚴謹，造型考究，堪稱良心製作。 目前豆瓣評分也達到8.6的高分。

吐槽下優酷的廣告太長了，不過告訴大家一個小道訊息，支付寶鉑金會員可以使用會員積分兌換一個月優酷會員哦！

一、需求背景

故事主要是講述了唐天寶三載，上元節當日的帝都長安。在一派歌舞昇平的繁華盛景中，一群偷偷潛入的突厥狼衛醞釀著滅城的陰謀。只有一個死囚犯能挽救長安，時限為十二個時辰，進而引發驚心動魄的故事。 在第一集中便出現了一個讓豬哥好奇的專業術語“大案牘術” 於是帶著疑問我就去問百度，還別說真有。

可是，百度百科=白說，然後在彈幕君的指點下才知道這大案牘術就相當於我們今天的大資料分析，最後不忘修改下百度百科。 然後我便不再對這大案牘術感到好奇，而是對彈幕大軍產生興趣，好奇大家為什麼都喜歡看這部劇，大家的共同點在哪裡？這部劇有哪些吸引大家的地方？

二、功能描述

因最近剛好我們在講爬蟲與資料分析，所以就想用我們現代的大案牘術來分析一下這不電視劇到底為什麼會火，大家都對這部電視劇的評價是什麼樣的？（所有彈幕最高頻的900個詞）

三、技術方案

1. 分析某酷彈幕載入方式然後用requests庫爬取
2. 需大量抓取資料，近可能多
3. 重點做資料清洗，比如：劇情、人名、高能君彈幕等等
4. 將彈幕做成雲詞

四、技術實現

豬哥將會詳細的講解每一步的過程，希望感興趣的同學可以認真閱讀，然後自己動手實踐，這樣才能真的學習到知識。

本教程只為學習交流，不得用於商用獲利，後果自負！ 如有侵權或者對任何公司或個人造成不利影響，請告知刪除

1.分析並獲取彈幕介面的URL

第一步：開啟某酷網站，然後點選電視劇播放，在頁面中滑鼠右鍵選擇檢查（或F12）調出瀏覽器的除錯視窗。 第二步：複製任意一條彈幕，然後點選除錯視窗按Control+F進行搜尋！ 第三步：點選該請求的Headers按鈕，檢視請求url，並且注意請求頭中的Referer和User-Agent引數。 只需通過以上三步彈幕載入的url便被我們找到：

https://service.danmu.youku.com/list?jsoncallback=jQuery111205151507831610791_1562918614483&mat=0&mcount=1&ct=1001&iid=1061156738&aid=322943&cid=97&lid=0&ouid=0&_=1562918614486

2.爬取彈幕資料

URL找到之後我們便可以開始coding了，還是老規矩：先從一條資料的抓取、提取、儲存，這些都沒問題之後我們再研究批量抓取。

這裡我們依然是用我們的requests庫來操作，不知道requests庫是什麼東西的老鐵們先看看這篇文章：requests庫介紹。 有了上次的教訓，我們這次直接把請求頭加上，一次就把彈幕資料爬取到手。

3.資料提取

第一步：提取json資料 我們觀察返回的資料會發現，和上一篇一樣，跨域請求都是用的是jsonp，所以我們需要對返回的資料進行稍微的擷取，就是將外面的jQuery111203412576115734338_1562833192066(和最後的)去掉，只保留中間的json資料。 這裡我們和上篇做了一個小小的改動：豬哥使用r.text.index('(')獲取到了回撥函式的左括號的角標，然後再用這個角標去做切片，這樣的好處是可以通用，即使jsonp返回函式名長度改變也不影響。

第二步：提取彈幕資料 得到json之後，我們就來分析彈幕資料在哪裡，我們可以在瀏覽器的除錯視窗的Preview裡面檢視 可以看到result欄位裡面便是彈幕資料，而且他的資料格式是一個列表，列表中是每個彈幕物件，彈幕物件中的content欄位就是實際的彈幕內容，好那我們用json把他們提取並打印出來。

4.資料儲存

想要的資料提取出來之後，我們就可以把資料儲存。資料儲存我們還是使用檔案來儲存，原因是操作方便，滿足需求。

5.批量爬取

完成一次請求請求的爬取、提取、儲存之後，我們來研究下如何批量儲存資料。這裡和其他批量爬取有所區別：如何爬取多集的批量資料？

在遇到問題和困難時，豬哥總是喜歡把事情或者工作量化，然後再細化，分步解決！

這裡我們就把批量爬取分為兩步：第一步批量爬取一集的所有彈幕；第二步爬取多集的彈幕！ 。

第一步：爬取某一集所有彈幕 批量爬取的關鍵就在於找到分頁引數，找分頁的技巧就是：比較兩個請求url的引數，看看有何不同。 我們比較同一集的第一次請求與第二次請求的url發現mat引數不同，而且還是依次遞增的趨勢，這個引數便是我們尋找的分頁引數（其實mat引數表示分鐘數，表示獲取第幾分鐘的彈幕），找到分頁引數後我們就可以對原方法改造，改造思路：

將原url中分頁引數變為可變引數，由方法傳入。然後新建一個批量爬取的方法，迴圈呼叫單次爬取方法，每次呼叫傳入頁數即可！

第二步：爬取多集的所有彈幕 這一步的關鍵在於找到代表集數的引數，我們可以同樣可以使用對比的方法：比較第一集與第二集的第一個彈幕請求URL，從而找到不同引數！ 我們發現第一集的iid=1061156738、第二集的iid=1061112026，但是這個iid引數並不是遞增，如何找到規律？

這時候我們還是要回到網頁中尋找答案，我們複製第一集的iid值1061156738到瀏覽器的除錯視窗搜尋，找到iid就是某介面的vid值。 找到集數引數之後，我們就可以寫一個函式將所有集數引數爬取到。 令牌為空？很奇怪，URL和headers我們都填了為什麼還是不行？而瀏覽器卻可以？

這裡需要引入另一個請求頭：Cookie，Cookie是幹什麼的？

因為HTTP協議是無狀態協議，也就是說下次再請求伺服器並不知道你是誰，所以就用Cookie和Seesion來記錄狀態，最簡單的例子就是使用者登入後，伺服器就給瀏覽器遺傳一串加密字串（key），然後伺服器自己快取一個key-value，這樣瀏覽器每次來請求都帶上這個key，伺服器就知道你是哪個使用者！

由於篇幅有限今天只給大家簡單介紹，考慮其重要性，後面豬哥會專門寫一篇文章介紹Cookie。

那我們去哪裡找Cookie呢？答案當然是瀏覽器咯！ 那這麼多Cookie到底哪個才是我們要找的那個？這個誰也不知道，也不用找，我們直接把所有Cookie複製到程式碼裡面就可以。

但是這種表格形式的根本無法複製，有沒有什麼小技巧能方便我們複製Cookie嗎？當然有，我們點選瀏覽器除錯視窗的Console按鈕，然後輸入document.cookie就可以看到全部Cookie啦，直接複製出來就可以，是不是很方便！ 我們把Cookie複製到程式碼裡試試吧，注意Cookie有過期時間，尤其是這個token大概十幾分鍾可能就會過期，過期之後在瀏覽器中重新複製即可！ 我們可以觀察到返回的資料同樣是個jsonp函式，同樣需要提取內部的json資料，所以我們可以封裝一個公用方法，用於提取jsonp返回的資料轉為json物件，這樣提高了複用性！ 得到json資料之後沒我們通過觀察可以得到知其資料結構，然後將vid提取出來並返回，上圖豬哥返回了一個生成器！

代表集數的id拿到了，現在我們就可以雙層迴圈去爬所有的彈幕啦，上程式碼。 一共爬取了近30萬條的資料，大概用了40分鐘，當然如果你覺得時間間隔太長也可縮短，但是建議不要太頻繁，不然對人家伺服器或者被監控到就不好！

6.資料清洗+生成詞雲

我們要清洗什麼資料？其實這個事先很難猜到，所以我們不做資料清洗直接生成雲詞看看會是什麼效果，然後再做調整。關於雲詞的生成介紹豬哥在上篇爬取京東商品評價並生成詞雲已經為大家講過！

我們可以看到右側生成的詞雲，像：哈哈、不是、這個、什麼等這些詞比較多，這種單詞沒有太大的分析價值，所以我們資料清洗便有了方向。（ps：某酷的彈幕沒啥內涵。。。） 豬哥添加了一份清洗詞列表，這樣就可以將這些詞遮蔽掉，然後我們再來看看效果吧！

7.分析詞雲圖

從上面的詞雲圖中我們可以分析出：

1. 此電視劇中的一些主角：張小敬、李必、崔器、龍波、徐斌、竟然還有人喜歡曹破延。
2. 有人說好看，有人說看不懂，說明劇情可能有點深度
3. 畫風可能有點像刺客信條
4. 四字弟弟、千璽，說明劇中有易烊千璽
5. 片尾曲可能有驚喜
6. 大唐、長安說明了故事背景
7. 彈幕、智商，可能大家在提醒你：關彈幕，保智商！

目前此劇已更新完第一季（20集），真的是一部國產良心劇，畫質、服裝、禮節、拍攝、劇本、演技都堪稱一流，推薦大家看看！

五、總結

我們來從技術層面分析總結一下今天這篇文章，本篇文章看似與上一篇爬取京東商品評價並生成詞雲流程很類似，但是更難一點：

1. 此次爬取的彈幕不僅要找分頁引數，而且要找分集的引數
2. 這次爬取彈幕需要用到Cookie，而且有過期時間
3. 此次資料量大，對電腦效能可能會有點考驗
4. 在生成詞雲時有資料清洗

週末、瓜子花生和啤酒 、看劇程式設計兩不誤，人生豈不美滋滋！

專案地址：https://github.com/pig6/youku_danmu_spider

相關推薦