2. 程式人生 > >Python爬蟲(二)“我想要很多很多的表情包”

Python爬蟲(二)“我想要很多很多的表情包”

阿新 • • 發佈：2019-02-02

Python爬蟲之二：“我想要很多很多的表情包”

哈哈hhh，標題寫的神神經經的不知所云，其實這是一個關於圖片抓取的小運用程式。

一、前期準備

        開啟百度貼吧中的“表情包吧”-->"http://tieba.baidu.com/p/5059180075"，這是我們的表情包來源。開啟開發者除錯，抓取一張圖片，其實就是一個<img>標籤： <img class="BDE_Image" src="https://imgsa.baidu.com/forum/w%3D580/sign=a4d059db24f5e0feee1889096c6234e5/6652f8deb48 f8c54c02193ed33
292df5e1fe7f01.jpg" size="15478" width="262" height="251"> 我們要做的就是抓取頁面的所有的圖片的 src 資源路徑： src="https://imgsa.baidu.com/forum/w%3D580/sign=a4d059db24f5e0feee1889096c6234e5/6652f8deb48f8c54c02193ed33292df5e1fe7f01.jpg
        我們首先運用正則表示式把頁面的所有<img>標籤篩選出來。關於"爬蟲"，我的理解是根據我們的需求從網頁中找到我們需要的內容，如果用字串匹配的話if-else夠我們寫到天荒地老了(不信你可以寫個demo識別一個字串如"-12.3"等是不是數字看看),所以正則表示式
在爬蟲中起了至關重要的作用，然而要用好正則表示式並沒有那麼簡單，一個美式笑話"When you find a problem can use regular expressions to solve, so you have two problems"。         Python的正則表示式使用方法封裝在了re模組裡，在程式裡 import 進來就可以用了。         先說在html檔案裡匹配<img>標籤的正則表示式怎麼寫吧：r'<img class="BDE_Image".*?src="([^"]*\.jpg)"' 解釋一下，同一個頁面的同類型的img標籤，按正常的寫法『<img class="BDE_Image"』這一部分是固定的了，接續還有src屬性，width屬性，height屬性等(順序不一定固定)，除了src 屬性都不是我們關心的內容，直接用“萬用字元”『.*?』匹配就好了（『.』 表示匹配除了換行符外的任何字元；『*?』這裡是指匹配前面的『.』 零次或多次，非貪婪模式）；關鍵是寫好src屬性的匹配：『src="(
[^"]*\.jpg)"』，其中『[^"]』指生成一個字元類(一個字元集合，可以匹配集合裡的任一字元)，『^』是脫字元，這裡指的是取反，也就是生成的字元類裡包含除了『"』的所有字元，『*』指匹配前面的『[^"]』 零次或多次。還有提高效率的一點是用小括號『()』將圖片的地址括起來進行分組，因為我們用正則表示式模式物件的findall()方法時，會找到所有匹配的內容，並將它們組織成列表返回，像 [<img class="BDE_Image" src="https://imgsa.baidu.com/forum/w%3D580/sign=a4d059db24f5e0feee1889096c6234e5/6652f8deb48 f8c54c02193ed33292df5e1fe7f01.jpg" size="15478" width="262" height="251">,<img class="BDE_Image" src="https://imgsa.baidu.com/forum/w%3D580/sign=6fe64e07e9fe9925cb0c695804aa5ee4/3addbf8f8c5494eea5d059db24f5e0fe98257e01.jpg" size="27450" width="338" height="600"> .....]這樣的列表，而我們需要的只是圖片的地址，所以我們還要在裡邊把圖片的地址給提取出來，子組很方便就解決了這一問題：因為在findall()方法中，如果給出的正則表示式包含了一個或者多個子組，就會返回子組中匹配的內容，如果存在多個子組，那麼它還會將匹配的內容組合成元組的形式再返回。這裡只有一個元組，所以返回的自然就是圖片的地址了。

二、.py程式

程式也很簡短，30行程式碼，沒辦法，“人生苦短，我用Python!”。
結果就是我們用30行程式碼換來了500多張表情圖，媽媽再也不用擔心我和你們鬥圖了！

相關推薦

Python爬蟲(二)“我想要很多很多的表情包”

Python爬蟲之二：“我想要很多很多的表情包” 哈哈hhh，標題寫的神神經經的不知所云，其實這是一個關於圖片抓取的小運用程式。 一、前期準備         開啟百度貼吧中的“表情包吧”-->

python爬蟲爬取鬥圖網 最新表情包（第二篇）

上一篇文章爬的表情包是套圖，發現還有一千多頁的最新表情包。兩者的網頁結構有點區別，程式碼需要整改下，看下頁面，規律也比較好找。 非常氣憤，上一個部落格被其他爬走了，還是一個培訓機構，插了自己的廣告！ 所有的表情圖片都是在標籤下，數了一下每一頁都是17行，

.map(function(item)...)這個是按hashcode自動遍歷的，怎麽才能按照我想要的順序遍歷呢？

alt data html 自動 data- 順序 每次 func -s 上圖是我前端的遍歷代碼。我的item上有一個name的字段，分別是營業執照，稅務登記證和經營許可證，我怎麽設置才能讓函數每次遍歷的時候按照這個順序遍歷，而不是item自帶的順序呢？

我想要一只貓或狗

永遠 能夠 想法 的人 一個人 也有 打開 孤單 添加 某個時候，總是會有很多想法，我想要幹什麽，我想要有什麽。想要一個大大的房子，想要一個美滿的家庭，想要成為一個有錢人。 而此時的我多麽想要一只寵物，無論是貓還是狗，我想要一只，雖然他們不會說話，但他們懂你，他們不需要你去

Python爬蟲(二十三)_selenium案例：動態模擬頁面點擊

zip 函數 span www. 方法 markdown web selenium 使用 本篇主要介紹使用selenium模擬點擊下一頁，更多內容請參考:Python學習指南 #-*- coding:utf-8 -*- import unittest from sel

文件操作，是一個存為字符串格式的登陸系統，有增刪改查的功能，但不是我想要的。。。

str repl 修改 blog 一個 ice body pwd 刪除 def register(NAME, PWD, TEL): with open(‘userdate.txt‘, ‘a‘, encoding=‘utf-8‘) as f: new

Python爬蟲(二)——對開封市58同城出租房數據進行分析

boxplot bsp des das png fig 分析 set 技術 出租房面積(area) 　　　　　　　　　 出租房價格(price) 　　　　　　

我想要怒放的生命

又在工作日看電影，唉，算了，就當放鬆心情了。 不過，心境因為這部電影改善了很多，每次帶著不一樣的心情來看，總會有不同的收穫。 不強求了，既然有第一次，就會有第二次，還不如享受當下，做一隻隨波追流的鹹魚好了。 新的一個月開始了，2018年也快要結束了，這一年，我收穫了什麼呢，我做到了以前的夢想嗎？計劃按期

Eclipse、Java如何下載到我想要的版本？

官網 work oracle 是我 直接 ali 提示 alt ext Eclipse官網：http://www.eclipse.org/　　不信你去看看 Java官網：https://www.java.com/　　不信你去看看 可惜是，每次進入官網提示都是下面這樣的：來，

精選26個Python實用技巧，想要裝逼？先Get這份技術列表！

Python 雖然是指令碼語言，但是因為其易學，迅速成為科學家的工具，從而積累了大量的工具庫、架構，人工智慧涉及大量的資料科學，用 Python 是很自然的事。磨刀不誤砍柴工，要入門人工智慧領域，就必須掌握 Python。讓我們來看看 Peter Gleeson 整理的 26 個 Python 有用

專訪百度熊輝：有人轉AI純粹因為好找工作，這樣的人不是我想要的

2018 年初，學術界的明星人物，美國羅格斯－新澤西州立大學教授、ACM 傑出科學家、長江學者熊輝加盟百度，擔任百度商業智慧實驗室主任以及百度人才智庫主任。 從計算機博士到商學院教授，再從學術圈到工業界，熊輝一直在跨界。從加入百度到現在，熊輝已經帶領團隊拿下了管理界的最高獎項——哈佛商

我想要革命想要解脫....

　　最近一個月，恍若隔世，天天加班，昨晚終於發版了，今天才喘一口氣。有時候，即便你工作效率再怎麼高，擼碼再怎麼快也無可避免的會加班。不信的話，可以先給你定一個交付時間，然後不斷的給你加需求，就讓你一個人做，偶爾再給你來幾下變更，看你怎麼死？本來做專案，需求、資源、時間就是一個鐵三角，一旦你強行要打破這個平衡，

985應屆生吐槽：網際網路行業疲於奔命，公務員才是我想要的生活

對於很多應屆生而言，選擇在企業工作還是做公務員，是兩種截然不同的人生道路。就像下面這名985應屆生所吐槽的一樣，選擇網際網路行業雖然錢多，但年紀一大就疲於奔命，而公務員雖然工資不高，但卻可以做到工作和生活的平衡，這才是理想中的生活。     985應屆生打算全力

新版caffe新增自己的層（目前只學會新增，我想要新增的loss還沒能實現），cu檔案用於cuda加速的程式碼 新版caffe新增自己的層（目前只學會新增，我想要新增的loss還沒能實現）

原 新版caffe新增自己的層（目前只學會新增，我想要新增的loss還沒能實現） 2016年10月05日 16:23:25 scarlette唐 閱讀數：1

985應屆生吐槽：程式設計師行業疲於奔命，公務員才是我想要的生活

對於很多應屆生而言，選擇在企業工作還是做公務員，是兩種截然不同的人生道路。就像下面這名985應屆生所吐槽的一樣，選擇網際網路行業雖然錢多，但年紀一大就疲於奔命，而公務員雖然工資不高，但卻可以做到工作和生活的平衡，這才是理想中的生活。 985應屆生打算全力備考公務員了，祝我公考成功，看著網際

python爬蟲(二)_HTTP的請求和響應 python爬蟲(二)_HTTP的請求和響應

python爬蟲(二)_HTTP的請求和響應 HTTP和HTTPS HTTP(HyperText Transfer Protocol，超文字傳輸協議)：是一種釋出和接收HTML頁面的方法 HTTPS(HyperText Transfer Protocol over Secure Socket

python爬蟲(二)_HTTP的請求和響應

internet pan ESS 郵件 將在 資源定位 回復 資源文件 所在地 HTTP和HTTPS HTTP(HyperText Transfer Protocol，超文本傳輸協議)：是一種發布和接收HTML頁面的方法 HTTPS(HyperText Transfer

Python爬蟲(二十四)_selenium案例：執行javascript指令碼

本章叫介紹如何使用selenium在瀏覽器中使用js指令碼，更多內容請參考：Python學習指南 隱藏百度圖片 #-*- coding:utf-8 -*- #本篇將模擬執行javascript語句 from selenium import webdriver fro

Python爬蟲(二十二)_selenium案例：模擬登陸豆瓣

本篇部落格主要用於介紹如何使用selenium+phantomJS模擬登陸豆瓣，沒有考慮驗證碼的問題，更多內容，請參考：Python學習指南 #-*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.

Python爬蟲(二十三)_selenium案例：動態模擬頁面點選

本篇主要介紹使用selenium模擬點選下一頁，更多內容請參考:Python學習指南 #-*- coding:utf-8 -*- import unittest from selenium import webdriver from selenium.webdriver.common