python 爬取指定圖片並將圖片下載到指定資料夾
""" Version 1.1.0 Author lkk Email [email protected] date 2018-10-19 11:34 DESC 下載指定網頁的圖片到指定資料夾 """ import requests import os from urllib import request import re res = request.urlopen("http://www.27270.com/beautiful/") html = res.read() with open("picture.html", 'wb') as f: f.write(html) with open("picture.html", "rb") as f: msg = r'alt="(.*?)".*?src="(.*?)"' result = re.findall(msg, f.read().decode('gbk')) for i in result: url = "" root = "E:\my_test\day10_18\image/" path = root + i[0]+'.jpg' try: if not os.path.exists(root): os.mkdir(root) if os.path.exists(path): r = requests.get(i[1]) # 如果傳送了一個錯誤請求(一個 4XX 客戶端錯誤,或者 # 5XX 伺服器錯誤響應),我們可以通過Response.raise_for_status() 來丟擲異常: r.raise_for_status() # 使用with語句可以不用自己手動關閉已經開啟的檔案流 with open(path, "wb") as e: # 開始寫檔案,wb代表寫二進位制檔案 e.write(r.content) print("爬取完成") else: os.path.exists(path) r = requests.get(i[1]) r.raise_for_status() # 使用with語句可以不用自己手動關閉已經開啟的檔案流 with open(path, "wb") as e: # 開始寫檔案,wb代表寫二進位制檔案 e.write(r.content) print("爬取完成") except Exception as e: print("爬取失敗:"+str(e))
相關推薦
scrapy框架來爬取桌布網站並將圖片下載到本地檔案中
首先需要確定要爬取的內容,所以第一步就應該是要確定要爬的欄位: 首先去items中確定要爬的內容 class MeizhuoItem(scrapy.Item): # define the fields for your item here like: # name = scra
python 爬取指定圖片並將圖片下載到指定資料夾
""" Version 1.1.0 Author lkk Email [email protected] date 2018-10-19 11:34 DESC 下載指定網頁的圖片到指定資料夾
python爬取百度搜索圖片
知乎 需要 with 異常 mage 不足 request height adr 在之前通過爬取貼吧圖片有了一點經驗,先根據之前經驗再次爬取百度搜索界面圖片 廢話不說,先上代碼 #!/usr/bin/env python # -*- coding: utf-8 -*- #
python爬取美空網女神圖片,小心記憶體走火
爬蟲分析 首先,我們已經爬取到了N多的使用者個人主頁,我通過連結拼接獲取到了 www.moko.cc/post/da39db… 在這個頁面中,咱們要找幾個核心的關鍵點,發現 平面拍攝 點選進入的是圖片列表頁面。 接下來開始程式碼走起。 獲取所有列表頁面 我
用python爬取知乎中的圖片
首先,我們檢視一下知乎的robots協議。 User-agent: * Disallow: / 知乎是不允許爬取其根目錄的。 但是,我們只是用於實驗,而且訪問頻率和正常訪問差距不大,所以可以爬取。 先明確目的: 對手動輸入的網址進行解析 把爬取到的圖片儲存到指定目
Python爬取百度貼吧圖片指令碼
新手,以下是爬取百度貼吧制定帖子的圖片指令碼,因為指令碼主要是解析html程式碼,因此一旦百度修改頁面前端程式碼,那麼指令碼會失效,權當爬蟲入門練習吧,後續還會嘗試更多的爬蟲。 # coding=ut
Python爬取貼吧多頁圖片
Python爬取貼吧圖片都只能爬取第一頁的,加了迴圈也不行,現在可以了。 #coding:utf-8 import urllib import urllib2 import re import o
Matlab 讀取圖片並將其按指定尺寸儲存為mat格式
1.讀取圖片 使用imread函式,以矩陣的形式返回圖片的資料 I = imread('1.jpg'); 紅字部分更改為自己的圖片路徑 2.縮放圖片 使用imresize函式,將圖片縮小為64x64, B = imresize(I, [64,64]); 若
爬取樓盤網並將資料儲存在excel表中
初學,程式碼有點爛,有些錯誤先不處理。 #!/usr/bin/python # -*- coding: <encoding name> -*- import requests from bs4 import BeautifulSoup from openpyxl impor
Python爬取天氣資訊並定時傳送給微信好友(異地戀神器)!!
效果 前言 中國天氣網: http://www.weather.com.cn/ 點選右上角的具體的天氣資料 想獲取哪個城市的天氣,就搜尋城市進行切換 這裡以青島為例 可以看到此時url為: http://www.weather.com.cn/weat
詳解使用Python爬取豆瓣短評並繪製詞雲
使用Python爬取豆瓣短評並繪製詞雲 成果如下(比較醜,湊合看) 1.分析網頁 開啟想要爬取的電影,比如《找到你》,其短評如下: 檢視原始碼 發現短評存放在<span>標籤裡 並且class為short,所以通過爬取其裡邊的內容即可
上傳圖片並將圖片展示在頁面中
html需要一個上傳的input,一個canvas <input type="file" id="img"/><br /><br /><br /> <canvas id="canvas"></canvas> inp
python2/3中 將base64資料寫成圖片,並將圖片資料轉為16進位制資料的方法、bytes/string的區別
1.python2將base64資料寫成圖片,並將資料轉為16進位制字串的方法 import binascii img = u'R0lGODlhagAeAIcAAAAAAAAARAAAiAAAzABEAABERABEiABEzACIAACIRACIiACIzADMAADMRADMiADMzADd3
[轉載]Python爬取豆瓣影評並生成詞雲圖程式碼
# -*- coding:utf-8 -*- ''' 抓取豆瓣電影某部電影的評論 這裡以《我不是潘金蓮為例》 網址連結:https://movie.douban.com/subject/26630781/comments 為了抓取全部評論需要先進行登入 '''
python 爬取資訊文章並儲存html及pdf格式
一、需求 研究生學長讓我把一個植物表型資訊系列文章的一系列文章爬下來儲存為pdf或者html格式。 首頁網址: https://mp.weixin.qq.com/s?__biz=MzI0Mjg5ODI1Ng==&mid=2247486022&idx=1&sn=
Python爬蟲系列之四:利用Python爬取PyODPS頁面並整合成PDF文件
文章架構 開發場景 在日常開發過程中, 經常需要參考一些文件。對於線上文件,往往由於網速等原因,用起來總不是那麼(ma)順(fan)心。 開發工具 Anaconda Python 2 實現方案 基於 bs4 模組標籤解析 爬取
python爬取全國房價並分析
我相信國內房價一直都是苦逼程式設計師比較關注的事情,我也非常關注全國部分地區的房價,因此我最原始的需求就是想看看全國都哪些地方房價比較高,以及幾個我比較關注的城市房價都是怎麼個漲勢。關於這兩個功能,我並沒有打算做很漂亮的應用,所以實現的思路也很簡單粗
python爬取歌曲評論並進行資料視覺化
一、抓資料 要想做成詞雲圖表,首先得有資料才行。於是需要一點點的爬蟲技巧。 基本思路為:抓包分析、加密資訊處理、抓取熱門評論資訊 1.抓包分析 我們首先用瀏覽器開啟網易雲音樂的網頁版,進入薛之謙《摩天大樓》歌曲頁面,可以看到下面有評論。接著F12進入開發者控制檯(審查
用python爬取文章連結並分類
環境: OS:win10 x64 Python:3.5.1 PyCharm:5.0.3 為了方便學習,根據關鍵字過濾資料爬取下來,並做分類。 爬取jobbole import requests from bs4 import BeautifulSoup import
python隨機選取10000張圖片並複製到另一個資料夾中
# author by LYS 2017/5/24 # for Deep Learning course ''' 1. read the whole files under a certain fol