爬取目標

網址:絕對領域

工具使用

開發環境：win10、python3.7
開發工具：pycharm、Chrome
工具包：requests，lxml

專案思路解析

選取你對應的圖片分類

根據分類資訊提取到沒有圖片的超連結，提取出A標籤的跳轉地址以及圖片的標題名字

def get_url(start_url):
    response = requests.get(start_url, headers=headers).text
    data = etree.HTML(response)
    new_url = data.xpath('//div[@class="post-module-thumb"]/a/@href')
    for url in new_url:
        yield url
複製程式碼
 

進入詳情頁面，xpath提取詳情頁面所有的圖片地址：

傳送圖片資料請求，儲存對應圖片資料資訊，就可以啦是不是超級簡單嘿嘿(*╹▽╹*)

簡易原始碼分享

import requests
from lxml import etree

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}


def get_url(start_url):
    response = requests.get(start_url, headers=headers).text
    data 
 
= etree.HTML(response)
    new_url = data.xpath('//div[@class="post-module-thumb"]/a/@href')
    for url in new_url:
        yield url


def get_img(url):
    response = requests.get(url, headers=headers).text
    img_data = etree.HTML(response)
    img_url = img_data.xpath('//div[@class="entry-content"]/img/@src
 
')
    for img_url in img_url:
        name = img_url.split("/")[-2] + img_url.split("/")[-1]
        result = requests.get(img_url).content
        with open("圖片/" + name, "wb")as f:
            f.write(result)
            print("正在下載", name)


if __name__ == '__main__':
    for i in range(1, 3):
        start_url = "https://www.jdlingyu.com/tuji/hentai/gctt/page/{}".format(i)
        html_url = get_url(start_url)
        for url in html_url:
            get_img(url)

我是南鶴-，一名喜歡分享知識的程式媛❤️

如果沒有接觸過程式設計這塊的朋友看到這篇部落格，發現不會弄，可以直接留言【非常感謝你的點贊、收藏、關注、評論，一鍵四連支援】