我用Python爬取1000封情書助力室友表白班花，卻反轉再反轉...原來這就是班花的終極祕密！
大家好，我是辣條，這是班花系列終章前的最後一篇，下一篇會完結這個系列。
前言
上次經過給班花郵箱指令碼烏龍事件之後，我也心裡過意不去，幾次幫忙都沒搞成，也快畢業了，不想給室友心中留有遺憾，是男人總得自己大大方方的表白一次才行嘛，於是我想到了最原始的表白，寫情書！想想以前初中、高中不都流行這種方式嘛。我就爬取了情書網，給室友弄一份手寫萬字情書，我原以為事情要麼成功，要麼失敗。也算了卻心事，只是讓我沒想到事情卻複雜起來了，原來這才是班花的終極祕密...我們三個人又該走向何方...
本部落格實現的目標
採集情書網 愛情故事 標題與文章內容
爬取目標
http://www.qingshu.so/aiqing/aqgs.html
工具使用
開發工具：pycharm 開發環境：python3.7, Windows10 使用工具包：requests，pyquery
重點學習的內容
1. requests請求 2. 請求頭反爬設定 3. 檔案二級儲存
頁面分析
使用快捷鍵 F12 開啟瀏覽器控制檯 在原始碼頁面有包含 該網站為靜態頁面資料格式
下面上程式碼:
1. 安裝對應第三方庫 (requests pyquery) 2. pip install requests
import requests
from pyquery import PyQuery as pq
url = 'http://www.qingshu.so/aiqing/aqgs.html'
headers = {
# 請求伺服器 獲取需要的資料型別
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Referer': 'http://www.qingshu.so/bbqs.html', # 防盜連結 主要是驗證你是從哪裡來的
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36' # 瀏覽器型別
}
# 傳送請求 content.decode('utf-8') 返回資料解碼
response = requests.get(url, headers=headers).content.decode('utf-8')
print(response) 詳情頁地址提取
doc = pq(response) # 建立pyquery物件
details = doc('.t a').items() # 通過前端css 的 類選擇器提取對應資料 (a是標籤 在 class='t'的下級) (類選擇器對應 . id選擇器對應#)
for i in details:
href = i.attr('href') # 提取a標籤當中的屬性
urls = 'http://www.qingshu.so' + href # 拼接url地址
print(urls)詳情頁
詳情頁程式碼:
response = requests.get(urls).content.decode('utf-8')
doc = pq(response)
title = doc('.a_title').text() # 標題
content = doc('.a_content.clearfix').text() # 文章內容
print(title)
print(content) 文章儲存
def Save(title, content):
'''
文章儲存
:param title: 文章標題
:param content: 文章內容
:return:
'''
path = './情書網文章/'
if not os.path.exists(path): # 判斷資料夾不存在 就新建一個資料夾
os.makedirs(path)
with open(path + '{}.txt'.format(title), 'a') as f:
f.write(content)
print('{}已經下載完成....'.format(title))全部程式碼
程式碼太亂了 做了一個簡單的函式封裝 實現程式碼解耦
import requests
from pyquery import PyQuery as pq
import os
def Tools(url):
'''
請求工具函式
:param url: 請求地址
:return: 響應
'''
headers = {
# 請求伺服器 獲取需要的資料型別
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
# 'Referer': 'http://www.qingshu.so/bbqs.html', # 防盜連結 主要是驗證你是從哪裡來的
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36'
# 瀏覽器型別
}
# 傳送請求 content.decode('utf-8') 返回資料解碼
response = requests.get(url, headers=headers).content.decode('utf-8')
return response
def Save(title, content):
'''
文章儲存
:param title: 文章標題
:param content: 文章內容
:return:
'''
path = './情書網文章/'
if not os.path.exists(path): # 判斷資料夾不存在 就新建一個資料夾
os.makedirs(path)
with open(path + '{}.txt'.format(title), 'a') as f:
f.write(content)
print('{}已經下載完成....'.format(title))
def Details(urls):
'''
請求詳情頁地址 獲取 標題也 文章內容
:param urls: 詳情頁地址
:return:
'''
response = Tools(urls)
doc = pq(response)
title = doc('.a_title').text() # 標題
content = doc('.a_content.clearfix').text() # 文章內容
Save(title, content)
url = 'http://www.qingshu.so/aiqing/aqgs.html'
response = Tools(url)
doc = pq(response) # 建立pyquery物件
details = doc('.t a').items() # 通過前端css 的 類選擇器提取對應資料 (a是標籤 在 class='t'的下級) (類選擇器對應 . id選擇器對應#)
for i in details:
href = i.attr('href') # 提取a標籤當中的屬性
urls = 'http://www.qingshu.so' + href # 拼接url地址
Details(urls)結尾
在我第二天滿懷期待等待室友訊息的時候，卻收到了班花的一條訊息，頓時懵了...徹底懵了...
我整理整理思緒，也就是說，我以為的班花的祕密前面那些都是我以為的？？？原來班花的終極祕密就是曾經對我這個鋼鐵直男有好感！！！啊這...電視劇也不敢拍這麼狗血的劇情啊...
我凌亂了..然後緩緩想想怎麼處理這個吧...
前面回顧：
回答一下大家主要的問題：
這個系列裡面的班花、室友是真的嗎還是純故事呢？
答：這個問題其實很早之前我就回答過大家，包括在我的萬粉總結、半年總結也說到，我的創作心路歷程都詳細說了，這裡不做過多解釋了，其實真假的問題我說了你們也不會相信，我憑几張截圖就能證明我文章裡的事情是真實的嗎，但是我可以告訴你們的是，我寫班花系列的第一篇，就是我找到自己風格定位的第一篇，我把生活中的事結合技術博文寫到一起，大大激發了我的創作靈感，生活中的事情被我誇大化了放進博文中，所以你相信就是真的，就當學習裡面涉及的技術了，不相信就當假的學習技術的同時看了故事。
文章中公開別人的隱私問題真的好嗎?
答：首先宣告，涉及到班花、室友包括我自己所有出現的資訊我都打碼了的，不管是照片還是其他所有的，至於在文章中寫到別人確實需要徵得別人的同意才行，我在前兩篇中確實沒注意到這個問題，但是在這篇中我是徵得同意了的，但是因為涉及到文章內容的問題，我就不先公開，在最後一篇中公開了，這個問題大家可以放心？
在一個技術部落格網站發“故事文”合適嗎？這種文章在技術部落格網站有價值嗎？
答：故事文判斷的標準是什麼?我的班花系列文章裡沒有講技術嗎，相反我的這些文章裡技術才是核心，故事只不過是為技術服務的，只不過你的眼光總是盯著這點故事，不在乎我大篇的程式碼和解析。其二有沒有價值判斷的標準是什麼，你寫個多麼深度多麼牛逼的技術文章結果0個人看，你都沒找到自己文章輸出的價值點，以及你的受眾群體需求點，以及自媒體運營的核心內容，你跟我聊價值，說白了部落格的好壞判斷標準在使用者手裡，使用者喜歡就能為網站帶來流量，能為你快速吸粉，你的文章寫出來有人看，有人評論收藏才說明你的文章有價值，當然如果你是一個用愛心發電，寫部落格純粹自己學習，服務自己的人，當我沒說，你不看就行了，我是寫給我的粉絲和我的受眾群體看的。
讓我真正寫下去的，正是粉絲們的認可，他們的評論、點贊、收藏讓我感覺到我輸出的內容是有價值的，是被大眾接受的，更是能和他們產生共情的。
行業資料：新增即可領取PPT模板、簡歷模板、行業經典書籍PDF。
面試題庫：歷年經典，熱乎的大廠面試真題，持續更新中，新增獲取。
學習資料：含Python、爬蟲、資料分析、演算法等學習視訊和文件，新增獲取
交流加群：大佬指點迷津，你的問題往往有人遇到過，技術互助交流。