爬蟲-搭建代理池、爬蟲小案例
阿新 • • 發佈：2022-03-16
1 搭建免費代理池
# requests模擬傳送http請求，頻率限制---》變換ip---》代理（免費，收費）---》 # 搭建代理池---》開源(參照：python，flask+爬蟲) 通過爬蟲去免費網站爬取 免費代理--》驗證一下---》存到庫中(redis)--->請求一個介面，就隨機返回一個代理地址 #搭建步驟 ### 第一步：下載程式碼 git clone [email protected]:jhao104/proxy_pool.git ### 第二步：安裝依賴 pip3 install -r requirements.txt ### 第三步：修改配置--》專案路徑下的settings.py # 配置API服務 HOST = "0.0.0.0" # IP PORT = 5000 # 監聽埠 # 配置資料庫 DB_CONN = 'redis://127.0.0.1:8888/0' # 配置 ProxyFetcher--->配置爬取哪幾個免費代理的網站 PROXY_FETCHER = [ "freeProxy01", # 這裡是啟用的代理抓取方法名，所有fetch方法位於fetcher/proxyFetcher.py "freeProxy02", # .... ] ### 第四步，啟動專案 # 啟動排程程式（爬取代理） python3 proxyPool.py schedule # 啟動webApi服務（提供介面） python3 proxyPool.py server # 編寫搭建代理池---》隨機取一個值---》json格式字串---》返回給前端 # django--->取出客戶端的ip---》META：REMOTE_ADDR---》django介面，一訪問就返回使用者ip--》 部署在公網ip上，大家都可以訪問---》使用代理測一下，看看是不是使用了代理
#1 使用代理池
import requests
# res=requests.get('http://127.0.0.1:5010/get/')
# print(res.json()['proxy'])
#
#
# ## 咱們的爬蟲，隨機使用代理去訪問
# proxies={
# 'http':res.json()['proxy']
# }
# respone=requests.get('https://www.12306.cn',
# proxies=proxies)
#
# print(respone.status_code)
2 requests 超時設定，認證設定，異常處理，上傳檔案
### 2 超時設定 # import requests # respone=requests.get('https://www.baidu.com',timeout=1) # print(respone.status_code) ### 3 認證設定 --->特別古老的專案中(老版本的路由器)---》一訪問，彈出輸入使用者名稱密碼的框 # import requests # from requests.auth import HTTPBasicAuth # r=requests.get('xxx',auth=HTTPBasicAuth('user','password')) # print(r.status_code) ### 4 異常處理 # import requests # from requests.exceptions import * #可以檢視requests.exceptions獲取異常型別 # # try: # r=requests.get('http://www.baidu.com',timeout=0.00001) # # except ReadTimeout: # # print('讀資料超時') # # except ConnectionError: #網路不通 # # print('網路不通') # # except Timeout: # # print('超時') # except Exception as e: # print('未知錯誤',e) ##5 上傳檔案--->瀏覽器js上傳檔案，postman上傳檔案 # python程式碼上傳檔案---》第三方服務--》需要傳檔案 # 使用django寫個 上傳檔案的後端---》前端使用requests上傳試試 import requests files={'file':open('a.txt','rb')} respone=requests.post('http://httpbin.org/post',files=files) print(respone.text)
3 爬取梨視訊網站
# 爬取短視訊---》https://www.pearvideo.com/--》有不同分類--》分類id號
# 開啟某一個分類--->下拉會載入更多(分頁)---》傳送一個一個ajax請求，獲取資料---》
# 下一頁是向：https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=8&start=24&mrd=0.49236580390163986&filterIds=1754494,1754069,1751419,1752963,1752680,1752298,1752049,1751988,1751497,1751503,1683918,1750556,1750534,1750365,1750407----》傳送get請求---》xml資料
# 向這個地址發請求，指定起始位置，每次拿12條資料
# https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=8&start=24&mrd=0.49236580390163986&filterIds=1754494,1754069,1751419,1752963,1752680,1752298,1752049,1751988,1751497,1751503,1683918,1750556,1750534,1750365,1750407
# 傳送請求，獲取資料
import requests
import re
res=requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=8&start=0&mrd=0.49236580390163986')
# print(res.text) # 從返回的資料中解析出視訊詳情地址
# 從內容中解析出所有 video_xxx--->正則
video_list=re.findall('<a href="(.*?)" class="vervideo-lilink actplay">',res.text)
# print(video_list)
for video in video_list:
video_id=video.split('_')[-1]
real_video_url='https://www.pearvideo.com/'+video
header={
'Referer':real_video_url
}
res1=requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=%s&mrd=0.04747965073841365'%video_id,headers=header)
# print(res1.text)
mp4_url=res1.json()['videoInfo']['videos']['srcUrl']
mp4_real_url=mp4_url.replace(mp4_url.split('/')[-1].split('-')[0],'cont-%s'%video_id)
print(mp4_real_url)
# 向真正視訊地址發請求，獲取資料
res2=requests.get(mp4_real_url)
video_name=mp4_real_url.split('/')[-1]
with open('video/%s'%video_name,'wb') as f:
for line in res2.iter_content(1024):
f.write(line)
# 視訊去水印---》ffmpeg軟體，python呼叫
# 視訊裁剪----》ffmpeg軟體或者自己---》開啟檔案-->檔案操作把末尾的幾個位元組去掉儲存起來
## 第一層反扒---》攜帶refer
# header={
# 'Referer':'https://www.pearvideo.com/video_1754274'
# }
# res=requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=1754274&mrd=0.04747965073841365',headers=header)
# print(res.text)
## 第二層反扒-->視訊地址又處理
# 能播放的地址：
# https://video.pearvideo.com/mp4/third/20220310/ cont-視訊id號 -10440061-222038-hd.mp4
# https://video.pearvideo.com/mp4/third/20220310/ 1647401376175 -10440061-222038-hd.mp4
# url='https://video.pearvideo.com/mp4/third/20220310/1647401376175-10440061- 222038- hd.mp4'
# url.replace(url.split('/')[-1].split('-')[1],'cont-%s'%video_id)
4 爬取汽車之家新聞
import requests
# 解析庫 bs4
from bs4 import BeautifulSoup
res = requests.get('https://www.autohome.com.cn/news/1/#liststart')
# print(res.text)
soup = BeautifulSoup(res.text, 'lxml')
# 使用bs4，解析和獲取文件中資料
# 通過bs4，找到所有類名為article的ul標籤
ul_list = soup.find_all(name='ul', class_='article')
print(len(ul_list))
# 迴圈從ul中，找出所有的li---》一個li就是一個新聞
for ul in ul_list:
li_list = ul.find_all(name='li')
for li in li_list:
title = li.find(name='h3')
if title: # 能找到，再繼續幹別的，如果沒找到，說明這是個廣告或者是沒有標題的，不管了
title = title.text
url = 'http:' + li.find(name='a').attrs['href']
desc = li.find(name='p').text
img = 'http:'+li.find(name='img').attrs['src']
print('''
新聞標題：%s
新聞地址：%s
新聞圖片：%s
新聞摘要：%s
''' % (title, url, img, desc))
# 正常應該入庫---》mysql，es
# 可以把圖片下載到本地
5 beautifulsoup4 介紹
# 爬取資料沒問題---》解析資料---》re---》比較好用的可以解析xml格式的庫---》bs4
# 查詢，修改，刪除 xml文件中的標籤
# pip3 install beautifulsoup4
# pip3 install lxml
from bs4 import BeautifulSoup
# lxml是使用的解析器的名字
# lxml速度快，文件容錯能力強，lxml是一個第三方，需要額外安裝
# 預設的html.parser :速度慢
soup=BeautifulSoup(要解析的xml字串,'html.parser')