Python多執行緒爬取豆瓣影評API介面
阿新 • • 發佈：2020-01-09
爬蟲庫
使用簡單的requests庫，這是一個阻塞的庫，速度比較慢。
解析使用XPATH表示式
總體採用類的形式
多執行緒
使用concurrent.future併發模組，建立執行緒池，把future物件扔進去執行即可實現併發爬取效果
資料儲存
使用Python ORM sqlalchemy儲存到資料庫，也可以使用自帶的csv模組存在CSV中。
API介面
因為API介面存在資料保護情況，一個電影的每一個分類只能抓取前25頁，全部評論、好評、中評、差評所有分類能爬100頁，每頁有20個數據，即最多為兩千條資料。
因為時效性原因，不保證程式碼能爬到資料，只是給大家一個參考思路，上程式碼：
from datetime import datetime
import random
import csv
from concurrent.futures import ThreadPoolExecutor,as_completed
from lxml import etree
import pymysql
import requests
from models import create_session,Comments
#隨機UA
USERAGENT = [
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML,like Gecko) Chrome/14.0.835.163 Safari/535.1','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/73.0.3683.103 Safari/537.36','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML,like Gecko) Version/5.1 Safari/534.50','Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50','Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML,like Gecko) Maxthon/3.0 Safari/534.12'
]
class CommentFetcher:
headers = {'User-Agent': ''}
cookie = ''
cookies = {'cookie': cookie}
# cookie為登入後的cookie，需要自行復制
base_node = '//div[@class="comment-item"]'
def __init__(self,movie_id,start,type=''):
'''
:type: 全部評論：''， 好評：h 中評：m 差評：l
:movie_id: 影片的ID號
:start: 開始的記錄數，0-480
'''
self.movie_id = movie_id
self.start = start
self.type = type
self.url = 'https://movie.douban.com/subject/{id}/comments?start={start}&limit=20&sort=new_score\&status=P&percent_type={type}&comments_only=1'.format(
id=str(self.movie_id),start=str(self.start),type=self.type
)
#建立資料庫連線
self.session = create_session()
#隨機useragent
def _random_UA(self):
self.headers['User-Agent'] = random.choice(USERAGENT)
#獲取api介面，使用get方法，返回的資料為json資料，需要提取裡面的HTML
def _get(self):
self._random_UA()
res = ''
try:
res = requests.get(self.url,cookies=self.cookies,headers=self.headers)
res = res.json()['html']
except Exception as e:
print('IP被封，請使用代理IP')
print('正在獲取{} 開始的記錄'.format(self.start))
return res
def _parse(self):
res = self._get()
dom = etree.HTML(res)
#id號
self.id = dom.xpath(self.base_node + '/@data-cid')
#使用者名稱
self.username = dom.xpath(self.base_node + '/div[@class="avatar"]/a/@title')
#使用者連線
self.user_center = dom.xpath(self.base_node + '/div[@class="avatar"]/a/@href')
#點贊數
self.vote = dom.xpath(self.base_node + '//span[@class="votes"]/text()')
#星級
self.star = dom.xpath(self.base_node + '//span[contains(@class,"rating")]/@title')
#發表時間
self.time = dom.xpath(self.base_node + '//span[@class="comment-time "]/@title')
#評論內容 所有span標籤class名為short的節點文字
self.content = dom.xpath(self.base_node + '//span[@class="short"]/text()')
#儲存到資料庫
def save_to_database(self):
self._parse()
for i in range(len(self.id)):
try:
comment = Comments(
id=int(self.id[i]),username=self.username[i],user_center=self.user_center[i],vote=int(self.vote[i]),star=self.star[i],time=datetime.strptime(self.time[i],'%Y-%m-%d %H:%M:%S'),content=self.content[i]
)
self.session.add(comment)
self.session.commit()
return 'finish'
except pymysql.err.IntegrityError as e:
print('資料重複，不做任何處理')
except Exception as e:
#資料新增錯誤，回滾
self.session.rollback()
finally:
#關閉資料庫連線
self.session.close()
#儲存到csv
def save_to_csv(self):
self._parse()
f = open('comment.csv','w',encoding='utf-8')
csv_in = csv.writer(f,dialect='excel')
for i in range(len(self.id)):
csv_in.writerow([
int(self.id[i]),self.username[i],self.user_center[i],int(self.vote[i]),self.time[i],self.content[i]
])
f.close()
if __name__ == '__main__':
with ThreadPoolExecutor(max_workers=4) as executor:
futures = []
for i in ['','h','m','l']:
for j in range(25):
fetcher = CommentFetcher(movie_id=26266893,start=j * 20,type=i)
futures.append(executor.submit(fetcher.save_to_csv))
for f in as_completed(futures):
try:
res = f.done()
if res:
ret_data = f.result()
if ret_data == 'finish':
print('{} 成功儲存資料'.format(str(f)))
except Exception as e:
f.cancel()以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。