1. 程式人生 > >python3爬蟲之貓眼電影Toop100獲取

python3爬蟲之貓眼電影Toop100獲取

以下是全部程式碼

import requests
from requests.exceptions import RequestException
import re
import json
from  multiprocessing import Pool

def get_one_page(url):
   try:
       reseponse = requests.get(url)
       if reseponse.status_code == 200:
           return reseponse.text
       return None
   except
RequestException: return None # 得到了網頁後對html進行解析 ,注意下面的正則表示式,以《dd》開始,有一個數字標籤,每個需要得到的標籤前後都系要加進去。 def paese_one_page(html): pattern = re.compile('<dd>.*?board-index.*?>(\d*)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>' '.*?releasetime">(.*?)</p>.*?</dd>'
,re.S) items = re.findall(pattern,html) for item in items: yield { # yied生成器對於items中每個item都 #要進行相同操的遍歷 'index':item[0], 'image':item[1], 'title':item[2], 'actor':item[3
].strip()[3:], 'time': item[4].strip()[5:], } def write_to_file(content): with open('5.txt','a',encoding='utf-8') as f: f.write(json.dumps(content,ensure_ascii=False) + '\n') f.close() def main(offset): url = 'http://maoyan.com/board/4?offset=' +str(offset) # 定義的主函式 html = get_one_page(url) for item in paese_one_page(html): print(item) write_to_file(item) if __name__ == '__main__': # 這個是用來控制住函式main(),每當主函式主函式執行時,都會進行這個判斷 #for i in range(10): 如果不用程序池可用這個 #main(i*10) pool = Pool() # 定義一個程序,map中後面的引數不斷的給前面的主函 數,迭代的過程,當有空的程序池時,後面的i提前完成mian函式,而不用進行等待(5.txt中並不是按照順序來迭代)

歡迎新手一起交流