python3爬蟲之貓眼電影Toop100獲取
阿新 • • 發佈:2019-01-29
以下是全部程式碼。
import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Pool
def get_one_page(url):
try:
reseponse = requests.get(url)
if reseponse.status_code == 200:
return reseponse.text
return None
except RequestException:
return None
# 得到了網頁後對html進行解析 ,注意下面的正則表示式,以《dd》開始,有一個數字標籤,每個需要得到的標籤前後都系要加進去。
def paese_one_page(html):
pattern = re.compile('<dd>.*?board-index.*?>(\d*)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>'
'.*?releasetime">(.*?)</p>.*?</dd>' ,re.S)
items = re.findall(pattern,html)
for item in items:
yield { # yied生成器對於items中每個item都
#要進行相同操的遍歷
'index':item[0],
'image':item[1],
'title':item[2],
'actor':item[3 ].strip()[3:],
'time': item[4].strip()[5:],
}
def write_to_file(content):
with open('5.txt','a',encoding='utf-8') as f:
f.write(json.dumps(content,ensure_ascii=False) + '\n')
f.close()
def main(offset):
url = 'http://maoyan.com/board/4?offset=' +str(offset) # 定義的主函式
html = get_one_page(url)
for item in paese_one_page(html):
print(item)
write_to_file(item)
if __name__ == '__main__': # 這個是用來控制住函式main(),每當主函式主函式執行時,都會進行這個判斷
#for i in range(10): 如果不用程序池可用這個
#main(i*10)
pool = Pool() # 定義一個程序,map中後面的引數不斷的給前面的主函 數,迭代的過程,當有空的程序池時,後面的i提前完成mian函式,而不用進行等待(5.txt中並不是按照順序來迭代)
歡迎新手一起交流。