Python:黑板課爬蟲闖關第一關
阿新 • • 發佈:2018-09-15
nbsp .com lesson sso ext imp arch awl style
近日發現了【黑板課爬蟲闖關】這個神奇的網頁,練手爬蟲非常的合適
第一關非常的簡單
get 請求網址,在響應的 html 中用正則獲取需要在網址後面輸入的數字,生成新的 url,繼續請求,直到通關。
代碼如下:
import re
import requests
import time
def main():
url = ‘http://www.heibanke.com/lesson/crawler_ex00/‘
get_next(url)
def get_next(url):
print(url)
html = requests.get(url).text
m = re.search(‘(你需要在網址後輸入數字|下一個你需要輸入的數字是)(\d+)‘, html)
if m:
num = m.group(2)
next_url = ‘http://www.heibanke.com/lesson/crawler_ex00/‘ + num
time.sleep(1)
get_next(next_url)
else:
m = re.search(‘(?<=\<h3\>).*?(?=\</h3\>)‘, html)
print(m.group())
m = re.search(‘(\<).*?href="([^"]*?)".*?(\>下一關\</a\>)‘, html)
print(f‘下一關 http://www.heibanke.com{m.group(2)}‘)
if __name__ == ‘__main__‘:
main()
Python:黑板課爬蟲闖關第一關