利用爬蟲爬取LOL官網上面板圖片
阿新 • • 發佈:2019-11-17
今天在瀏覽網頁時,看到一篇很有意思的文章,關於網路爬蟲的。該文章是講述如何利用request爬取英雄聯盟官網面板圖片。看過文章後覺得挺有用的,把程式碼拿過來運行了一下,果真爬取成功。下面給大家分享一下程式碼。
首先得利用cmd命令指示符安裝requests庫,json,re,time。
安裝完成後,第一步是獲取英雄ID從而為先面判決URL作準備。
def getLOLImages(): header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'} url_js = 'http://lol.qq.com/biz/hero/champion.js' #獲取JS原始碼 Str bytes res_js = requests.get(url_js).content #轉碼 轉成字串 html_js = res_js.decode() #正則表示式 req = '"keys":(.*?),"data"' list_js = re.findall(req,html_js) #轉成dict dict_js = json.loads(list_js[0]) # print(type(dict_js)) #定義圖片列表 pic_list = [] for key in dict_js: # print(key)#英雄ID
第二步就是拼接URL了,通過發現英雄面板url的取名方式,我們可以方向最後的數字是不同的。讓後通過此方法來獲取圖片地址。
for i in range(20): number = str(i) if len(number) == 1: hero_num = "00"+number elif len(number) == 2: hero_num = "0"+number numstr = key+hero_num url = "http://ossweb-img.qq.com/images/lol/web201310/skin/big"+numstr+".jpg" #http://ossweb-img.qq.com/images/lol/web201310/skin/big81000.jpg pic_list.append(url)
第三步是獲取圖片名稱,path那行是放置圖片的地址,注意結尾的\\不能丟。
list_filepath = [] path = "D:\Pycharmdaima\Pachong\LOLTU\\" for name in dict_js.values(): for i in range(20): file_path = path+name+str(i)+'.jpg' list_filepath.append(file_path)
第四步就是下載圖片了。
n = 0 for picurl in pic_list: res = requests.get(picurl) n += 1 #獲取狀態碼 if res.status_code == 200: print("正在下載%s"%list_filepath[n]) time.sleep(1) with open(list_filepath[n],'wb') as f: f.write(res.content)
最後,呼叫一下getLOLImages()方法
getLOLImages()
注意,我第一次用了原始碼,後來發現執行太慢,檢查一下原始碼後發現程式碼末尾呼叫了一個time.sleep()方法。這樣是為了限制爬取速度,避免速度過快被網站發現而中斷。經過除錯,我中途暫停程式碼執行,將sleep()方法註釋掉,爬取速度果然加快,而且沒有中斷。
下面是我的爬取成果:
&n