# 爬取河南企業信用信息公示系統為案例
# 案例網址 http://gsxt.haaic.gov.cn/index.jspx

下面這個選項一定要勾選

極驗打碼要的參數

要爬取數據所在的頁面

根據上面的截圖然後找到相對應的菜蔬 然後下面這個代碼就可以實現打印list頁面的源代碼 ，剩下的就是用解析器解析的部分。

import requests
import json
from urllib.parse import quote


# 獲取極驗網的gt和challenge
url = ‘http://gsxt.haaic.gov.cn/registerValidate.jspx?t=1526366559281
 
‘
s = requests.session()
headers = { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36‘,}
response = s.get(url,headers=headers).text
source = json.loads(response)
fan =  s.get("http://jiyanapi.c2567.com/shibie?user=username&pass=123456&return=json&ip=&gt=
 
" + source[‘gt‘] + "&gt=" + source[‘challenge‘]).text
fang = json.loads(fan)



# 獲取頁面要的參數

name = quote(quote(‘中國‘))
data = {‘searchText‘: ‘中國‘,
        ‘geetest_challenge‘: fang[‘challenge‘],
        ‘geetest_validate‘: fang[‘validate‘],
        ‘geetest_seccode‘: fang[‘validate‘]+‘|jordan‘,}
url 
 
= ‘http://gsxt.haaic.gov.cn/validateSecond.jspx‘

response = s.post(url,headers=headers,data=data).text
response = json.loads(response)


url = ‘http://gsxt.haaic.gov.cn/‘+response[‘obj‘]+‘&searchType=1&entName=‘+name
response = s.get(url,headers=headers).text
print(response)

極驗滑塊驗證的使用