爬蟲之ssh證書警告錯誤
阿新 • • 發佈:2018-05-13
hand def ESS proc highlight 就會 ces sha capture
錯誤信息:
錯誤信息如下:
requests.exceptions.SSLError: ("bad handshake: Error([(‘SSL routines‘, ‘tls_process_server_certificate‘, ‘certificate verify failed‘)],)",)
錯誤分析:
ssh證書是美國網景公司發放的一個安全認證證書,有了這個證書即可證明網站是安全的,但是認證是需要收費的,
所以一些網站就會自己仿造證書,這個時候瀏覽器就會給予警告,而我們爬蟲就爬不到想要的信息
解決辦法:
方式一:
加上一個參數:verify=證書路徑,或verify=False
#方法一
import requests from bs4 import BeautifulSoup url = ‘https://inv-veri.chinatax.gov.cn/‘ req = requests.get(url,verify=False) req.encoding = ‘utf-8‘ soup = BeautifulSoup(req.text,‘lxml‘) print(soup)
方式二:
ssl._create_default_https_context = ssl._create_unverified_context#註意用了這個就不能用requests了,得用urllib2.Request
完整代碼如下:
# 方法二(推薦): import ssl import urllib2 ssl._create_default_https_context = ssl._create_unverified_context req = urllib2.Request(‘https://inv-veri.chinatax.gov.cn/‘) data = urllib2.urlopen(req).read() print(data)
方式三:
我們可以通過設置忽略警告的方式來屏蔽這個警告:
import requests from requests.packages import urllib3 urllib3.disable_warnings() response = requests.get(‘https://www.12306.cn‘, verify=False) print(response.status_code)
或者通過捕獲警告到日誌的方式忽略警告:
import logging import requests logging.captureWarnings(True) response = requests.get(‘https://www.12306.cn‘, verify=False) print(response.status_code)
爬蟲之ssh證書警告錯誤