1. 程式人生 > >爬蟲之ssh證書警告錯誤

爬蟲之ssh證書警告錯誤

hand def ESS proc highlight 就會 ces sha capture

錯誤信息:

錯誤信息如下:

requests.exceptions.SSLError: ("bad handshake: Error([(‘SSL routines‘, ‘tls_process_server_certificate‘, ‘certificate verify failed‘)],)",)

錯誤分析:  

ssh證書是美國網景公司發放的一個安全認證證書,有了這個證書即可證明網站是安全的,但是認證是需要收費的,

所以一些網站就會自己仿造證書,這個時候瀏覽器就會給予警告,而我們爬蟲就爬不到想要的信息

解決辦法:

方式一:

加上一個參數:verify=證書路徑,或verify=False

#方法一
import requests from bs4 import BeautifulSoup url = ‘https://inv-veri.chinatax.gov.cn/‘ req = requests.get(url,verify=False) req.encoding = ‘utf-8‘ soup = BeautifulSoup(req.text,‘lxml‘) print(soup)

方式二:

ssl._create_default_https_context = ssl._create_unverified_context#註意用了這個就不能用requests了,得用urllib2.Request

  完整代碼如下:

# 方法二(推薦):

import ssl
import urllib2

ssl._create_default_https_context = ssl._create_unverified_context
req = urllib2.Request(‘https://inv-veri.chinatax.gov.cn/‘)
data = urllib2.urlopen(req).read()
print(data)

方式三:

我們可以通過設置忽略警告的方式來屏蔽這個警告:

import requests
from requests.packages import urllib3

urllib3.disable_warnings()
response = requests.get(‘https://www.12306.cn‘, verify=False)
print(response.status_code)

或者通過捕獲警告到日誌的方式忽略警告:

import logging
import requests
logging.captureWarnings(True)
response = requests.get(‘https://www.12306.cn‘, verify=False)
print(response.status_code)

  

爬蟲之ssh證書警告錯誤