HTTPS加密協議詳解
簡介
HTTPS (Secure Hypertext Transfer Protocol)安全超文字傳輸協議,是一個安全通訊通道,它基於HTTP開發用於在客戶計算機和伺服器之間交換資訊。它使用安全套接字層(SSL)進行資訊交換,簡單來說它是HTTP的安全版,是使用TLS/SSL加密的HTTP協議。TLS/SSL具有身份驗證、資訊加密和完整性校驗的功能,可以避免資訊竊聽、資訊篡改和資訊劫持的風險。
TLS/SSL全稱安全傳輸層協議Transport Layer Security, 是介於TCP和HTTP之間的一層安全協議,不影響原有的TCP協議和HTTP協議,所以使用HTTPS基本上不需要對HTTP頁面進行太多的改造。
HTTPS協議可以用如下模型表示:
TLS/SSL工作原理
HTTPS協議的主要功能基本都依賴於TLS/SSL協議來實現的。TLS/SSL的功能實現主要依賴於三類基本演算法:雜湊函式 Hash、對稱加密和非對稱加密,其利用非對稱加密實現身份認證和金鑰協商,對稱加密演算法採用協商的金鑰對資料加密,基於雜湊函式驗證資訊的完整性。
TLS/SSL包含的內容可用下面的圖來表示:
雜湊函式Hash
常見的有 MD5、SHA1、SHA256,該類函式特點是函式單向不可逆、對輸入非常敏感、輸出長度固定,針對資料的任何修改都會改變雜湊函式的結果,用於防止資訊篡改並驗證資料的完整性;
在資訊傳輸過程中,雜湊函式不能單獨實現資訊防篡改,因為明文傳輸,中間人可以修改資訊之後重新計算資訊摘要,因此需要對傳輸的資訊以及資訊摘要進行加密;
對稱加密
常見的有 AES-CBC、DES、3DES、AES-GCM等,相同的金鑰可以用於資訊的加密和解密,掌握金鑰才能獲取資訊,能夠防止資訊竊聽,通訊方式是1對1;
對稱加密的優勢是資訊傳輸1對1,需要共享相同的密碼,密碼的安全是保證資訊保安的基礎,伺服器和 N 個客戶端通訊,需要維持 N 個密碼記錄,且缺少修改密碼的機制;
非對稱加密
即常見的 RSA 演算法,還包括 ECC、DH 等演算法,演算法特點是,金鑰成對出現,一般稱為公鑰(公開)和私鑰(保密),公鑰加密的資訊只能私鑰解開,私鑰加密的資訊只能公鑰解開。因此掌握公鑰的不同客戶端之間不能互相解密資訊,只能和掌握私鑰的伺服器進行加密通訊,伺服器可以實現1對多的通訊,客戶端也可以用來驗證掌握私鑰的伺服器身份。
非對稱加密的特點是資訊傳輸1對多,伺服器只需要維持一個私鑰就能夠和多個客戶端進行加密通訊,但伺服器發出的資訊能夠被所有的客戶端解密,且該演算法的計算複雜,加密速度慢。
結合三類演算法的特點,TLS的基本工作方式是,客戶端使用非對稱加密與伺服器進行通訊,實現身份驗證並協商對稱加密使用的金鑰,然後對稱加密演算法採用協商金鑰對資訊以及資訊摘要進行加密通訊,不同的節點之間採用的對稱金鑰不同,從而可以保證資訊只能通訊雙方獲取。
PKI 體系
在講解PKI體系之前,來看一下常用的TLS加密演算法的缺陷。
1,RSA身份驗證的隱患
身份驗證和金鑰協商是TLS的基礎功能,要求的前提是合法的伺服器掌握著對應的私鑰。但RSA演算法無法確保伺服器身份的合法性,因為公鑰並不包含伺服器的資訊,存在安全隱患:
客戶端C和伺服器S進行通訊,中間節點M截獲了二者的通訊;
節點M自己計算產生一對公鑰pub_M和私鑰pri_M;
C向S請求公鑰時,M把自己的公鑰pub_M發給了C;
C使用公鑰 pub_M加密的資料能夠被M解密,因為M掌握對應的私鑰pri_M,而 C無法根據公鑰資訊判斷伺服器的身份,從而 C和 M之間建立了”可信”加密連線;
中間節點 M和伺服器S之間再建立合法的連線,因此 C和 S之間通訊被M完全掌握,M可以進行資訊的竊聽、篡改等操作。
另外,伺服器也可以對自己的發出的資訊進行否認,不承認相關資訊是自己發出。
因此該方案下至少存在兩類問題:中間人攻擊和資訊抵賴。
2,身份驗證CA和證書
解決上述身份驗證問題的關鍵是確保獲取的公鑰途徑是合法的,能夠驗證伺服器的身份資訊,為此需要引入權威的第三方機構CA(如沃通CA)。CA 負責核實公鑰的擁有者的資訊,並頒發認證”證書”,同時能夠為使用者提供證書驗證服務,即PKI體系。
基本的原理為,CA負責稽核資訊,然後對關鍵資訊利用私鑰進行”簽名”,公開對應的公鑰,客戶端可以利用公鑰驗證簽名。CA也可以吊銷已經簽發的證書,基本的方式包括兩類 CRL 檔案和 OCSP。CA使用具體的流程如下:
a.服務方S向第三方機構CA提交公鑰、組織資訊、個人資訊(域名)等資訊並申請認證;
b.CA通過線上、線下等多種手段驗證申請者提供資訊的真實性,如組織是否存在、企業是否合法,是否擁有域名的所有權等;
c.如資訊稽核通過,CA會向申請者簽發認證檔案-證書。
證書包含以下資訊:申請者公鑰、申請者的組織資訊和個人資訊、簽發機構 CA的資訊、有效時間、證書序列號等資訊的明文,同時包含一個簽名;
簽名的產生演算法:首先,使用雜湊函式計算公開的明文資訊的資訊摘要,然後,採用 CA的私鑰對資訊摘要進行加密,密文即簽名;
d.客戶端 C 向伺服器 S 發出請求時,S 返回證書檔案;
e.客戶端 C讀取證書中的相關的明文資訊,採用相同的雜湊函式計算得到資訊摘要,然後,利用對應 CA的公鑰解密簽名資料,對比證書的資訊摘要,如果一致,則可以確認證書的合法性,即公鑰合法;
f.客戶端然後驗證證書相關的域名資訊、有效時間等資訊;
g.客戶端會內建信任CA的證書資訊(包含公鑰),如果CA不被信任,則找不到對應 CA的證書,證書也會被判定非法。
3,證書鏈
如 CA根證書和伺服器證書中間增加一級證書機構,即中間證書,證書的產生和驗證原理不變,只是增加一層驗證,只要最後能夠被任何信任的CA根證書驗證合法即可。
a.伺服器證書 server.pem 的簽發者為中間證書機構 inter,inter 根據證書 inter.pem 驗證 server.pem 確實為自己簽發的有效證書;
b.中間證書 inter.pem 的簽發 CA 為 root,root 根據證書 root.pem 驗證 inter.pem 為自己簽發的合法證書;
c.客戶端內建信任 CA 的 root.pem 證書,因此伺服器證書 server.pem 的被信任。
伺服器證書、中間證書與根證書在一起組合成一條合法的證書鏈,證書鏈的驗證是自下而上的信任傳遞的過程。
二級證書結構的優勢
目前,使用二級證書結構主要有以下的優勢:
a.減少根證書結構的管理工作量,可以更高效的進行證書的稽核與簽發;
b.根證書一般內建在客戶端中,私鑰一般離線儲存,一旦私鑰洩露,則吊銷過程非常困難,無法及時補救;
c.中間證書結構的私鑰洩露,則可以快速線上吊銷,並重新為使用者簽發新的證書;
d.證書鏈四級以內一般不會對 HTTPS 的效能造成明顯影響。
證書鏈的模型圖如下:
證書鏈有以下特點:
a.同一本伺服器證書可能存在多條合法的證書鏈。
因為證書的生成和驗證基礎是公鑰和私鑰對,如果採用相同的公鑰和私鑰生成不同的中間證書,針對被簽發者而言,該簽發機構都是合法的 CA,不同的是中間證書的簽發機構不同;
b.不同證書鏈的層級不一定相同,可能二級、三級或四級證書鏈。
中間證書的簽發機構可能是根證書機構也可能是另一箇中間證書機構,所以證書鏈層級不一定相同。
4,證書吊銷
CA 機構能夠簽發證書,同樣也存在機制宣佈以往簽發的證書無效。證書使用者不合法,CA 需要廢棄該證書;或者私鑰丟失,使用者申請讓證書無效。主要存在兩類機制:CRL 與 OCSP。
CRL
Certificate Revocation List, 證書吊銷列表,一個單獨的檔案。該檔案包含了 CA 已經吊銷的證書序列號(唯一)與吊銷日期,同時該檔案包含生效日期並通知下次更新該檔案的時間,當然該檔案必然包含 CA 私鑰的簽名以驗證檔案的合法性。
證書中一般會包含一個 URL 地址 CRL Distribution Point,通知使用者去哪裡下載對應的 CRL 以校驗證書是否吊銷。該吊銷方式的優點是不需要頻繁更新,但是不能及時吊銷證書,因為 CRL 更新時間一般是幾天,這期間可能已經造成了極大損失。
OCSP
Online Certificate Status Protocol, 證書狀態線上查詢協議,一個實時查詢證書是否吊銷的方式。請求者傳送證書的資訊並請求查詢,伺服器返回正常、吊銷或未知中的任何一個狀態。證書中一般也會包含一個 OCSP 的 URL 地址,要求查詢伺服器具有良好的效能。部分 CA 或大部分的自籤 CA (根證書)都是未提供 CRL 或 OCSP 地址的,對於吊銷證書會是一件非常麻煩的事情。
HTTPS效能與優化
效能損耗
雖然,使用HTTPS增強了安全性,但是這是以效能損耗為代價的。主要體現如下:
(1).增加延時
分析前面的握手過程,一次完整的握手至少需要兩端依次來回兩次通訊,至少增加延時2* RTT,利用會話快取從而複用連線,延時也至少1* RTT*。
(2).消耗較多的CPU資源
除資料傳輸之外,HTTPS通訊主要包括對對稱加解密、非對稱加解密(伺服器主要採用私鑰解密資料);壓測 TS8 機型的單核 CPU:對稱加密演算法AES-CBC-256 吞吐量 600Mbps,非對稱 RSA 私鑰解密200次/s。不考慮其它軟體層面的開銷,10G 網絡卡為對稱加密需要消耗 CPU 約17核,24核CPU最多接入 HTTPS 連線 4800;
靜態節點當前10G 網絡卡的 TS8 機型的 HTTP 單機接入能力約為10w/s,如果將所有的HTTP連線變為HTTPS連線,則明顯RSA的解密最先成為瓶頸。因此,RSA的解密能力是當前困擾HTTPS接入的主要難題。
HTTPS接入優化
對於HTTPS的優化方面,主要從以下幾個方面著手優化:
(1).CDN接入
HTTPS 增加的延時主要是傳輸延時 RTT,RTT 的特點是節點越近延時越小,CDN 天然離使用者最近,因此選擇使用 CDN 作為 HTTPS 接入的入口,將能夠極大減少接入延時。CDN 節點通過和業務伺服器維持長連線、會話複用和鏈路質量優化等可控方法,極大減少 HTTPS 帶來的延時。
(2).會話快取
雖然前文提到 HTTPS 即使採用會話快取也要至少1*RTT的延時,但是至少延時已經減少為原來的一半,明顯的延時優化;同時,基於會話快取建立的 HTTPS 連線不需要伺服器使用RSA私鑰解密獲取 Pre-master 資訊,可以省去CPU 的消耗。如果業務訪問連線集中,快取命中率高,則HTTPS的接入能力講明顯提升。當前TRP平臺的快取命中率高峰時期大於30%,10k/s的接入資源實際可以承載13k/的接入,收效非常可觀。
(3).硬體加速
為接入伺服器安裝專用的SSL硬體加速卡,作用類似 GPU,釋放 CPU,能夠具有更高的 HTTPS 接入能力且不影響業務程式的。測試某硬體加速卡單卡可以提供35k的解密能力,相當於175核 CPU,至少相當於7臺24核的伺服器,考慮到接入伺服器其它程式的開銷,一張硬體卡可以實現接近10臺伺服器的接入能力。
(4).遠端解密
本地接入消耗過多的 CPU 資源,浪費了網絡卡和硬碟等資源,考慮將最消耗 CPU 資源的RSA解密計算任務轉移到其它伺服器,如此則可以充分發揮伺服器的接入能力,充分利用頻寬與網絡卡資源。遠端解密伺服器可以選擇 CPU 負載較低的機器充當,實現機器資源複用,也可以是專門優化的高計算效能的伺服器。當前也是 CDN 用於大規模HTTPS接入的解決方案之一。
(5).SPDY/HTTP2
前面的方法分別從減少傳輸延時和單機負載的方法提高 HTTPS 接入效能,但是方法都基於不改變 HTTP 協議的基礎上提出的優化方法,SPDY/HTTP2 利用 TLS/SSL 帶來的優勢,通過修改協議的方法來提升 HTTPS 的效能,提高下載速度等。