甩掉運維黑鍋,容災部署如何破?
引言
現如今本地負載均衡技術已經解決伺服器叢集的高可用問題,但是斷電、施工挖斷光纜、自然災害等依然可以導致整個資料中心無法工作。另外,中國網路由多家運營商組成,各運營商之間互聯互通質量差已是不爭的事實。因此大型網際網路企業早已不滿足於單一、或者雙活資料中心提供網站服務,越來越多的網際網路企業開始考慮在不同地區、不同運營商部署多個數據中心叢集,以實現使用者訪問就近接入、負載均衡和故障容災。
提到多資料中心部署,就不可避免需要面對以下三個問題。
1. 多個數據中心流量如何分配?
2. 監控怎樣及時發現網路故障?
3. 多個數據中心服務如何容災?
如果這三個問題不能有效解決,將會導致使用者訪問質量差、服務黑洞、以及客戶的投訴。而網站背後的運維人員,則會頻繁受到銷售、PM、領導的Challenge!淪為背黑鍋的物件。令人欣喜的是,阿里雲產品雲解析DNS,現已助力中小企業解決多資料中心的流量負載均衡、實現使用者就近接入、故障及時發現和實時容災切換.
破局
資料中心流量負載均衡
在多個數據中心部署服務時,必然需要面對不同資料中心接入頻寬不同、伺服器叢集負載能力不同、以及運營成本等諸多因素。所以需要針對不同的因素設計與之相匹配的流量分配比例,那麼如何能夠精確的分配訪問流量呢?雲解析DNS為您提供了一些參考方案。
雲解析DNS是一款經過特殊設計的智慧DNS系統,能快速識別出IP地址所在的位置資訊(包括國家、省、市和運營商等),並可以向不同來源的DNS查詢響應不同的IP地址,實現企業就近接入、降低跨網流量的需求、以及灰度釋出等需求。同時,針對相同位置不同服務能力的資料中心叢集,可以通過WRR(Weighted Resource Record)來設定整體流量分配方案。
例如:example.com公司的www官網,有6個數據中心,其中華北電信兩個、華東聯通兩個、另外兩個託管在阿里雲BGP資料中心,如圖一所示。
圖一
1. 華東聯通兩個資料中心的頻寬比例是3 :7,通過雲解析設定線路內負載均衡時,將兩個資料中心服務IP地址的權重分別設定成3和7, 達到華東聯通訪問流量按照30%和70%分配的比例;
2. 華北電信兩個資料中心的頻寬比例是1 :1,通過雲解析設定線路內負載均衡時,將兩個資料中心服務IP地址的權重分別設定成1,達到各佔華北電信訪問流量50%的配置比例;
3.阿里雲BGP 兩個Region的ECS數量比例是8 :2,那通過雲解析設定線路內負載均衡時,將兩個Region公網彈性IP地址的權重分別設定成8和2, 達到訪問流量按照80%和20%分配的比例;
4.網路監控對各個資料中心的服務IP進行實時監控;
5.網路監控週期性將監控結果反饋給雲解析DNS;
6.使用者向華北電信dns發起www.example.com DNS查詢請求;
7.華北電信dns收到使用者的查詢後如果沒有快取該域名,則向雲解析DNS發起域名查詢;
8.雲解析DNS收到華北電信的DNS查詢時,輪詢響應IP地址3.3.3.3和4.4.4.4。此時一半華北電信DNS得到的結果時3.3.3.3,另半華北電信DNS得到的結果時4.4.4.4。同理,雲解析DNS收到華東聯通的DNS查詢時,先連續返回3次5.5.5.5,再連續返回7次6.6.6.6,然後重複執行,此時30%的華東聯通DNS得到的結果是3.3.3.3,剩下70%得到的結果是4.4.4.4。
9.華北電信DNS收到雲解析DNS的響應後會快取域名解析結果,並返回給最終查詢使用者。
10. 最終實現50%的華北電信使用者訪問3.3.3.3上的網站服務,另外50%華北電信使用者訪問4.4.4.4上的網站服務。
網路監控及時發現故障
1.雲解析DNS在通過智慧解析和WRR幫助中小企業實現就近訪問以及流量分配的同時,有效的結合阿里雲分散式監控,利用全網撥測探針對網站的解析記錄進行實時監控,如圖二。
圖二
2.雲解析DNS的網路監控目前已支援HTTP/HTTPS、自定義URL、在提供5個真實阿里巴巴撥測節點基礎上,優選了15個三大運營商優質撥測點。同時多達50個監控任務數的配置全面領先競爭對手,確保能夠及時發現宕機故障,增大監控覆蓋面,如圖三。
圖三
3.低至1分鐘的監控頻率,相當於您的網站每3秒鐘,就可以獲得一次健康檢測,最快可以宕機後3分鐘內檢測出故障,並通過全球負載均衡功能完成故障切換。
4.為了防止誤報警現象發生,我們將宕機判斷閾值設定為50%,即50%的節點監控異常時判定為宕機故障。
5.當然DNS生效還受到運營商快取TTL的影響,建議設定主機記錄TTL為60秒。
6.如果你是移動端開發者,推薦配合阿里雲HTTPDNS服務同時使用,故障切換更加靈敏。
線路間切換實現故障隔離
故障隔離
在網站服務執行的過程中,故障不可避免總會發生。那麼如何做好故障隔離呢?雲解析DNS有以下一些實踐,可供中小企業使用,如圖四。
圖四
1.華北電信一個數據中心叢集4.4.4.4因異常原因出現大面積故障,網站服務中斷,使用者訪問失敗;
2.網站監控在2分鐘內發現4.4.4.4叢集故障,同時通知雲解析DNS系統暫停華北電信:4.4.4.4的IP地址解析;
3.雲解析DNS暫停故障IP解析後,只向華北電信DNS查詢返回IP地址:3.3.3.3,同時雲解析DNS解析日誌會記錄下故障時間、IP地址、暫停操作資訊,並通過簡訊和郵件通知您的運維工程師。
4.最終實現將使用者的訪問流量全部轉移至華北電信資料中心:3.3.3.3。
故障恢復
當網站恢復服務後,如何便捷的遷移會流量呢?如圖五。
圖五
1.在華北電信使用者的訪問流量全部遷移至3.3.3.3後,4.4.4.4相當於離線狀態,你可以組織相關技術同學對故障叢集進行修復。
2.修復完成、測試通過後,監控系統能自動檢測到華北電信資料中心4.4.4.4的網站服務恢復正常,並通知雲解析DNS恢復華北電信4.4.4.4 的IP地址解析,
3.雲解析DNS收到華北電信的DNS查詢時,輪詢響應IP地址3.3.3.3和4.4.4.4。經過一段時間後,一半華北電信DNS得到的結果是3.3.3.3,另一半華北電信DNS得到的結果是4.4.4.4。
4.終端使用者的訪問流量會平滑的過度到原始配置各50%的比例,確保訪問流量在恢復時平滑、使用者無感知。
異地容災
對於大型網際網路企業,必須要考慮的一點是在災難性情況發生時,如何保證使用者訪問正常,如圖六。
圖六
1.由於某些不可抗拒的原因,華北電信的資料中心兩個接入IP地址:3.3.3.3、4.4.4.4全部出現故障,並無法及時恢復;
2. 網站監控及時發現故障,並通知雲解析DNS暫停所有華北電信線路下IP解析;
3.雲解析DNS暫停解析後,會啟用線路間負載均衡策略,向華北電信使用者的DNS查詢返回阿里雲BGP Region地址:1.1.1.1、2.2.2.2;
4.最終實現將整體華北電信使用者的訪問流量排程至預設線路阿里雲BGP Region:1.1.1.1、2.2.2.2,保障在極端情況下,依然能夠向華北電信使用者提供正常的服務,如圖四所示。
總結
雲解析DNS是一種高可用性、高可擴充套件的權威DNS服務和DNS管理服務。提供了多種全球負載均衡策略,幫助中小企業快速、準確的將使用者請求路由至您的資料中心,同時具備高可用容災切換能力,實現在一些資料中心故障的情況下,仍然能保證中小企業的網站服務可訪問。
未來雲解析DNS還會將會與更多的阿里雲產品相結合,例如SLB、ECS、CDN、雲盾等。形成立體化的高可用網站解決方案,從訪問入口到後端服務助力中小企業實現全鏈路負載均衡。