1. 程式人生 > >甩掉運維黑鍋,容災部署如何破?

甩掉運維黑鍋,容災部署如何破?

運維

引言

現如今本地負載均衡技術已經解決伺服器叢集的高可用問題,但是斷電、施工挖斷光纜、自然災害等依然可以導致整個資料中心無法工作。另外,中國網路由多家運營商組成,各運營商之間互聯互通質量差已是不爭的事實。因此大型網際網路企業早已不滿足於單一、或者雙活資料中心提供網站服務,越來越多的網際網路企業開始考慮在不同地區、不同運營商部署多個數據中心叢集,以實現使用者訪問就近接入、負載均衡和故障容災。

提到多資料中心部署,就不可避免需要面對以下三個問題。

1. 多個數據中心流量如何分配?

2. 監控怎樣及時發現網路故障?

3. 多個數據中心服務如何容災?

如果這三個問題不能有效解決,將會導致使用者訪問質量差、服務黑洞、以及客戶的投訴。而網站背後的運維人員,則會頻繁受到銷售、PM、領導的Challenge!淪為背黑鍋的物件。令人欣喜的是,阿里雲產品雲解析DNS,現已助力中小企業解決多資料中心的流量負載均衡、實現使用者就近接入、故障及時發現和實時容災切換.

破局

資料中心流量負載均衡

在多個數據中心部署服務時,必然需要面對不同資料中心接入頻寬不同、伺服器叢集負載能力不同、以及運營成本等諸多因素。所以需要針對不同的因素設計與之相匹配的流量分配比例,那麼如何能夠精確的分配訪問流量呢?雲解析DNS為您提供了一些參考方案。

雲解析DNS是一款經過特殊設計的智慧DNS系統,能快速識別出IP地址所在的位置資訊(包括國家、省、市和運營商等),並可以向不同來源的DNS查詢響應不同的IP地址,實現企業就近接入、降低跨網流量的需求、以及灰度釋出等需求。同時,針對相同位置不同服務能力的資料中心叢集,可以通過WRR(Weighted Resource Record)來設定整體流量分配方案。

例如:example.com公司的www官網,有6個數據中心,其中華北電信兩個、華東聯通兩個、另外兩個託管在阿里雲BGP資料中心,如圖一所示。

資料中心

圖一

1. 華東聯通兩個資料中心的頻寬比例是3 :7,通過雲解析設定線路內負載均衡時,將兩個資料中心服務IP地址的權重分別設定成3和7, 達到華東聯通訪問流量按照30%和70%分配的比例;

2. 華北電信兩個資料中心的頻寬比例是1 :1,通過雲解析設定線路內負載均衡時,將兩個資料中心服務IP地址的權重分別設定成1,達到各佔華北電信訪問流量50%的配置比例;

3.阿里雲BGP 兩個Region的ECS數量比例是8 :2,那通過雲解析設定線路內負載均衡時,將兩個Region公網彈性IP地址的權重分別設定成8和2, 達到訪問流量按照80%和20%分配的比例;

4.網路監控對各個資料中心的服務IP進行實時監控;

5.網路監控週期性將監控結果反饋給雲解析DNS;

6.使用者向華北電信dns發起www.example.com DNS查詢請求;

7.華北電信dns收到使用者的查詢後如果沒有快取該域名,則向雲解析DNS發起域名查詢;

8.雲解析DNS收到華北電信的DNS查詢時,輪詢響應IP地址3.3.3.3和4.4.4.4。此時一半華北電信DNS得到的結果時3.3.3.3,另半華北電信DNS得到的結果時4.4.4.4。同理,雲解析DNS收到華東聯通的DNS查詢時,先連續返回3次5.5.5.5,再連續返回7次6.6.6.6,然後重複執行,此時30%的華東聯通DNS得到的結果是3.3.3.3,剩下70%得到的結果是4.4.4.4。

9.華北電信DNS收到雲解析DNS的響應後會快取域名解析結果,並返回給最終查詢使用者。

10. 最終實現50%的華北電信使用者訪問3.3.3.3上的網站服務,另外50%華北電信使用者訪問4.4.4.4上的網站服務。

網路監控及時發現故障

1.雲解析DNS在通過智慧解析和WRR幫助中小企業實現就近訪問以及流量分配的同時,有效的結合阿里雲分散式監控,利用全網撥測探針對網站的解析記錄進行實時監控,如圖二。

DNS

圖二

2.雲解析DNS的網路監控目前已支援HTTP/HTTPS、自定義URL、在提供5個真實阿里巴巴撥測節點基礎上,優選了15個三大運營商優質撥測點。同時多達50個監控任務數的配置全面領先競爭對手,確保能夠及時發現宕機故障,增大監控覆蓋面,如圖三。

監控

圖三

3.低至1分鐘的監控頻率,相當於您的網站每3秒鐘,就可以獲得一次健康檢測,最快可以宕機後3分鐘內檢測出故障,並通過全球負載均衡功能完成故障切換。

4.為了防止誤報警現象發生,我們將宕機判斷閾值設定為50%,即50%的節點監控異常時判定為宕機故障。

5.當然DNS生效還受到運營商快取TTL的影響,建議設定主機記錄TTL為60秒。

6.如果你是移動端開發者,推薦配合阿里雲HTTPDNS服務同時使用,故障切換更加靈敏。

線路間切換實現故障隔離

故障隔離

在網站服務執行的過程中,故障不可避免總會發生。那麼如何做好故障隔離呢?雲解析DNS有以下一些實踐,可供中小企業使用,如圖四。

圖四

1.華北電信一個數據中心叢集4.4.4.4因異常原因出現大面積故障,網站服務中斷,使用者訪問失敗;

2.網站監控在2分鐘內發現4.4.4.4叢集故障,同時通知雲解析DNS系統暫停華北電信:4.4.4.4的IP地址解析;

3.雲解析DNS暫停故障IP解析後,只向華北電信DNS查詢返回IP地址:3.3.3.3,同時雲解析DNS解析日誌會記錄下故障時間、IP地址、暫停操作資訊,並通過簡訊和郵件通知您的運維工程師。

4.最終實現將使用者的訪問流量全部轉移至華北電信資料中心:3.3.3.3。

故障恢復

當網站恢復服務後,如何便捷的遷移會流量呢?如圖五。

流量

圖五

1.在華北電信使用者的訪問流量全部遷移至3.3.3.3後,4.4.4.4相當於離線狀態,你可以組織相關技術同學對故障叢集進行修復。

2.修復完成、測試通過後,監控系統能自動檢測到華北電信資料中心4.4.4.4的網站服務恢復正常,並通知雲解析DNS恢復華北電信4.4.4.4 的IP地址解析,

3.雲解析DNS收到華北電信的DNS查詢時,輪詢響應IP地址3.3.3.3和4.4.4.4。經過一段時間後,一半華北電信DNS得到的結果是3.3.3.3,另一半華北電信DNS得到的結果是4.4.4.4。

4.終端使用者的訪問流量會平滑的過度到原始配置各50%的比例,確保訪問流量在恢復時平滑、使用者無感知。

異地容災

對於大型網際網路企業,必須要考慮的一點是在災難性情況發生時,如何保證使用者訪問正常,如圖六。

網際網路

圖六

1.由於某些不可抗拒的原因,華北電信的資料中心兩個接入IP地址:3.3.3.3、4.4.4.4全部出現故障,並無法及時恢復;

2. 網站監控及時發現故障,並通知雲解析DNS暫停所有華北電信線路下IP解析;

3.雲解析DNS暫停解析後,會啟用線路間負載均衡策略,向華北電信使用者的DNS查詢返回阿里雲BGP Region地址:1.1.1.1、2.2.2.2;

4.最終實現將整體華北電信使用者的訪問流量排程至預設線路阿里雲BGP Region:1.1.1.1、2.2.2.2,保障在極端情況下,依然能夠向華北電信使用者提供正常的服務,如圖四所示。

總結

雲解析DNS是一種高可用性、高可擴充套件的權威DNS服務和DNS管理服務。提供了多種全球負載均衡策略,幫助中小企業快速、準確的將使用者請求路由至您的資料中心,同時具備高可用容災切換能力,實現在一些資料中心故障的情況下,仍然能保證中小企業的網站服務可訪問。

未來雲解析DNS還會將會與更多的阿里雲產品相結合,例如SLB、ECS、CDN、雲盾等。形成立體化的高可用網站解決方案,從訪問入口到後端服務助力中小企業實現全鏈路負載均衡。