1. 程式人生 > >DNS負載均衡與CDN內容分發技術

DNS負載均衡與CDN內容分發技術

負載均衡:負載均衡技術能平衡伺服器及群眾所有的伺服器和請求應用之間的通訊負載,根據實時響應時間進行判斷,將任務交由負載最輕的伺服器來處理,以實現真正的智慧通訊管理和最佳的伺服器群效能,從而使網站始終保持執行和保證其可訪問性。

DNS負載均衡:為了充分利用現有伺服器軟體的種種優勢,負載均衡最好是在伺服器軟體之外來完成。而最早使用的負載均衡技術是通過DNS服務中的隨即名字解析來實現的。這就是通常所說的DNS負載均衡技術。DNS負載均衡技術的實現原理是在DNS伺服器中為同一個主機名配置多個IP地址,在應答DNS查詢時,DNS伺服器對每個查詢將以DNS檔案中主機記錄的IP地址按順序返回不同的解析結果,將客戶端的訪問引導到不同的機器上去,使得不同的客戶端訪問不同的伺服器,從而達到負載均衡的目的。很多網站使用DNS負載均衡來保證網站的執行和可訪問性。

該技術的優點:技術靈活方便簡單易行且成本低,適用於大多數TCP/IP應用;對於WEB應用來說,不需要對程式碼做任何修改;WEB伺服器可以位於網際網路的任意位置上。

該技術的缺點:不能夠按照WEB伺服器的處理能力分配負載,DNS負載均衡採用的簡單的輪循負載演算法,不能區分伺服器之間的差異,不能反映伺服器的當前執行狀態,DNS伺服器將http請求平均的分配到後臺的web伺服器上,而不考慮每個伺服器當前的負載情況;不支援高可靠性,沒有考慮容錯,如果後臺某web伺服器有故障,DNS伺服器仍然將DNS請求分配到該伺服器上;可能造成額外的網路問題,為保證DNS資料及時更新,使地址能隨機分配,使本DNS與其他DNS伺服器及時互動,一般將DNS的重新整理時間設定的很小,使得DNS流量大增造成額外的網路問題。

總體來說,DNS負載均衡技術不應該算是真正意義上的負載均衡,不能夠穩定、可靠、高效的滿足企業對於WEB伺服器的需求,也不能滿足網路使用者對網站訪問的及時響應和可用性。

CDN網路加速技術:

        CDN的全稱是Content Delivery Network,即內容分發網路。其目的是通過在現有的Internet中增加一層新的網路架構,將網站的內容釋出到最接近使用者的網路"邊緣",使使用者可以就近取得所需的內容,解決Internet網路擁擠的狀況,提高使用者訪問網站的響應速度。從技術上全面解決由於網路頻寬小、使用者訪問量大、網點分佈不均等原因所造成的使用者訪問網站響應速度慢的問題。 
  CDN網際網路內容釋出網路(Content Delivery Network) CDN技術是近年來在美國首先興起並迅速發展起來的一種解決網際網路效能不佳問題的有效手段。 其基本思路就是儘可能避開網際網路上有可能影響資料傳輸速度和穩定性的瓶頸和環節,使內容傳輸的更快、更穩。通過在網路各處放置節點伺服器所構成的在現有的網際網路基礎之上的一層智慧虛擬網路,cdn系統能夠實時地根據網路流量和各節點的連線、負載狀況以及到使用者的距離和響應時間等綜合資訊將使用者的請求重新導向離使用者最近的服務節點上。 
  實際上,內容分發佈網絡(CDN)是一種新型的網路構建方式,它是為能在傳統的IP網釋出寬頻豐富媒體而特別優化的網路覆蓋層;而從廣義的角度,CDN代表了一種基於質量與秩序的網路服務模式。簡單地說,內容釋出網(CDN)是一個經策略性部署的整體系統,包括分散式儲存、負載均衡、網路請求的重定向和內容管理4個要件,而內容管理和全域性的網路流量管理(Traffic Management)是CDN的核心所在。通過使用者就近性和伺服器負載的判斷,CDN確保內容以一種極為高效的方式為使用者的請求提供服務。總的來說,內容服務基於快取伺服器,也稱作代理快取(Surrogate),它位於網路的邊緣,距使用者僅有"一跳"(Single Hop)之遙。同時,代理快取是內容提供商源伺服器(通常位於CDN服務提供商的資料中心)的一個透明映象。這樣的架構使得CDN服務提供商能夠代表他們客戶,即內容供應商,向終端使用者提供儘可能好的體驗,而這些使用者是不能容忍請求響應時間有任何延遲的。據統計,採用CDN技術,能處理整個網站頁面的70%~95%的內容訪問量,減輕伺服器的壓力,提升了網站的效能和可擴充套件性。 
  與目前現有的內容釋出模式相比較,CDN強調了網路在內容釋出中的重要性。通過引入主動的內容管理層的和全域性負載均衡,CDN從根本上區別於傳統的內容釋出模式。在傳統的內容釋出模式中,內容的釋出由ICP的應用伺服器完成,而網路只表現為一個透明的資料傳輸通道,這種透明性表現在網路的質量保證僅僅停留在資料包的層面,而不能根據內容物件的不同區分服務質量。此外,由於IP網的"盡力而為"的特性使得其質量保證是依靠在使用者和應用伺服器之間端到端地提供充分的、遠大於實際所需的頻寬通量來實現的。在這樣的內容釋出模式下,不僅大量寶貴的骨幹頻寬被佔用,同時ICP的應用伺服器的負載也變得非常重,而且不可預計。當發生一些熱點事件和出現浪湧流量時,會產生區域性熱點效應,從而使應用伺服器過載退出服務。這種基於中心的應用伺服器的內容釋出模式的另外一個缺陷在於個性化服務的缺失和對寬頻服務價值鏈的扭曲,內容提供商承擔了他們不該幹也幹不好的內容釋出服務。 
  縱觀整個寬頻服務的價值鏈,內容提供商和使用者位於整個價值鏈的兩端,中間依靠網路服務提供商將其串接起來。隨著網際網路工業的成熟和商業模式的變革,在這條價值鏈上的角色越來越多也越來越細分。比如內容/應用的運營商、託管服務提供商、骨幹網路服務提供商、接入服務提供商等等。在這一條價值鏈上的每一個角色都要分工合作、各司其職才能為客戶提供良好的服務,從而帶來多贏的局面。從內容與網路的結合模式上看,內容的釋出已經走過了ICP的內容(應用)伺服器和IDC這兩個階段。IDC的熱潮也催生了託管服務提供商這一角色。但是,IDC並不能解決內容的有效釋出問題。內容位於網路的中心並不能解決骨幹頻寬的佔用和建立IP網路上的流量秩序。因此將內容推到網路的邊緣,為使用者提供就近性的邊緣服務,從而保證服務的質量和整個網路上的訪問秩序就成了一種顯而易見的選擇。而這就是內容釋出網(CDN)服務模式。CDN的建立解決了困擾內容運營商的內容"集中與分散"的兩難選擇,無疑對於構建良好的網際網路價值鏈是有價值的,也是不可或缺的最優網站加速服務。 
  目前,國內訪問量較高的大型網站如新浪、網易等,均使用CDN網路加速技術,雖然網站的訪問巨大,但無論在什麼地方訪問都會感覺速度很快。而一般的網站如果伺服器在網通,電信使用者訪問很慢,如果伺服器在電信,網通使用者訪問又很慢。 
  它採取了分散式網路快取結構(即國際上流行的web cache技術),通過在現有的Internet中增加一層新的網路架構,將網站的內容釋出到最接近使用者的cache伺服器內,通過DNS負載均衡的技術,判斷使用者來源就近訪問cache伺服器取得所需的內容,解決Internet網路擁塞狀況,提高使用者訪問網站的響應速度,如同提供了多個分佈在各地的加速器,以達到快速、可冗餘的為多個網站加速的目的。 
  CDN的特點 
  1、本地Cache加速 提高了企業站點(尤其含有大量圖片和靜態頁面站點)的訪問速度,並大大提高以上性質站點的穩定性 
  2、映象服務 消除了不同運營商之間互聯的瓶頸造成的影響,實現了跨運營商的網路加速,保證不同網路中的使用者都能得到良好的訪問質量。 
  3、遠端加速 遠端訪問使用者根據DNS負載均衡技術 智慧自動選擇Cache伺服器,選擇最快的Cache伺服器,加快遠端訪問的速度 
  4、頻寬優化 自動生成伺服器的遠端Mirror(映象)cache伺服器,遠端使用者訪問時從cache伺服器上讀取資料,減少遠端訪問的頻寬、分擔網路流量、減輕原站點WEB伺服器負載等功能。 
  5、叢集抗攻擊 廣泛分佈的CDN節點加上節點之間的智慧冗於機制,可以有效地預防黑客入侵以及降低各種D.D.o.S攻擊對網站的影響,同時保證較好的服務質量 。 
  CDN中的關鍵技術包含以下幾個方面;
  (1)內容釋出:它藉助於建立索引、快取、流分裂、組播(Multicast)等技術,將內容釋出或投遞到距離使用者最近的遠端服務點(POP)處;
  (2)內容路由:它是整體性的網路負載均衡技術,通過內容路由器中的重定向(DNS)機制,在多個遠端POP上均衡使用者的請求,以使使用者請求得到最近內容源的響應;
  (3)內容交換:它根據內容的可用性、伺服器的可用性以及使用者的背景,在POP的快取伺服器上,利用應用層交換、流分裂、重定向(ICP、WCCP)等技術,智慧地平衡負載流量;
  (4)效能管理:它通過內部和外部監控系統,獲取網路部件的狀況資訊,測量內容釋出的端到端效能(如包丟失、延時、平均頻寬、啟動時間、幀速率等),保證網路處於最佳的執行狀態。
  P4P與傳統CDN、P2P的對比
  7月30日訊息:德國一個名為iPoque的研究機構在2007年研究了一百多萬網民將近3TB的匿名資料流量,調查地區包括澳大利亞、東歐、德國、中東和南歐地區。調查發現,目前網路頻寬“消費大戶”是P2P檔案共享,在中東佔據了49%,東歐地區佔據了84%。從全球來看,晚上時段的網路頻寬有95%被P2P佔據。據國內權威部門統計,當前P2P流量已經佔整個網際網路流量的約70%,並且正在以每年350%的速度增長。P2P流量消耗了巨大的網路頻寬,尤其是國際頻寬,使網路基礎設施不堪重負,運營商苦不堪言。
  問題的癥結不在於P2P,而在於交換的機制。P2P過於強調“對等”,每個節點之間的交換完全是無序的。一個北京的使用者,既可能和廣州的使用者進行檔案片段的交換,也可能和遠在美國的某使用者進行交換。顯然,無序的交換導致了無謂的跨地區甚至是跨國的“流量旅行”,這耗費了寶貴的國內和國際頻寬資源,代價巨大。
  如果正好使用者都在同一個地區,那麼,本地化的交換的成本就會大大降低。這也正是P4P的簡單原理——讓P2P也玩“同城”。 P4P全稱是“Proactive network Provider Participation for P2P(電信運營商主動參與P2P網路)”。與P2P隨機挑選Peer(對等機)不同,P4P協議可以協調網路拓撲資料,能夠有效選擇節點,從而提高網路路由效率。仍以上述例子來說,北京的使用者就可以優先和北京同城的使用者來實現檔案片段的交換,再擴充套件至較遠的地區,有十分的必要時,才會出國進行檔案片段交換。當然,P4P的執行機制,要遠遠超過“同城交換”的概念,它還會根據使用者的上行、下載頻寬進行綜合判斷,以進行最有效選擇,最大化整體交換的效率。

總結:本文講述了一種負載均衡的方法(dns負載均衡,將應用請求平均分配到後臺的WEB伺服器上以均衡負載)以及一種網路加速的方法(cdn  內容分發技術)。

PS:附看一個視訊。

這是淘寶最大的技術平臺,承載著淘寶全網90%的流量,用技術創造價值。2010年,核心系統研發CDN團隊因多項重大技術創新,改善了使用者訪問體驗,併為公司節省固定及運營成本逾2,0000,0000元。想聽聽CDN團隊的人自己是怎麼說的嗎?http://v.youku.com/v_show/id_XMzExMzY1ODgw.html

相關推薦

DNS負載均衡CDN內容分發技術

負載均衡:負載均衡技術能平衡伺服器及群眾所有的伺服器和請求應用之間的通訊負載,根據實時響應時間進行判斷,將任務交由負載最輕的伺服器來處理,以實現真正的智慧通訊管理和最佳的伺服器群效能,從而使網站始終保持執行和保證其可訪問性。 DNS負載均衡:為了充分利用現有伺服器軟體的

全域性負載均衡CDN內容分發

## CDN簡介 CDN的全稱是Content Delivery Network,即內容分發網路。CDN是構建在現有網路基礎之上的智慧虛擬網路,依靠部署在各地的邊緣伺服器,通過中心平臺的負載均衡、內容分發、排程等功能模組,使使用者就近獲取所需內容,降低網路擁塞,提高使用者訪問響應速度和命中率。CDN的關鍵技

Nginx負載均衡反向代理—《億級流量網站架構核心技術

小時 維護 額外 nat gzip 網站架構 weight 2.7 熱點 當我們的應用單實例不能支撐用戶請求時,此時就需要擴容,從一臺服務器擴容到兩臺、幾十臺、幾百臺。然而,用戶訪問時是通過如http://www.XX.com的方式訪問,在請求時,瀏覽器首先會查詢DNS服務

伺服器負載均衡 & 鏈路負載均衡CDN技術詳解》

1. 伺服器負載均衡 伺服器負載均衡是將客戶端請求在叢集中的伺服器上實現均衡分發的技術。按照位於七層網路協議棧的不同層的劃分,伺服器負載均衡可以分為四層(L4)負載均衡和七層(L7)負載均衡兩種。 1)L4負載均衡是基於流的伺服器負載均衡,能夠對報文進行逐流分發

Nginx 反向代理、負載均衡動靜分離

nginx1、環境:前端Nginx服務器:主機名:server1 IP:172.25.80.1 編譯安裝nginx1..12 後端tomcat: Server2--ip:172.25.80.2 主機名:server2 Server3--ip:172.25.80.3 主機名:server32、Ng

DNS 負載均衡

成本 名稱 eas 互聯 到你 地理 div 主機 分布式數據庫 轉自:http://blog.csdn.net/cywosp/article/details/38017027 在上一篇文章(http://blog.csdn.net/cywosp/article

負載均衡web服務集群搭建

linux主機名ip地址角色viplvs01192.168.1.904層負載192.168.1.206lvs02192.168.1.914層負載192.168.1.206lb01192.168.1.57層負載lb02 192.168.1.67層負載web-nginx01 172.16.1.33靜態服務器web

haproxy負載均衡搭建web群集

版本 網段 nod 修改 其中 lib AD tab 技術分享 前面我搭建了tomcat+nginx負載均衡群集,LVM負載均衡群集,今天百忙之中我來湊一個haproxy負載均衡群集,這三種群集的搭建我是深有體會LVS性能確實好(DR)但是在搭建過程中太過於繁瑣,nginx

三、負載均衡web服務集群搭建

spa 編譯安裝 特點 ont tables 1.7 常用 標準 靜態 一、負載均衡LVS基本介紹 LB集群的架構和原理很簡單,就是當用戶的請求過來時,會直接分發到Director Server上,然後它把用戶的請求根據設置好的調度算法,智能均衡地分發到後端真正服務器

四層負載均衡七層負載均衡區別

三方 分類 udp 鏈接 問題: cal 這也 安全性 mac地址 四層負載均衡:僅僅建立一次TCP連接 七層負載均衡:負載均衡器與客戶端及後端的服務器會分別建立一個TCP連接。即兩次TCP連接。 (一)   簡單理解四層和七層負載均衡:   ① 所謂四層就是基於IP+端口

Keepalived負載均衡高可用

flags scrip vsa 基於ip 主機 lvs 詳細介紹 ipaddress type 1.keepalived服務介紹Keepalived的項目實現的主要目標是簡化LVS項目的配置並增強其穩定性,即Keepalived是對LVS項目的擴展增強。Keepalived

Apache +Jetty的負載均衡叢集配置(下)

分別訪問http://192.168.55.229:9009/fgw/index.jsp和http://192.168.55.231:9009/fgw/index.jsp   重新整理會出現新的頁面:   (6)此時訪問http://192.16

Apache +Jetty的負載均衡叢集配置(上)

                                         

springCloud的ribbon負載均衡nginx的負載均衡

Spring Cloud Ribbon是基於Netflix Ribbon實現的一套客戶端負載均衡的工具。它是一個基於HTTP和TCP的客戶端負載均衡器。它可以通過在客戶端中配置ribbonServerList來設定服務端列表去輪詢訪問以達到均衡負載的作用。 Ribbon是什麼? Ribb

grpc中的dns負載均衡

grpc中的dns負載均衡 (金慶的專欄 2018.8) grpc-go 中如下連線伺服器,請求將在多個IP之間輪轉。 conn, err := grpc.Dial( "dns:///rng-headless:8081", grpc.Wit

阿里雲環境實戰搭建CDN內容分發

1、建立CDN CNAME 指向CDN雲廠商地址  2、使用域名轉向到CDN雲廠商地址   請求過來 通過cnd 分發到不同的伺服器  如果有快取的話 直接走了 CDN也可以實現安全功能,比如CDN實現防止DDOS,DNS負載均衡,實現web安全防禦功能,比如黑名單和

淺談Nginx負載均衡F5的區別

前言 筆者最近在負責某集團網站時,同時用到了Nginx與F5,如圖所示,負載均衡器F5作為處理外界請求的第一道“牆”,將請求分發到web伺服器後,web伺服器上的Nginx再進行處理,靜態內容直接訪問本地門戶,動態資料則通過反向代理指向內網服務。 其實N

spring cloud 入門(五)【負載均衡 FeignClient 容錯機制一(通過類容錯)】

一 負載均衡 spring cloud 負載均衡非常簡單,現在服務提供者 menu,重新copy 一份munu ,命名 menu2 ,將埠 修改為 8764 ,其他配置都不變 這個時候 如何 再次呼叫 user/getMenu 介面, 檢視 menu 和 menu2 的日誌,我們可以看出來,

nginx負載均衡反向代理配置

upstream 193.168.81.128{     server localhost:8080 weight=1 max_fails=2 fail_timeout=30s;     server localhost:8081 weight=1 max

linux負載均衡效能監控

平均負載是單位時間內, 系統處於可執行狀態和不可中斷狀態的平均程序數( 平均活躍程序數 ) 可執行狀體好理解, 就是程序正在執行狀態Running和可執行狀態Runnable... 這裡需要注意的是 不可中斷狀態(ps D狀態)的程序是系統對程序的一種保護, 比如在寫磁碟的時, 為了資料一致性, 當前的程序