2. 程式人生 > >一次完整的請求

一次完整的請求

阿新 • • 發佈：2018-12-24

原文:http://igoro.com/archive/what-really-happens-when-you-navigate-to-a-url/ 

作為一個軟體開發者，你一定會對網路應用如何工作有一個完整的層次化的認知，同樣這裡也包括這些應用所用到的技術：像瀏覽器，HTTP，HTML，網路伺服器，需求處理等等。

本文將更深入的研究當你輸入一個網址的時候，後臺到底發生了一件件什麼樣的事～

1. 首先嘛，你得在瀏覽器裡輸入要網址:

image

2. 瀏覽器查詢域名的IP地址

image

導航的第一步是通過訪問的域名找出其IP地址。DNS查詢過程如下：

  • 瀏覽器快取 – 瀏覽器會快取DNS記錄一段時間。 有趣的是，作業系統沒有告訴瀏覽器儲存DNS記錄的時間，這樣不同瀏覽器會儲存個自固定的一個時間（2分鐘到30分鐘不等）。
  • 系統快取 – 如果在瀏覽器快取裡沒有找到需要的記錄，瀏覽器會做一個系統呼叫（windows裡是gethostbyname）。這樣便可獲得系統快取中的記錄。
  • 路由器快取 – 接著，前面的查詢請求發向路由器，它一般會有自己的DNS快取。
  • ISP DNS 快取 – 接下來要check的就是ISP快取DNS的伺服器。在這一般都能找到相應的快取記錄。
  • 遞迴搜尋 – 你的ISP的DNS伺服器從跟域名伺服器開始進行遞迴搜尋，從.com頂級域名伺服器到Facebook的域名伺服器。一般DNS伺服器的快取中會有.com域名伺服器中的域名，所以到頂級伺服器的匹配過程不是那麼必要了。

DNS遞迴查詢如下圖所示：

500px-An_example_of_theoretical_DNS_recursion_svg

DNS有一點令人擔憂，這就是像wikipedia.org 或者 facebook.com這樣的整個域名看上去只是對應一個單獨的IP地址。還好，有幾種方法可以消除這個瓶頸：

  • 迴圈 DNS 是DNS查詢時返回多個IP時的解決方案。舉例來說，Facebook.com實際上就對應了四個IP地址。
  • 負載平衡器 是以一個特定IP地址進行偵聽並將網路請求轉發到叢集伺服器上的硬體裝置。 一些大型的站點一般都會使用這種昂貴的高效能負載平衡器。
  • 地理 DNS 根據使用者所處的地理位置，通過把域名對映到多個不同的IP地址提高可擴充套件性。這樣不同的伺服器不能夠更新同步狀態，但對映靜態內容的話非常好。
  • Anycast 是一個IP地址對映多個物理主機的路由技術。 美中不足，Anycast與TCP協議適應的不是很好，所以很少應用在那些方案中。

大多數DNS伺服器使用Anycast來獲得高效低延遲的DNS查詢。

3. 瀏覽器給web伺服器傳送一個HTTP請求

image

因為像Facebook主頁這樣的動態頁面，開啟後在瀏覽器快取中很快甚至馬上就會過期，毫無疑問他們不能從中讀取。

所以，瀏覽器將把一下請求傳送到Facebook所在的伺服器：

GET http://facebook.com/ HTTP/1.1
 Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]
 User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]
 Accept-Encoding: gzip, deflate
 Connection: Keep-Alive
 Host: facebook.com
 Cookie: datr=1265876274-[...]; locale=en_US; lsd=WW[...]; c_user=2101[...]

GET 這個請求定義了要讀取的URL： “http://facebook.com/”。 瀏覽器自身定義 (User-Agent 頭)， 和它希望接受什麼型別的相應 (Accept and Accept-Encoding 頭). Connection頭要求伺服器為了後邊的請求不要關閉TCP連線。

請求中也包含瀏覽器儲存的該域名的cookies。可能你已經知道，在不同頁面請求當中，cookies是與跟蹤一個網站狀態相匹配的鍵值。這樣cookies會儲存登入使用者名稱，伺服器分配的密碼和一些使用者設定等。Cookies會以文字文件形式儲存在客戶機裡，每次請求時傳送給伺服器。

用來看原始HTTP請求及其相應的工具很多。作者比較喜歡使用fiddler，當然也有像FireBug這樣其他的工具。這些軟體在網站優化時會幫上很大忙。

除了獲取請求，還有一種是傳送請求，它常在提交表單用到。傳送請求通過URL傳遞其引數(e.g.: http://robozzle.com/puzzle.aspx?id=85)。傳送請求在請求正文頭之後傳送其引數。

像“http://facebook.com/”中的斜槓是至關重要的。這種情況下，瀏覽器能安全的新增斜槓。而像“http: //example.com/folderOrFile”這樣的地址，因為瀏覽器不清楚folderOrFile到底是資料夾還是檔案，所以不能自動新增 斜槓。這時，瀏覽器就不加斜槓直接訪問地址，伺服器會響應一個重定向，結果造成一次不必要的握手。

4. facebook服務的永久重定向響應

image

圖中所示為Facebook伺服器發回給瀏覽器的響應：

HTTP/1.1 301 Moved Permanently
 Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
 pre-check=0
 Expires: Sat, 01 Jan 2000 00:00:00 GMT
 Location: http://www.facebook.com/
 P3P: CP="DSP LAW"
 Pragma: no-cache
 Set-Cookie: made_write_conn=deleted; expires=Thu, 12-Feb-2009 05:09:50 GMT;
 path=/; domain=.facebook.com; httponly
 Content-Type: text/html; charset=utf-8
 X-Cnection: close
 Date: Fri, 12 Feb 2010 05:09:51 GMT
 Content-Length: 0

伺服器給瀏覽器響應一個301永久重定向響應，這樣瀏覽器就會訪問“http://www.facebook.com/” 而非“http://facebook.com/”。

為什麼伺服器一定要重定向而不是直接發會使用者想看的網頁內容呢？這個問題有好多有意思的答案。

其中一個原因跟搜尋引擎排名有 關。你看，如果一個頁面有兩個地址，就像http://www.igoro.com/ 和http://igoro.com/，搜尋引擎會認為它們是兩個網站，結果造成每一個的搜尋連結都減少從而降低排名。而搜尋引擎知道301永久重定向是 什麼意思，這樣就會把訪問帶www的和不帶www的地址歸到同一個網站排名下。

還有一個是用不同的地址會造成快取友好性變差。當一個頁面有好幾個名字時，它可能會在快取裡出現好幾次。

5. 瀏覽器跟蹤重定向地址

image

現在，瀏覽器知道了“http://www.facebook.com/”才是要訪問的正確地址，所以它會發送另一個獲取請求：

GET http://www.facebook.com/ HTTP/1.1
 Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]
 Accept-Language: en-US
 User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]
 Accept-Encoding: gzip, deflate
 Connection: Keep-Alive
 Cookie: lsd=XW[...]; c_user=21[...]; x-referer=[...]
 Host: www.facebook.com

頭資訊以之前請求中的意義相同。

6. 伺服器“處理”請求

image

伺服器接收到獲取請求，然後處理並返回一個響應。

這表面上看起來是一個順向的任務，但其實這中間發生了很多有意思的東西- 就像作者部落格這樣簡單的網站，何況像facebook那樣訪問量大的網站呢！

  • Web 伺服器軟體
    web伺服器軟體（像IIS和阿帕奇）接收到HTTP請求，然後確定執行什麼請求處理來處理它。請求處理就是一個能夠讀懂請求並且能生成HTML來進行響應的程式（像ASP.NET,PHP,RUBY...）。

    舉 個最簡單的例子，需求處理可以以對映網站地址結構的檔案層次儲存。像http://example.com/folder1/page1.aspx這個地 址會對映/httpdocs/folder1/page1.aspx這個檔案。web伺服器軟體可以設定成為地址人工的對應請求處理，這樣 page1.aspx的釋出地址就可以是http://example.com/folder1/page1。

  • 請求處理
    請求處理閱讀請求及它的引數和cookies。它會讀取也可能更新一些資料，並講資料儲存在伺服器上。然後，需求處理會生成一個HTML響應。

所 有動態網站都面臨一個有意思的難點 -如何儲存資料。小網站一半都會有一個SQL資料庫來儲存資料，儲存大量資料和/或訪問量大的網站不得不找一些辦法把資料庫分配到多臺機器上。解決方案 有：sharding （基於主鍵值講資料表分散到多個數據庫中），複製，利用弱語義一致性的簡化資料庫。

委 託工作給批處理是一個廉價保持資料更新的技術。舉例來講，Fackbook得及時更新新聞feed，但資料支援下的“你可能認識的人”功能只需要每晚更新 （作者猜測是這樣的，改功能如何完善不得而知）。批處理作業更新會導致一些不太重要的資料陳舊，但能使資料更新耕作更快更簡潔。

7. 伺服器發回一個HTML響應

image

圖中為伺服器生成並返回的響應：

HTTP/1.1 200 OK
 Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
 pre-check=0
 Expires: Sat, 01 Jan 2000 00:00:00 GMT
 P3P: CP="DSP LAW"
 Pragma: no-cache
 Content-Encoding: gzip
 Content-Type: text/html; charset=utf-8
 X-Cnection: close
 Transfer-Encoding: chunked
 Date: Fri, 12 Feb 2010 09:05:55 GMT
 
 [email protected][...]

整個響應大小為35kB，其中大部分在整理後以blob型別傳輸。

內容編碼頭告訴瀏覽器整個響應體用gzip演算法進行壓縮。解壓blob塊後，你可以看到如下期望的HTML：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"    
 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
 <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en"
 lang="en" id="facebook" class=" no_js">
 <head>
 <meta http-equiv="Content-type" content="text/html; charset=utf-8" />
 <meta http-equiv="Content-language" content="en" />
 ...

關於壓縮，頭資訊說明了是否快取這個頁面，如果快取的話如何去做，有什麼cookies要去設定（前面這個響應裡沒有這點）和隱私資訊等等。

請注意報頭中把Content-type設定為“text/html”。報頭讓瀏覽器將該響應內容以HTML形式呈現，而不是以檔案形式下載它。瀏覽器會根據報頭資訊決定如何解釋該響應，不過同時也會考慮像URL擴充套件內容等其他因素。

8. 瀏覽器開始顯示HTML

在瀏覽器沒有完整接受全部HTML文件時，它就已經開始顯示這個頁面了：

image

9. 瀏覽器傳送獲取嵌入在HTML中的物件

image

在瀏覽器顯示HTML時，它會注意到需要獲取其他地址內容的標籤。這時，瀏覽器會發送一個獲取請求來重新獲得這些檔案。

下面是幾個我們訪問facebook.com時需要重獲取的幾個URL：

  • 圖片
    http://static.ak.fbcdn.net/rsrc.php/z12E0/hash/8q2anwu7.gif
    http://static.ak.fbcdn.net/rsrc.php/zBS5C/hash/7hwy7at6.gif
    …
  • CSS 式樣表
    http://static.ak.fbcdn.net/rsrc.php/z448Z/hash/2plh8s4n.css
    http://static.ak.fbcdn.net/rsrc.php/zANE1/hash/cvtutcee.css
    …
  • JavaScript 檔案
    http://static.ak.fbcdn.net/rsrc.php/zEMOA/hash/c8yzb6ub.js
    http://static.ak.fbcdn.net/rsrc.php/z6R9L/hash/cq2lgbs8.js
    …

這些地址都要經歷一個和HTML讀取類似的過程。所以瀏覽器會在DNS中查詢這些域名，傳送請求，重定向等等...

但 不像動態頁面那樣，靜態檔案會允許瀏覽器對其進行快取。有的檔案可能會不需要與伺服器通訊，而從快取中直接讀取。伺服器的響應中包含了靜態檔案儲存的期限 資訊，所以瀏覽器知道要把它們快取多長時間。還有，每個響應都可能包含像版本號一樣工作的ETag頭（被請求變數的實體值），如果瀏覽器觀察到檔案的版本 ETag資訊已經存在，就馬上停止這個檔案的傳輸。

試著猜猜看“fbcdn.net”在地址中代表什麼？聰明的答案是"Facebook內容分發網路"。Facebook利用內容分發網路（CDN）分發像圖片，CSS表和JavaScript檔案這些靜態檔案。所以，這些檔案會在全球很多CDN的資料中心中留下備份。

靜態內容往往代表站點的頻寬大小，也能通過CDN輕鬆的複製。通常網站會使用第三方的CDN。例如，Facebook的靜態檔案由最大的CDN提供商Akamai來託管。

舉例來講，當你試著ping static.ak.fbcdn.net的時候，可能會從某個akamai.net伺服器上獲得響應。有意思的是，當你同樣再ping一次的時候，響應的伺服器可能就不一樣，這說明幕後的負載平衡開始起作用了。

10. 瀏覽器傳送非同步（AJAX）請求

image

在Web 2.0偉大精神的指引下，頁面顯示完成後客戶端仍與伺服器端保持著聯絡。

以 Facebook聊天功能為例，它會持續與伺服器保持聯絡來及時更新你那些亮亮灰灰的好友狀態。為了更新這些頭像亮著的好友狀態，在瀏覽器中執行的 JavaScript程式碼會給伺服器傳送非同步請求。這個非同步請求傳送給特定的地址，它是一個按照程式構造的獲取或傳送請求。還是在Facebook這個例 子中，客戶端傳送給http://www.facebook.com/ajax/chat/buddy_list.php一個釋出請求來獲取你好友裡哪個 線上的狀態資訊。

提起這個模式，就必須要講講"AJAX"-- “非同步JavaScript 和 XML”，雖然伺服器為什麼用XML格式來進行響應也沒有個一清二白的原因。再舉個例子吧，對於非同步請求，Facebook會返回一些JavaScript的程式碼片段。

除了其他，fiddler這個工具能夠讓你看到瀏覽器傳送的非同步請求。事實上，你不僅可以被動的做為這些請求的看客，還能主動出擊修改和重新發送它們。AJAX請求這麼容易被蒙，可著實讓那些計分的線上遊戲開發者們鬱悶的了。（當然，可別那樣騙人家~）

Facebook聊天功能提供了關於AJAX一個有意思的問題案例：把資料從伺服器端推送到客戶端。因為HTTP是一個請求-響應協議，所以聊天伺服器不能把新訊息發給客戶。取而代之的是客戶端不得不隔幾秒就輪詢下伺服器端看自己有沒有新訊息。

這些情況發生時長輪詢是個減輕伺服器負載挺有趣的技術。如果當被輪詢時伺服器沒有新訊息，它就不理這個客戶端。而當尚未超時的情況下收到了該客戶的新訊息，伺服器就會找到未完成的請求，把新訊息做為響應返回給客戶端。

相關推薦

tomcat一次完整請求流程

1 首先通過域名查詢IP地址    順序是從 瀏覽器快取-主機快取-hosts-路由快取-DNS伺服器-根域名伺服器，得到域名的真實IP地址2 開始TCP/IP 三次握手         主要資料包括                    （1）序號：Seq序號，佔32位，用

XMLHttpRequest是什麽、如何完整地運行一次GET請求、如何檢測錯誤。

var obj problem get請求 () == name xmlhttp 如何 var xmlhttp; function LoadXmlDoc(url){

HTTP 之 一次完整的http請求處理過程

處理 請求過程 http請求處理過程如下.1、建立連接：接收或拒絕連接請求，通過三次握手建立.2、接收請求：接收客戶端請求報文中對某資源的一次請求的過程.Web訪問響應模型（Web I/O）單進程I/O模型：啟動一個進程處理用戶請求，而且一次只處理一個，多個請求被串行響應必須處理完前面的請求後才能處理

一次完整的http的請求過程與https的實現

http一次完整的http請求過程： （1）發起請求建立連接； 三次握手 接收請求或拒絕請求 （2）接受請求 來自網絡的請求報文中對某資源的一次請求過程； 並發訪問響應模型（Web I/O）; 單進程I/O結構：啟動一個進程處理用戶請求，而且一次只處理一個；多個請求被串行響應

一次完整的HTTP請求的大致過程（轉）

帶寬 繼續 頭信息 cti www 參考 例如 相同 log 說明：這些理論基本都來自網上，所以不一定準確，但一定是比較好理解的，如果要刨根問底，最好的方式就是看書，且要看權威的書。 一次完整的HTTP請求所經歷的7個步驟 HTTP通信機制是在一次完整的HTTP通信

一次完整的http請求

-s style keep alt transfer rom content -a 以及 一個http請求分為幾部分： 請求行，請求頭，空行，消息體 請求行：請求行是請求消息的第一行，由三部分組成：分別是請求方法（GET/POST/DELETE/PUT/HEAD）、請求資

一次完整的 HTTP 請求過程

net first 直接 orm gin 端口 add static 1.2 一次完整的HTTP請求過程從TCP三次握手建立連接成功後開始，客戶端按照指定的格式開始向服務端發送HTTP請求，服務端接收請求後，解析HTTP請求，處理完業務邏輯，最後返回一個HTTP的響應給客戶

一次 HTTP 請求響應過程的完整解析

將不 十個 動態獲取 完整性 內部 所有權 回退 是我 dns 因特網無疑是人類有史以來最偉大的設計，它互聯了全球數億臺計算機、通訊設備，即便位於地球兩端的用戶也可在頃刻間完成通訊。 可以說『協議』是支撐這麽一個龐大而復雜的系統有條不紊運作的核心，而所謂『協議』就是通訊雙方

一次完整的http請求過程

網關 persist trac 頁面 都沒有 wan 服務器 modified 虛擬機 當我們在瀏覽器的地址欄輸入 www.linux178.com ，然後回車，回車這一瞬間到看到頁面到底發生了什麽呢？ 以下過程僅是個人理解： 域名解析 --> 發

一次完整的HTTP請求需要的步驟（http通訊協議）

<1> web瀏覽器（客戶端）和web應用伺服器建立tcp連線 http協議是tcp/ip 模型中的應用層的協議，是高層的協議。傳輸控制協議TCP位於傳輸層，tcp是建立本地主機和目標主機的會話，只有建立tcp連線，應用層http協議才可以有通道去進行

一次完整的HTTP請求所經歷的步驟

一次完整的HTTP請求所經歷的7個步驟 HTTP通訊機制是在一次完整的HTTP通訊過程中，Web瀏覽器與Web伺服器之間將完成下列7個步驟： 1. 建立TCP連線 在HTTP工作開始之前，Web瀏覽器首先要通過網路與Web伺服器建立連線，該連線是通過TCP來完成的，該協議與IP協議共同構建I

一次完整的HTTP請求是怎樣的

一次完整的HTTP請求過程從TCP三次握手建立連線成功後開始，客戶端按照指定的格式開始向服務端傳送HTTP請求，服務端接收請求後，解析HTTP請求，處理完業務邏輯，最後返回一個HTTP的響應給客戶端，HTTP的響應內容同樣有標準的格式。無論是什麼客戶端或者是什麼服務端，大家只要按照HTTP的協

一次完整的請求

原文:http://igoro.com/archive/what-really-happens-when-you-navigate-to-a-url/  作為一個軟體開發者，你一定會對網路應用如何工作有一個完整的層次化的認知，同樣這裡也包括這些應用所用到的技術：像瀏覽器，HTTP，HTML，網路伺服器，需求處

一次完整的HTTP請求所經歷的7個步驟

1. 建立TCP連線 在HTTP工作開始之前，Web瀏覽器首先要通過網路與Web伺服器建立連線，該連線是通過TCP來完成的，該協議與IP協議共同構建Internet，即著名的TCP/IP協議族，因此Internet又被稱作是TCP/IP網路。HTTP是比TCP更高層次的應用層協議，根據規則，只有低層協議建

一次完整的瀏覽器請求流程

當我們在瀏覽器的位址列輸入 www.linux178.com ，然後回車，回車這一瞬間到看到頁面到底發生了什麼呢？ 整個流程如下： 域名解析 -->發起TCP的3次握手 -->建立TCP連線後發起http請求 -->伺服器響應http請求，瀏覽器得到ht

後端知識體系--一次完整的HTTP請求

這裡講的請求是後端DevOps可以控制的範圍內，不包括DNS解析，層層的路由等等，一切都從請求到達我們自己架設的伺服器開始。 1.與伺服器建立連線 1.1 TCP連線的建立 客戶端的請求到達伺服器，首先就是建立TCP連線 Client首先發

一次HTTP請求的完整過程——協議篇(DNS、TCP、HTTP)

一次 HTTP 請求的完整過程——協議篇 一、大致流程 根據域名和 DNS 解析到伺服器的IP地址 (DNS + CDN) 通過ARP協議獲得IP地址對應的物理機器的MAC地址 瀏覽器對伺服器發起 TCP 3 次握手 建立 TCP 連線後發起 HTTP 請求

NetWork——描述一次完整的網路請求過程

0.  前言從我們在瀏覽器的位址列輸入http://blog.csdn.net/seu_calvin後回車，到我們看到該部落格的主頁，這中間經歷了什麼呢？簡單地回答這個問題，大概是經歷了域名解析、TCP

一次web請求的完整過程

Web 頁面請求過程 1. DHCP 配置主機資訊 假設主機最開始沒有 IP 地址以及其它資訊，那麼就需要先使用 DHCP 來獲取。 主機生成一個 DHCP 請求報文，並將這個報文放入具有目的埠 67 和源埠 68 的 UDP 報文段中。 該報文段

一次完整的HTTP請求與響應都發生了什麼

本篇介紹的是一次完成的http請求都經過了那些步驟,這些步驟相應的作用又是什麼 1.在瀏覽器端輸入網站的url地址 只有知道了一個網站的url地址才能訪問到這個網站 2.瀏覽器查詢快取 瀏覽器會查詢瀏覽器快取,系統快取,路由快取,如果沒有的話 繼續下一步,如果有的