兩個系統中實體間的通訊是一個很複雜的過程，為了降低協議設計和除錯過程的複雜性，也為了便於對網路進行研究、實現和維護，促進標準化工作，通常對計算機網路的體系結構以分層的方式進行建模。
我們把計算機網路的各層及其協議的集合稱為網路的體系結構（Architecture）。換言之，計算機網路的體系結構就是這個計算機網路及其所完成的功能的精確定義，它是計算機網路中的層次，各層的協議及其層間介面的集合。需要強調的是，這些功能究竟是用何種硬體和軟體完成的，則是一個遵循這種體系結構的實現（implementation）問題。體系 結構是抽象的，而實現是具體的，是真正在執行的計算機硬體和軟體。
計算機網路的體系結構通常都具有可分層的特性，將複雜的大系統分成若干較容易實現的層次。分層的基本原則是：
1）每一層都實現一種相對獨立的功能，降低大系統的複雜度。
2）各層之間介面自然清新，易於理解，相互之間交流盡可能少。
3）各層功能的精確定義獨立於具體的實現方法，可以採用最合適的技術來實現。
4）保持下層對上層的獨立性，上層單向使用下層提供的服務。
5）整個分層結構應能促進標準化工作。
由於分層後各層之間相互獨立，靈活性好，因而分層的體系結構易於更新（替換單個模組），易於除錯，易於交流，易於抽象，易於標準化。但層次越多，有些功能在不同層中難免重複出現，產生了額外的開銷，整體執行效率就越低。而層次越少，就會使每個層之間的協議太複雜。因此，在分層時應考慮層次的清晰程度與執行效率間的折中、層次數量的折中。
依據一定的規則，將分層後的網路從低層到高層依次稱為第1層、第2層……第n層，通常還為每一層取一個特定的名稱，如第一層的名稱為物理層。
在計算機網路的分層結構中，第n層中的活動元素通常稱為n層實體

。具體地，實體指任何可傳送或接受資訊的硬體或軟體程序，通常是一個特定的軟體模組。不同機器上同一層稱為對等層，同一層的實體叫做對等實體。n層實體實現的服務為n+1層所用。在這種情況下，n層被稱為服務提供者，n+1層是服務使用者。
每一層還有自己傳送的資料單位，其名稱、大小、含義也各有不同。
服務資料單元（SDU）：為完成使用者所要求的功能而傳送的資料。第n層的服務資料單元記為n-SDU。
協議控制資訊（PCI）：控制協議操作的資訊。第n層的協議控制資訊記為n-PCI.
協議資料單元（PDU）:對等層次之間傳送的資料單元稱為該層的PDU。第n層的協議資料單元記為n-PDU。在實際的網路中，各層的協議資料單元都有一個通俗的名稱，如物理層的PDU叫位元，鏈路層的PDU叫幀，網路層的PDU叫分組，傳輸層的PDU叫報文。
在各層間傳輸資料時，把從第n+1層收到的PDU作為第n層的SDU，加上第n層的PCI，就變成了第n的層的PDU，交給第n-1層後作為SDU傳送，接受黨接受時做相反的處理，故可知三者的關係為：n-SDU+n-PCI=n-PDU=(n-1)-SDU。
層次結構的含義包含以下幾個方面：
1）第n層的實體不僅要使用第n-1層的服務，實現自身定義的功能，還要向第n+1層提供本層的服務，該服務是第n層及其下面各層提供的服務總和。
2）最底層只提供服務，是整個層次結構的基礎：中間各層既是下一層的服務使用者，又是上一層的服務提供者；最高層面向用戶提供服務。
3）上一層只能通過相鄰間的介面使用下一層的服務，而不能呼叫其他層的服務；下一層提供服務的實現細節對上一層透明。
4）兩個主機通訊時，對等層在邏輯上有一條直接通道，表現為不經過下層就把資訊傳送到對方。