信管知識梳理（二）常規資訊系統整合技術（網路協議、網路儲存技術、網路工程、資料倉庫和中介軟體）
一、網路標準與網路協議
1.1 OSI 網路七層架構
國際標準化組織（ISO）提出的網路體系結構模型，也叫做開發系統互連參考模型（OSI/RM）,通常叫做OSI參考模型。如下圖所示：
-
物理層、資料鏈路層、網路層：統稱為通訊子網。是為了聯網而附加的通訊裝置完成資料的傳輸功能。
-
應用層、表示層、會話層：統稱為資源子網。相當於計算機系統，完成資料的處理功能
-
傳輸層：承上啟下通訊子網和資源子網
各層從下到上具體內容如下：
| 層 | 功能描述 | 資料單位 | 典型協議和標準 |
|---|---|---|---|
| 物理層 | 物理的連線網路媒介 | 位元（bit） | EIA-232C、EIA/TIA RS-449、RJ-45、FDDI |
| 資料鏈路層 | 控制網路層與物理層之間的通訊 | 幀 | SDLC（同步資料鏈路控制）、HDLC（高階資料鏈路控制）、PPP（點對點協議）、STP（生成樹協議）和幀中繼、IEEE802、ATM |
| 網路層 | 將網路地址翻譯層對應的實體地址 | 資料報 | IP、IPX（網際網路資料報交換協議）、ICMP（控制報文協議）、IGMP（網路組管理協議）、ARP（地址轉換協議）、RARP、OSPF |
| 傳輸層 | 負責確保資料可靠傳輸 | 資料段 | TCP、UDP、SPX（序列分組交換協議） |
| 會話層 | 建立和維持通訊 | RPC（遠端過程呼叫） | |
| 表示層 | 應用程式和網路之間的翻譯官 | JPEG、ASCII、HTML等 | |
| 應用層 | 負責對軟體提供介面以使程式能使用網路服務 | Telnet、FTP、HTTP |
1.2 TCP/IP 模型
TCP/IP 模型由於得到廣泛應用而成為實際上的國際標準。模型從低到高一次為網路介面層、網際層、傳輸層和應用層。兩個模型對比如下圖所示：
TCP/IP 模型的具體內容如下表所示：
| 層 | 描述 | 任務 | 協議 |
|---|---|---|---|
| 應用層 | 提供系統與使用者的介面 | 1.檔案傳輸 2.訪問和管理 3.電子郵件服務 |
FTP、SMTP、POP3、HTTP |
| 傳輸層 | 負責主機中兩個程序之間的通訊 | 1.為端到端連線提供可靠的傳輸服務 2.為端到端連線提供流量控制、差錯控制、服務質量等管理服務 |
TCP、UDP、ARQ |
| 網路層 | 將傳輸層傳下來的報文段封裝成分組;選擇適當的路由，使傳輸層傳下來的分組能夠交付到目的主機 | 1.為傳輸層提供服務 2.組包和拆包 3.路由選擇 4.擁塞控制 |
ICMP、ARP、RARP、IP、IGMP |
| 資料鏈路層 | 將網路層傳下來的IP資料包組裝成幀 | 1.鏈路連線的建立、拆除、分離 2.幀定界和幀同步 3.差錯檢測 |
PPP、HDLC |
| 物理層 | 透明地傳輸位元流 | 為資料端裝置提供傳輸資料通路 | RJ-45、FDDI等 |
1.3 網路裝置
每個層都有其對應的實現硬體，如下表所示：
| 網路裝置 | 工作層次 | 主要功能 |
|---|---|---|
| 中繼器 | 物理層 | 對接收到的訊號進行再生和傳送，只起到擴充套件傳輸距離用 |
| 集線器 | 物理層 | 多埠中繼器 |
| 網橋 | 資料鏈路層 | 連線相同MAC層的網路，根據幀實體地址進行網路之間的資訊轉發。 |
| 交換機 | 資料鏈路層 | 多埠網橋 |
| 路由器 | 網路層 | 連線相同網路層協議的子網，通過邏輯地址進行網路之間的資訊轉發 |
| 閘道器 | 網路層以上 | 在網路層以上實現網路互連，引用於兩個高層協議不同的網路連線 |
1.4 常見的協議及標準
-
IP 協議：網路層的核心協議，在源地址和目的地址間傳送一個數據包，此外還提供對資料大小的重新組裝功能，適應不同網路對包大小的要求。
-
ICMP(Internet Control Message Protocol)：Internet 控制報文協議，用在IP主機、路由器之間傳遞控制訊息（指網路、主機、路由等是否可達的網路本身訊息）
-
ARP(Address Resolution Protocol)：地址解析協議，根據IP地址獲取實體地址
-
RARP(Reverse Address Resolution Protocol)：反向地址轉換協議，通過實體地址獲取IP地址
-
TCP(Transmission Control Protocol)：傳輸控制協議，面向連線、可靠的、基於位元組流的傳輸層通訊協議
-
UDP(User Datagram Protocol)：使用者資料報協議，無連線的處理資料報
-
FTP(File Transfer Protocol)：檔案傳輸協議，用於Internet 上的控制檔案的雙向傳輸
-
TFTP(Trivial File Transfer Protocol)：相對於FTP而言，它提供不復雜、開銷不大的檔案傳輸服務
-
Telent：它是Internet 遠端登入服務的標準協議和主要方式。為使用者提供了在本地計算機上完成遠端主機工作的能力。
-
DNS(Domain Name System,)：域名系統。域名和IP地址相互對映的一個分散式資料庫
-
SMTP(Simple Mail Transfer Protocol)：簡單郵件傳輸協議，控制信件的中轉方式，幫助每臺計算機在傳送或中轉信件時找到下一個目的地。
-
SNMP：簡單網路管理協議，該協議能夠支援網路管理系統，用以檢測連線到網路上的裝置是否有任何引起管理上關注的情況。
-
DHCP(Dynamic Host Configuration Protocol)：動態主機配置協議，建立在UDP之上，動態分配IP 地址
-
乙太網規範 IEEE802.3區域網協議：
-
IEEE 802.3 標準乙太網 10Mb/s 傳輸截至為細同軸電纜
-
IEEE 802.3U 快速乙太網 100Mb/s 雙絞線
-
IEEE 802.3Z 千兆乙太網 1000Mb/s 光纖或雙絞線
-
IEEE 802.3ae 萬兆乙太網 10Gb/s 光纖
-
IEEE 802.11 無線區域網WLAN技術標準
- 廣域網協議：
-
PPP點對點協議
-
ISDN綜合業務數字王
-
xDSL（包括HDSL、SDSL、ADSL、MVL）
-
DDN數字專線
-
x.25
-
FR幀中繼
-
ATM 非同步傳輸模式
二、網路儲存技術
主流的網路儲存技術重要有三種：分別是直接附加儲存（DAS）、網路附加儲存（NAS）和儲存區域網路（SAN）
-
DAS（Direct-Attached Storage）:
儲存裝置直接通過SCSI(小型計算機系統介面)、FC(網狀通道技術)連線到應用伺服器上，此時儲存裝置是整個伺服器結構的一部分
-
NAS（Network-Attached Storage）
儲存裝置通過光纖交換機連線伺服器，建立專用資料儲存的儲存私網。有專用的檔案伺服器，支援即插即用。
-
SAN（Storage Area Network）
通過各種網路技術（TCP/IP、ATM、FDDI）將儲存系統和伺服器進行連線來建立儲存私網。直接通過乙太網和塊（block）級別儲存。
三、網路規劃、設計與實施
網路工程主要可以分為網路規劃、網路設計和網路實施三個大階段。我們主要談前兩個階段。
-
網路規劃包括網路的需求分析、可行性分析和對現有網路的分析與描述；
-
網路設計主要包括確定網路總體目標和設計原則;
3.1 網路分層設計模型
在分層設計中，主要有三個關鍵層，分別是核心層、匯聚層和接入層
-
接入層：這一層指的是直接面向用戶連線或者訪問網路的部分，目的是允許終端使用者連線到網路中。
-
匯聚層：是位於接入層和核心層的部分，這個部分完成網路訪問策略控制、資料爆出裡、過濾、定址，以及其他資料處理任務。需要更高的效能，更少的介面和更高的交換速率（存在與否取決於網路規模大小）
-
核心層：主要目的在於通過高速轉發通訊，提供優化、可靠的骨幹傳輸結構，因此，核心層交換機應擁有更高的可靠性，效能和吞吐量。（設計時考慮網路規模大小 、傳輸資訊的種類和可投入的資金因素）
3.2 網路系統的設計階段
設計工作主要包括：
-
網路拓撲結構設計
-
主幹網路設計
-
匯聚層和接入層設計
-
廣域網連線與遠端訪問設計
-
無線網路設計
-
網路安全設計
-
裝置選型
3.2.1 廣域網連線與遠端訪問設計
-
如果網路使用者沒有WWW、E-mail等具有Internet 功能的伺服器，使用者可以採用ISDN或者ADSL等技術連線外網
-
若使用者有Internet功能的伺服器，使用者可採用DDN 專線連線、ATM交換以及永久虛電路連線外網
3.2.2 無線網路設計
無線網路是為了解決優先網路無法克服的困難，如很難佈線或者經常需要變動佈線結構的地方。
3.3 綜合佈線系統（網路實施）
如上圖所示，主要有這樣幾個子系統：
-
建築群子系統：實現建築物之間的相互連線，介質通常是光纜
-
垂直幹線子系統：連線管理間子系統到裝置間子系統，使用光纜或者UTP
-
水平配線子系統：實現資訊插座和管理子系統的連線
-
裝置間子系統：主要由裝置中的電纜、聯結器和相關支撐裝置組成，與公共系統裝置相連
-
管理子系統：為連線其他子系統提供連線手段，由配線架、HUB和機櫃、電源等組成
-
工作區子系統：由終端裝置連線到資訊插座的連線組成。包括聯結器和介面卡
四、資料倉庫技術
為什麼每個資訊系統中已經存在資料庫，為啥還要提出資料倉庫呢？這就要說說資料倉庫的由來了，隨著資料庫業務資料量指數級的增長，管理層需要對資料庫的資料進行整體分析，而這個時候這種資料很難從原有資料庫中分析提取出來，所以需要設計一個專門面向分析用的資料庫，而這就是資料倉庫（Data Warehouse）。
4.1 資料倉庫概念
資料倉庫（Data Warehouse）是個面向主題、整合的、非易失性的、且隨時間變化的資料集合，主要用於支援管理決策。資料庫用於事務處理，資料倉庫是資料資源池，主要用於挖掘資料價值做分析決策。
資料倉庫實際上是資料庫概念的升級，與資料庫主要有以下區別：
-
面向主題：業務型資料庫是為了支撐各種業務建立的，而分析型資料庫則是為了對各種繁雜業務中抽象出來的分析主題（比如使用者、成本、商品）進行分析而建立的
-
整合性：指資料倉庫會將不同源資料庫中的資料彙總到一起
-
相對穩定（非易失）：業務型資料庫的資料通常是實時更新的。而資料倉庫中的資料主要是提供企業決策分析之用，所涉及的資料操作主要是資料查詢，通常只需要定期載入、重新整理等操作
-
反映歷史變化：業務型資料庫主要關心當前某一個時間段內的資料，而資料倉庫中的資料通常包含企業從過去某一時刻到當前各個階段的資訊，相對來說跨度比較長。
4.2 資料倉庫結構
如上圖所示，資料倉庫通常包含4個層次，分別是資料來源、資料儲存、OLAP引擎和前端工具
4.2.1 資料來源
資料來源包括企業內部和外部各種資料庫，這些源資料庫既為業務系統提供資料支撐，同時也作為資料倉庫的資料來源
4.2.2 資料儲存
資料儲存中也包括資料的管理，ETL分別代表提取(extraction)、轉換(transformation)和載入(load)。針對現有各業務系統的資料通過ETL按主題進行組織，也就是一個個主題的資料集市。資料集市分為兩種，一種是獨立資料集市(independent data mart)，這類資料集市有自己的源資料庫和ETL架構；另一種是非獨立資料集市(dependent data mart)，這種資料集市沒有自己的源系統，它的資料來自於資料倉庫。
4.2.3 OLAP服務引擎
OLAP(On-Line Analytical Processiong)聯機分析處理，指對分析需要的資料進行有效整合，按照多維模型組織，以便進行多角度、多層次的分析，並發現其中的趨勢。
4.2.4 前端工具
主要包括各種報表工具、查詢工具、資料分析工具、資料探勘工具等應用開發工具。其中的資料分析工具主要針對於OLAP伺服器，報表工具和資料探勘工具主要針對資料倉庫。
五、資料探勘
資料探勘（Knowlegdg Discovery in Database）指利用統計學、數學和人工智慧技術等在大量資料中發現並提取有效資訊和相關知識的過程。核心技術主要包括分類、聚類、預測和關聯分析等任務。通過這些方式，我們可以從資料倉庫中得到想要的資料，比如商業報告等。
六、商業智慧
商業智慧（Business Intelligence）基本包括三個部分：資料倉庫、聯機分析處理（OLAP）和資料探勘。
商業智慧系統應具有的主要功能：
-
資料倉庫
-
資料ETL：要求能自動地根據描述或者規則進行資料查詢和理解
-
資料統計輸出（報表）：報表能快速地完成資料統計的設計和展示
-
分析功能：可以通過業務規則形成分析內容，並且展示樣式豐富，具有一定的互動要求
七、中介軟體技術
7.1 中介軟體概念
中介軟體是介於應用系統和系統軟體之間的一類軟體，比如 JVM。同時中介軟體也是一種獨立的系統軟體或服務程式，分散式應用軟體藉助這種軟體在不同的技術之間共享資源。中介軟體位於客戶機伺服器的作業系統之上，管理計算資源和網路通訊。
7.2 中介軟體型別
按照中介軟體的層次上來劃分，主要有底層型、通用型和整合型三個層次：
7.2.1 底層型中介軟體
主流的有 JVM（Java 虛擬機器）、CLR（微軟公共語言執行庫）、JDBC（資料庫連線）和 OOBC（開放資料庫互連）
7.2.2 通用型中介軟體
主流的有CORBA（公共物件請求代理體系結構，底層傳輸層整合）、J2EE（不同硬體和作業系統整合）、MOM（面向訊息的中介軟體）和COM等等，代表產品主要有WebLogic和IBM MQSeries等。
7.2.3 整合型中介軟體
主流的有 WorkFlow 和 EAI（企業應用整合）等，代表產品主要有 BEA WebLogic 和 IBM WebSphere等等。
因此對於不同層次的整合，可以對應採用不同的技術和產品：
-
為了完成系統底層傳輸層的整合，可以採用CORBA技術
-
為了完成不同系統的訊息傳遞，可以採用訊息中介軟體產品
-
為了完成不同硬體和作業系統的整合，可以採用J2EE中介軟體產品