作者：朱金燦

         一個分散式計算系統的硬體應該如何配置？個人愚見，應該根據分散式計算的計算型別來配置。分散式並行處理系統從磁碟I/O角度可以分為弱I/O和強I/O兩種。一般的網際網路大資料分析為弱I/O，這樣儲存可以採用分散式儲存，具體為一個計算節點上掛一個大硬碟，典型例子為阿里雲。架構圖如下：

        上圖展示了Hadoop 系統的分散式儲存和平行計算構架。從硬體體系結構上看，Hadoop 系統是一個運行於普通的商用伺服器叢集的分散式儲存和平行計算系統。叢集中將有一個主控節點用來控制和管理整個叢集的正常執行，並協調管理叢集中各個從節點完成資料儲存和計算任務。每個從節點將同時擔任資料儲存節點和資料計算節點兩種角色，這樣設計的目的主要是在大資料環境下實現儘可能的本地化計算，以此提高系統的處理效能。為了能及時檢測和發現叢集中某個從節點發生故障失效，主控節點採用心跳機制（Heartbeat）定期檢測從節點，如果從節點不能有效迴應心跳資訊，則系統認為這個從節點失效

       下面具體談談強I/O的，強I/O的業務有遙感影象處理等。強I/O對網速和磁碟定址速度的要求很高。一般採用這樣的系統架構，採用集中式儲存，底層為san磁碟陣列，通過san交換機和計算伺服器相連，各個計算伺服器通過萬兆乙太網交換機相連，這樣形成兩個網路：儲存網路和計算網路。硬體架構圖如下：

        上圖展示了強I/O型別的分散式計算的硬體架構。可以看到這種架構形成了三層網路，首先是儲存陣列和計算節點基於資料儲存形成了儲存網路，然後各個計算節點基於管理的需要（如新增和刪除節點）形成了管理網路，計算節點基於分散式計算的需要形成了計算網路（主要用於計算過程中的資料傳輸）。

參考文獻：