Hadoop叢集硬體標準配置
阿新 • • 發佈:2019-01-11
在我們選擇硬體的時候,往往需要考慮應用得到的效能和經費開支。為此,我們必須在滿足實際需要和經濟可行上找到一個完美的平衡。下面,以Hadoop叢集應用為了例子,說明需要考慮的要素。
1. I/O繫結的工作負荷。
Hadoop涉及到的I/O操作,主要包括下列幾項:
- 索引(Indexing)
- 群化(Grouping)
- 資料匯入和匯出(Data importing and exporting)
- 資料移動和轉換(Data movement and transformation)
2. CPU繫結的工作負荷
Hadoop中,作業的執行,需要CPU的持續運作。下面列舉了幾個方面:
- 叢集處理(Clustering/Classification)
- 複雜的文字挖掘Complex text mining
- 自然語言的處理(Natural-language processing)
- 特殊功能的提取(Feature extraction)
- 12-24
1-4TB硬碟(批量的磁碟)
- 2 quad-/hex-/octo-core CPUs, 執行頻率至少2-2.5GHz
- 64-512GB of RAM(記憶體)
- 繫結Gigabit Ethernet(千兆網路,更多的儲存密度,需要更高的網路輸入的需要)
- 3-6 1TB硬碟(批量的磁碟)
- 2 quad-/hex-/octo-core CPUs, 執行頻率至少2-2.5GHz
- 64-512GB of RAM(記憶體)
- 繫結Gigabit Ethernet(千兆網路,更多的儲存密度,需要更高的網路輸入的需要)
其實,根據業務來劃分硬體的配置,在引數上稍微有點區別。從上面的配置可以看出,資料儲存需要的硬碟容量比較大。可見,考慮真實的業務需求是有必要的。可能規模小一點的,配置稍微弱一點也是可以的。以上引數,僅供參考而已。
God could not be everywhere and therefore he made mothers.(嘻嘻,親愛的媽媽,母親節快樂!)
歡迎加入微信公眾號