hadoop介紹

Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下，開發分散式程式。充分利用叢集的威力進行高速運算和儲存。Hadoop實現了一個分散式檔案系統（ Distributed File System），其中一個元件是HDFS（Hadoop Distributed File System）。HDFS有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量（high throughput）來訪問應用程式的資料，適合那些有著超大資料集（large data set）的應用程式。HDFS放寬了POSIX的要求，可以以流的形式訪問（streaming access）檔案系統中的資料。

• Hadoop作用
  Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的資料提供了儲存，而MapReduce則為海量的資料提供了計算 。HDFS仍然是現在分散式儲存的核心元件，但是mapreduce因為早期的計算與儲存設計的不足，被現在更廣泛的spark或者其他計算引擎所替代，但是其核心仍然是借鑑了map與reduce思想。