1. 程式人生 > >Hadoop初體驗(一)

Hadoop初體驗(一)

大資料:資料集的大小超過了現有典型的資料庫軟體和工具處理的能力。於此同時,為了滿足資料的捕捉、儲存、聚合、管理這些大資料以及對資料的深度分析的技術,誕生出來一些處理大資料的架構。Hadoop就是一個典型而又很好的產物。他是Apache基金會所開發的分散式系統基礎架構。(免費!!)


Hadoop 產生:為了解決Nutch的海量資料抓取和儲存的需要。


Hadoop的核心分為:HDFS、MapReduce。


對比——

單臺關係型資料庫---優:多儲存,擴充套件了容量和計算能力;

缺:計算、儲存分離,存在競爭和頻寬的瓶頸;支援資料有限,擴充套件性低。

Hadoop叢集--- 優:計算與儲存融合,更好的擴充套件性;

缺:資料衝突,需要節點協作。