hadoop技術產生
阿新 • • 發佈:2017-12-31
style 瓶頸 無法 class 商業 nbsp cor 智能 大量
一、為什麽有大數據
我的理解是:
1)數據量達到了傳統數據庫的瓶頸
2)數據量的激增
3)硬件成本的降低 [ 技術水平的上升 ]
4)想通過大量的數據發現潛在的商業價值
二、什麽是大數據
大數據指的是:無法在可承受時間內用常規的軟件工具 [ 傳統數據庫 ] 對其內容進行抓取、管理和處理的數據集合。也可以理解為 大數據=“海量的數據”+“復雜的數據類型”
三、大數據的技術框架
Hadoop相關的技術
計算框架:MapReduce
資源管理:YARN
存儲依賴:HDFS
數據采集:Flume
數據的緩存:Kafka
離線處理:Hive
實時處理:Storm、HBase
協調者:ZooKeeper
... ...
Spark相關的技術
Spark Core
Spark SQL
Spark Streaming
Spark MLlib
Graphx
四、大數據的作用及前景
作用:海量數據的存儲,挖掘數據潛在的商業價值,精準營銷,路況分析等
前景:智能家居,遠程教育(貧困山區),遠程醫療等
hadoop技術產生