1. 程式人生 > >hadoop技術產生

hadoop技術產生

style 瓶頸 無法 class 商業 nbsp cor 智能 大量

一、為什麽有大數據

  我的理解是:

     1)數據量達到了傳統數據庫的瓶頸

     2)數據量的激增

     3)硬件成本的降低 [ 技術水平的上升 ]

     4)想通過大量的數據發現潛在的商業價值

二、什麽是大數據

  大數據指的是:無法在可承受時間內用常規的軟件工具 [ 傳統數據庫 ] 對其內容進行抓取、管理和處理的數據集合。也可以理解為 大數據=“海量的數據”+“復雜的數據類型”

三、大數據的技術框架

  Hadoop相關的技術    

    計算框架:MapReduce

    資源管理:YARN

    存儲依賴:HDFS

    數據采集:Flume

    數據的緩存:Kafka

    離線處理:Hive

    實時處理:Storm、HBase

    協調者:ZooKeeper

    ... ...

  Spark相關的技術

    Spark Core

    Spark SQL

    Spark Streaming

    Spark MLlib

    Graphx

四、大數據的作用及前景

    作用:海量數據的存儲,挖掘數據潛在的商業價值,精準營銷,路況分析等

     前景:智能家居,遠程教育(貧困山區),遠程醫療等

hadoop技術產生