1. 程式人生 > >大資料分析處理必備工具

大資料分析處理必備工具

大資料技術,就是從各種型別的資料中快速獲得有價值資訊的技術。大資料領域已經湧現出了大量新的技術,它們成為大資料採集、儲存、處理和展現的有力武器。

一、大資料接入
  1、大資料接入
      已有資料接入、實時資料接入、檔案資料接入、訊息記錄資料接入、文字資料接入、圖片資料接入、視屏資料接入
  2、大資料接入技術
      Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp
二、大資料儲存
  1、大資料儲存
      結構化資料儲存、半結構化資料儲存、非結構化資料儲存
  2、大資料儲存技術
      Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch
三、資料分析挖掘
  1、大資料分析與挖掘
      離線分析、準實時分析、實時分析、圖片識別、語音識別、機器學習
  2、大資料分析與挖掘技術
      MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib
      資料的分析離不開各種資料庫客戶端工具,例如P/L SQL, 查詢分析器,Navicat, shell等,客戶端工具繁多,安裝繁瑣,
      使用基於Web的TreeSoft資料庫管理系統,可以同時連線MySQL,Oracle,PostgreSQL, SQL Server, MongoDB, Hive,十分方便。
      使用基於Web的工具有個好處是:一次佈署,到處使用,省時省力。

四、大資料共享交換
   1、大資料共享交換
      資料接入、資料清洗、轉換、脫敏、脫密、資料資產管理、資料匯出
      資料接入後,通常是存入資料庫中,以便於進行分析、清洗、轉換、脫敏等處理,而這些操作都離不開資料視覺化客戶端工具。
      海量大資料需分批次,分任務,分時段進行處理,TreeSoft資料庫管理系統提供了資料定時任務管理,資料交換同步任務管理,
      任務統一管理,執行進度展示,處理日誌檢視等,十分強大,是大資料處理的好工具。

  2、大資料共享交換技術
      Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service


五、大資料展現
   1、大資料展現
      圖化展示(散點圖、折線圖、柱狀圖、地圖、餅圖、雷達圖、K線圖、箱線圖、熱力圖、關係圖、矩形樹圖、平行座標、桑基圖、漏斗圖、儀表盤),文字展示;
2、大資料展現技術
      Echarts、Tableau,TreeSoft資料庫管理系統將SQL查詢結果直接以圖表展示,快速展現分析結果。