2. 程式人生 > >一文學會目前最火熱的大數據技術

一文學會目前最火熱的大數據技術

阿新 • • 發佈：2018-10-23
pac 相關 asi visual 導入 module 經緯 手動 apt

歡迎大家前往騰訊雲+社區，獲取更多騰訊海量技術實踐幹貨哦~

本文由michelmu發表於雲+社區專欄

Elasticsearch是當前主流的分布式大數據存儲和搜索引擎，可以為用戶提供強大的全文本檢索能力，廣泛應用於日誌檢索，全站搜索等領域。Logstash作為Elasicsearch常用的實時數據采集引擎，可以采集來自不同數據源的數據，並對數據進行處理後輸出到多種輸出源，是Elastic Stack 的重要組成部分。本文從Logstash的工作原理，使用示例，部署方式及性能調優等方面入手，為大家提供一個快速入門Logstash的方式。文章最後也給出了一些深入了解Logstash的的鏈接，以方便大家根據需要詳細了解。

技術分享圖片Logstash簡介

1 Logstash工作原理

1.1 處理過程

技術分享圖片Logstash處理過程

如上圖，Logstash的數據處理過程主要包括：Inputs, Filters, Outputs 三部分， 另外在Inputs和Outputs中可以使用Codecs對數據格式進行處理。這四個部分均以插件形式存在，用戶通過定義pipeline配置文件，設置需要使用的input，filter，output, codec插件，以實現特定的數據采集，數據處理，數據輸出等功能

  • （1）Inputs：用於從數據源獲取數據，常見的插件如file, syslog, redis, beats 等[詳細參考]
  • （2）Filters：用於處理數據如格式轉換，數據派生等，常見的插件如grok, mutate, drop, clone, geoip等[詳細參考]
  • （3）Outputs：用於數據輸出，常見的插件如elastcisearch，file, graphite, statsd等[詳細參考]
  • （4）Codecs：Codecs不是一個單獨的流程，而是在輸入和輸出等插件中用於數據轉換的模塊，用於對數據進行編碼處理，常見的插件如json，multiline[詳細參考]

可以點擊每個模塊後面的詳細參考鏈接了解該模塊的插件列表及對應功能

1.2 執行模型：

  • （1）每個Input啟動一個線程，從對應數據源獲取數據
  • （2）Input會將數據寫入一個隊列：默認為內存中的有界隊列（意外停止會導致數據丟失）。為了防止數丟失Logstash提供了兩個特性： Persistent Queues：通過磁盤上的queue來防止數據丟失 Dead Letter Queues：保存無法處理的event（僅支持Elasticsearch作為輸出源）
  • （3）Logstash會有多個pipeline worker, 每一個pipeline worker會從隊列中取一批數據，然後執行filter和output（worker數目及每次處理的數據量均由配置確定）

2 Logstash使用示例

2.1 Logstash Hello world

第一個示例Logstash將采用標準輸入和標準輸出作為input和output，並且不指定filter

  • （1）下載Logstash並解壓（需要預先安裝JDK8）
  • （2）cd到Logstash的根目錄，並執行啟動命令如下： 
    cd logstash-6.4.0
    bin/logstash -e ‘input { stdin { } } output { stdout {} }‘
  • （3）此時Logstash已經啟動成功，-e表示在啟動時直接指定pipeline配置，當然也可以將該配置寫入一個配置文件中，然後通過指定配置文件來啟動
  • （4）在控制臺輸入：hello world，可以看到如下輸出： 
    {
    "@version" => "1",
    "host" => "localhost",
    "@timestamp" => 2018-09-18T12:39:38.514Z,
    "message" => "hello world"
    }

Logstash會自動為數據添加@version, host, @timestamp等字段

在這個示例中Logstash從標準輸入中獲得數據，僅在數據中添加一些簡單字段後將其輸出到標準輸出。

2.2 日誌采集

這個示例將采用Filebeat input插件(Elastic Stack中的輕量級數據采集程序)采集本地日誌，然後將結果輸出到標準輸出

  • （1）下載示例使用的日誌文件[地址]，解壓並將日誌放在一個確定位置
  • （2）安裝filebeat，配置並啟動[參考]

filebeat.yml配置如下（paths改為日誌實際位置，不同版本beats配置可能略有變化，請根據情況調整）

    filebeat.prospectors:
    - input\_type: log
        paths:
            - /path/to/file/logstash-tutorial.log 
    output.logstash:
        hosts: "localhost:5044"

啟動命令： 

    ./filebeat -e -c filebeat.yml -d "publish"
  • （3）配置logstash並啟動

1）創建first-pipeline.conf文件內容如下（該文件為pipeline配置文件，用於指定input，filter, output等）：

    input {
        beats {
            port => "5044"
        }
    }
    #filter {
    #}
    output {
        stdout { codec => rubydebug }
    }

codec => rubydebug用於美化輸出[參考]

2）驗證配置（註意指定配置文件的路徑）：

    ./bin/logstash -f first-pipeline.conf --config.test_and_exit

3）啟動命令：

    ./bin/logstash -f first-pipeline.conf --config.reload.automatic

--config.reload.automatic選項啟用動態重載配置功能

4）預期結果：

可以在Logstash的終端顯示中看到，日誌文件被讀取並處理為如下格式的多條數據 

    {
        "@timestamp" => 2018-10-09T12:22:39.742Z,
            "offset" => 24464,
          "@version" => "1",
        "input_type" => "log",
              "beat" => {
                "name" => "VM_136_9_centos",
            "hostname" => "VM_136_9_centos",
             "version" => "5.6.10"
        },
              "host" => "VM_136_9_centos",
            "source" => "/data/home/michelmu/workspace/logstash-tutorial.log",
           "message" => "86.1.76.62 - - [04/Jan/2015:05:30:37 +0000] \"GET /style2.css HTTP/1.1\" 200 4877 \"http://www.semicomplete.com/projects/xdotool/\" \"Mozilla/5.0 (X11; Linux x86_64; rv:24.0) Gecko/20140205 Firefox/24.0 Iceweasel/24.3.0\"",
              "type" => "log",
              "tags" => [
            [0] "beats_input_codec_plain_applied"
        ]
    }

相對於示例2.1，該示例使用了filebeat input插件從日誌中獲取一行記錄，這也是Elastic stack獲取日誌數據最常見的一種方式。另外該示例還采用了rubydebug codec 對輸出的數據進行顯示美化。

2.3 日誌格式處理

可以看到雖然示例2.2使用filebeat從日誌中讀取數據，並將數據輸出到標準輸出，但是日誌內容作為一個整體被存放在message字段中，這樣對後續存儲及查詢都極為不便。可以為該pipeline指定一個grok filter來對日誌格式進行處理

  • （1）在first-pipeline.conf中增加filter配置如下 
    input {
        beats {
            port => "5044"
        }
    }
    filter {
        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}"}
        }
    }
    output {
        stdout { codec => rubydebug }
    }
  • （2）到filebeat的根目錄下刪除之前上報的數據歷史(以便重新上報數據),並重啟filebeat 
    sudo rm data/registry
    sudo ./filebeat -e -c filebeat.yml -d "publish"
  • （3）由於之前啟動Logstash設置了自動更新配置，因此Logstash不需要重新啟動，這個時候可以獲取到的日誌數據如下： 
    {
            "request" => "/style2.css",
              "agent" => "\"Mozilla/5.0 (X11; Linux x86_64; rv:24.0) Gecko/20140205 Firefox/24.0 Iceweasel/24.3.0\"",
             "offset" => 24464,
               "auth" => "-",
              "ident" => "-",
         "input_type" => "log",
               "verb" => "GET",
             "source" => "/data/home/michelmu/workspace/logstash-tutorial.log",
            "message" => "86.1.76.62 - - [04/Jan/2015:05:30:37 +0000] \"GET /style2.css HTTP/1.1\" 200 4877 \"http://www.semicomplete.com/projects/xdotool/\" \"Mozilla/5.0 (X11; Linux x86_64; rv:24.0) Gecko/20140205 Firefox/24.0 Iceweasel/24.3.0\"",
               "type" => "log",
               "tags" => [
            [0] "beats_input_codec_plain_applied"
        ],
           "referrer" => "\"http://www.semicomplete.com/projects/xdotool/\"",
         "@timestamp" => 2018-10-09T12:24:21.276Z,
           "response" => "200",
              "bytes" => "4877",
           "clientip" => "86.1.76.62",
           "@version" => "1",
               "beat" => {
                "name" => "VM_136_9_centos",
            "hostname" => "VM_136_9_centos",
             "version" => "5.6.10"
        },
               "host" => "VM_136_9_centos",
        "httpversion" => "1.1",
          "timestamp" => "04/Jan/2015:05:30:37 +0000"
    }

可以看到message中的數據被詳細解析出來了

2.4 數據派生和增強

Logstash中的一些filter可以根據現有數據生成一些新的數據，如geoip可以根據ip生成經緯度信息

  • （1）在first-pipeline.conf中增加geoip配置如下 
    input {
        beats {
            port => "5044"
        }
    }
     filter {
        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}"}
        }
        geoip {
            source => "clientip"
        }
    }
    output {
        stdout { codec => rubydebug }
    }
  • （2）如2.3一樣清空filebeat歷史數據，並重啟
  • （3）當然Logstash仍然不需要重啟，可以看到輸出變為如下： 
    {
            "request" => "/style2.css",
              "agent" => "\"Mozilla/5.0 (X11; Linux x86_64; rv:24.0) Gecko/20140205 Firefox/24.0 Iceweasel/24.3.0\"",
              "geoip" => {
                  "timezone" => "Europe/London",
                        "ip" => "86.1.76.62",
                  "latitude" => 51.5333,
            "continent_code" => "EU",
                 "city_name" => "Willesden",
              "country_name" => "United Kingdom",
             "country_code2" => "GB",
             "country_code3" => "GB",
               "region_name" => "Brent",
                  "location" => {
                "lon" => -0.2333,
                "lat" => 51.5333
            },
               "postal_code" => "NW10",
               "region_code" => "BEN",
                 "longitude" => -0.2333
        },
             "offset" => 24464,
               "auth" => "-",
              "ident" => "-",
         "input_type" => "log",
               "verb" => "GET",
             "source" => "/data/home/michelmu/workspace/logstash-tutorial.log",
            "message" => "86.1.76.62 - - [04/Jan/2015:05:30:37 +0000] \"GET /style2.css HTTP/1.1\" 200 4877 \"http://www.semicomplete.com/projects/xdotool/\" \"Mozilla/5.0 (X11; Linux x86_64; rv:24.0) Gecko/20140205 Firefox/24.0 Iceweasel/24.3.0\"",
               "type" => "log",
               "tags" => [
            [0] "beats_input_codec_plain_applied"
        ],
           "referrer" => "\"http://www.semicomplete.com/projects/xdotool/\"",
         "@timestamp" => 2018-10-09T12:37:46.686Z,
           "response" => "200",
              "bytes" => "4877",
           "clientip" => "86.1.76.62",
           "@version" => "1",
               "beat" => {
                "name" => "VM_136_9_centos",
            "hostname" => "VM_136_9_centos",
             "version" => "5.6.10"
        },
               "host" => "VM_136_9_centos",
        "httpversion" => "1.1",
          "timestamp" => "04/Jan/2015:05:30:37 +0000"
    }

可以看到根據ip派生出了許多地理位置信息數據

2.5 將數據導入Elasticsearch

Logstash作為Elastic stack的重要組成部分，其最常用的功能是將數據導入到Elasticssearch中。將Logstash中的數據導入到Elasticsearch中操作也非常的方便，只需要在pipeline配置文件中增加Elasticsearch的output即可。

  • （1）首先要有一個已經部署好的Logstash，當然可以使用騰訊雲快速創建一個Elasticsearch創建地址
  • （2）在first-pipeline.conf中增加Elasticsearch的配置，如下 
   input {
        beats {
            port => "5044"
        }
    }
     filter {
        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}"}
        }
        geoip {
            source => "clientip"
        }
    }
    output {
        elasticsearch {
            hosts => [ "localhost:9200" ]
        }
    }
  • （3）清理filebeat歷史數據，並重啟
  • （4）查詢Elasticsearch確認數據是否正常上傳（註意替換查詢語句中的日期） 
    curl -XGET ‘http://172.16.16.17:9200/logstash-2018.10.09/_search?pretty&q=response=200‘
  • （5）如果Elasticsearch關聯了Kibana也可以使用kibana查看數據是否正常上報

技術分享圖片kibana圖示

Logstash提供了大量的Input, filter, output, codec的插件，用戶可以根據自己的需要，使用一個或多個組件實現自己的功能，當然用戶也可以自定義插件以實現更為定制化的功能。自定義插件可以參考[logstash input插件開發]

3 部署Logstash

演示過如何快速使用Logstash後，現在詳細講述一下Logstash的部署方式。

3.1 安裝

  • 安裝JDK：Logstash采用JRuby編寫，運行需要JDK環境，因此安裝Logstash前需要先安裝JDK。（當前6.4僅支持JDK8）
  • 安裝Logstash：可以采用直接下載壓縮包方式安裝，也通過APT或YUM安裝，另外Logstash支持安裝到Docker中。[Logstash安裝參考]
  • 安裝X-PACK：在6.3及之後版本X-PACK會隨Logstash安裝，在此之前需要手動安裝[參考鏈接]

3.2 目錄結構

logstash的目錄主要包括：根目錄、bin目錄、配置目錄、日誌目錄、插件目錄、數據目錄

不同安裝方式各目錄的默認位置參考[此處]

3.3 配置文件

  • Pipeline配置文件，名稱可以自定義，在啟動Logstash時顯式指定，編寫方式可以參考前面示例，對於具體插件的配置方式參見具體插件的說明(使用Logstash時必須配置)： 用於定義一個pipeline，數據處理方式和輸出源
  • Settings配置文件(可以使用默認配置)： 在使用Logstash時可以不用設置，用於性能調優，日誌記錄等 - logstash.yml：用於控制logstash的執行過程[參考鏈接] - pipelines.yml: 如果有多個pipeline時使用該配置來配置多pipeline執行[參考鏈接] - jvm.options：jvm的配置 - log4j2.properties:log4j 2的配置，用於記錄logstash運行日誌[參考鏈接] - startup.options: 僅適用於Lniux系統，用於設置系統啟動項目！
  • 為了保證敏感配置的安全性，logstash提供了配置加密功能[參考鏈接]

3.4 啟動關閉方式

3.4.1 啟動

  • 命令行啟動
  • 在debian和rpm上以服務形式啟動
  • 在docker中啟動3.4.2 關閉
  • 關閉Logstash
  • Logstash的關閉時會先關閉input停止輸入，然後處理完所有進行中的事件，然後才完全停止，以防止數據丟失，但這也導致停止過程出現延遲或失敗的情況。

3.5 擴展Logstash

當單個Logstash無法滿足性能需求時，可以采用橫向擴展的方式來提高Logstash的處理能力。橫向擴展的多個Logstash相互獨立，采用相同的pipeline配置，另外可以在這多個Logstash前增加一個LoadBalance，以實現多個Logstash的負載均衡。

4 性能調優

[詳細調優參考]

  • （1）Inputs和Outputs的性能：當輸入輸出源的性能已經達到上限，那麽性能瓶頸不在Logstash，應優先對輸入輸出源的性能進行調優。

  • （2）

    系統性能指標

    ：

    • CPU：確定CPU使用率是否過高，如果CPU過高則先查看JVM堆空間使用率部分，確認是否為GC頻繁導致，如果GC正常，則可以通過調節Logstash worker相關配置來解決。
    • 內存：由於Logstash運行在JVM上，因此註意調整JVM堆空間上限，以便其有足夠的運行空間。另外註意Logstash所在機器上是否有其他應用占用了大量內存，導致Logstash內存磁盤交換頻繁。
    • I/O使用率： 1）磁盤IO： 磁盤IO飽和可能是因為使用了會導致磁盤IO飽和的創建（如file output）,另外Logstash中出現錯誤產生大量錯誤日誌時也會導致磁盤IO飽和。Linux下可以通過iostat, dstat等查看磁盤IO情況 2）網絡IO： 網絡IO飽和一般發生在使用有大量網絡操作的插件時。linux下可以使用dstat或iftop等查看網絡IO情況

  • （3）

    JVM堆檢查

    ：

    • 如果JVM堆大小設置過小會導致GC頻繁，從而導致CPU使用率過高
    • 快速驗證這個問題的方法是double堆大小，看性能是否有提升。註意要給系統至少預留1GB的空間。
    • 為了精確查找問題可以使用jmap或VisualVM。[參考]
    • 設置Xms和Xmx為相同值，防止堆大小在運行時調整，這個過程非常消耗性能。
  • （4）Logstash worker設置： worker相關配置在logstash.yml中，主要包括如下三個： - pipeline.workers： 該參數用以指定Logstash中執行filter和output的線程數，當如果發現CPU使用率尚未達到上限，可以通過調整該參數，為Logstash提供更高的性能。建議將Worker數設置適當超過CPU核數可以減少IO等待時間對處理過程的影響。實際調優中可以先通過-w指定該參數，當確定好數值後再寫入配置文件中。 - pipeline.batch.size: 該指標用於指定單個worker線程一次性執行flilter和output的event批量數。增大該值可以減少IO次數，提高處理速度，但是也以為這增加內存等資源的消耗。當與Elasticsearch聯用時，該值可以用於指定Elasticsearch一次bluck操作的大小。 - pipeline.batch.delay: 該指標用於指定worker等待時間的超時時間，如果worker在該時間內沒有等到pipeline.batch.size個事件，那麽將直接開始執行filter和output而不再等待。

結束語

Logstash作為Elastic Stack的重要組成部分，在Elasticsearch數據采集和處理過程中扮演著重要的角色。本文通過簡單示例的演示和Logstash基礎知識的鋪陳，希望可以幫助初次接觸Logstash的用戶對Logstash有一個整體認識，並能較為快速上手。對於Logstash的高階使用，仍需要用戶在使用過程中結合實際情況查閱相關資源深入研究。當然也歡迎大家積極交流，並對文中的錯誤提出寶貴意見。

MORE:

  • Logstash數據處理常見示例
  • Logstash日誌相關配置參考
  • Kibana管理Logstash pipeline配置
  • LogstashModule
  • 監控Logstash

相關閱讀
大數據基礎系列之spark的監控體系介紹
Neutron lbaas代理https實踐
【每日課程推薦】機器學習實戰！快速入門在線廣告業務及CTR相應知識

此文已由作者授權騰訊雲+社區發布，更多原文請點擊

搜索關註公眾號「雲加社區」，第一時間獲取技術幹貨，關註後回復1024 送你一份技術課程大禮包！

海量技術實踐經驗，盡在雲加社區！

一文學會目前最火熱的大數據技術

相關推薦

一文學會目前最火熱的大數據技術

pac 相關 asi visual 導入 module 經緯 手動 apt 歡迎大家前往騰訊雲+社區，獲取更多騰訊海量技術實踐幹貨哦~ 本文由michelmu發表於雲+社區專欄 Elasticsearch是當前主流的分布式大數據存儲和搜索引擎，可以為用戶提供強大的全文本

一文學會目前最火熱的大資料技術

**歡迎大家前往[騰訊雲+社群](https://cloud.tencent.com/developer/?fromSource=waitui)，獲取更多騰訊海量技術實踐乾貨哦~** > 本文由[michelmu](https://cloud.tencent.com/developer/us

新零售為何會快速崛起？大數據技術早已融入我們的生活……

有時 核心競爭力 選擇 智慧 重要 促銷 定價策略 其他 兩個 2018年是新零售業爆發的一年。我相信每個人都有同樣的感受。便利店比以前多了。它們幾乎隨處可見。他們還覺得一兩個月沒去過超市。有時他們會在街上看到新的零售模式。 對於零售企業來說，其核心競爭力在於“增加銷售量，

一篇文章為你解讀大數據的如今和未來

衣服 本質 海康威視 移動終端 行數據 數據分析工具 想象 下單 對手 大數據的發展前提 　 　關於大數據的概念事實上在1998年已經就有人提出了，可是到了如今才開始有所發展，這些事實上都是和當下移動互聯網的快速發展分不開的，移動互聯網的快速發展

【老男孩教育】2018年最新版大數據開發課程表

企業 style linu zookeepe family pan storm 大數據分析 zook 老男孩教育大數據開發課程適合所有對大數據開發有興趣的人員，從JavaSE 到大數據生態圈高端課程的開發。課程內容量很大，有一定的難度和深度，認真學習，，技術會有很大程度的提

一文學會為華為服務器配置raid1和raid5

raid1 raid5 最近寫的書中介紹到了在服務器上配置RAID卡，先發出來讓大家參考一下。一、RAID簡介RAID（Redundant Array of Independent Disks，獨立磁盤冗余陣列）的基本思想就是把多個相對便宜的小磁盤組合起來，成為一個磁盤組， 使其性能達到甚至超過一個價

一文學會製作R包

R語言小巧精悍，能在多個平臺上快速安裝，具有眾多的統計包，能快速畫出還算美觀的圖（推薦ggplot2）,因此在程式語言的舞臺上佔有一席之地。 對於生物狗來說，主要用下面兩種方式來安裝R包： 1， install.packages() 2， source(“https://

一文學會使用selenium， 並實現登入掛英語網站不掉線

本文用於快速入門或者複習selenium的webdriver但不講解如何安裝selenium以及ChromeDriver 先教一些簡單功能，各函式功能在註釋裡 from selenium import webdriver import time #訪問百度首頁 first_url = 'h

10個最熱門的大數據技術

而且 exc map image 實驗 博客 經濟 cognos 朋友 大數據已經融入到各行各業，哪些大數據技術是最受歡迎？哪些大數據技術潛力巨大？請聽大講臺老師對10個最熱門的大數據技術的介紹。 互聯網科技發展蓬勃興起，人工智能時代來臨，抓住下一個風口。為幫助那些往

一文學會連結串列快慢指標解題技巧

前言 上文 我們詳細地學習了連結串列的基本概念，優缺點，也帶大家一步步由淺入深地學習了連結串列的翻轉技巧，這一篇我們來看看連結串列的另一個解題技巧：快慢指標。 快慢指標在面試中出現的概率也很大，也是務必要掌握的一個要點，本文總結了市面上常見的快慢指標解題技巧，相信看完後此類問題能手到擒來。本文將詳細講述如何用

機器學習基礎——讓你一文學會樸素貝葉斯模型

今天這篇文章和大家聊聊樸素貝葉斯模型，這是機器學習領域非常經典的模型之一，而且非常簡單，適合初學者入門。 樸素貝葉斯模型，顧名思義和貝葉斯定理肯定高度相關。之前我們在三扇門遊戲的文章當中介紹過貝葉斯定理，我們先來簡單回顧一下貝葉斯公式： \[P(A|B)=\frac{P(A)P(B|A)}{P(B)}\] 我

一文學會動態規劃解題技巧

前言 動態規劃（dynamic programming，簡稱 dp)是工程中非常重要的解決問題的思想，從我們在工程中地圖軟體上應用的最短路徑問題，再在生活中的在淘寶上如何湊單以便利用滿減券來最大程度地達到我們合理薅羊毛的目的 ，很多時候都能看到它的身影。不過動態規劃對初學者來說確實比較難，dp狀態，狀態轉移方

下載基於大數據技術推薦系統實戰教程(Spark ML Spark Streaming Kafka Hadoop Mahout Flume Sqoop Redis)

大數據技術推薦系統 推薦系統實戰 地址:http://pan.baidu.com/s/1c2tOtwc 密碼:yn2r82課高清完整版，轉一播放碼。互聯網行業是大數據應用最前沿的陣地，目前主流的大數據技術，包括 hadoop，spark等，全部來自於一線互聯網公司。從應用角度講，大數據在互聯網領域主

九眼智能：用大數據技術為網絡信息加層“濾網”

技術 智能 公開 噪音 爭奪 新聞 群組 同時 新聞媒體 　　隨著信息傳播技術的快速發展和各類互聯網平臺的興起，個人、機構均可通過註冊公眾賬號借助平臺公開發布信息，成為新聞媒體等專業內容生產機構之外的重要內容生產者，互聯網平臺成為用戶獲取信息的重要渠道。互聯網平臺的興起及公

基於大數據技術之電視收視率企業項目實戰（hadoop+Spark）

spark基於大數據技術之電視收視率企業項目實戰（hadoop+Spark）網盤地址：https://pan.baidu.com/s/1bEeSB1Y9nmjzctnbJMcBkg 密碼：dohg備用地址（騰訊微雲）：https://share.weiyun.com/5Fb45Bq 密碼：efccwn 本課程

大快大數據技術架構的構成模塊

都是 趨勢 pan 未來 alt 發行版 宋體 mil 原生態 大數據也不是近幾年才出現的新東西，只是最近幾年才真正意義上變得熱門、火爆！而這要得益於互聯網信息技術的快速發展，網絡改變世界、改變生活，大數據技術的應用讓這樣的改變更為深刻。 關註大數據或者是互聯網方面新聞的人

新如何學習大數據技術？大數據怎麽入門？怎麽做大數據分析？

tex 展示 這才 無法 bec 離線 可選 預測分析 研究 由於大數據技術涉及內容太龐雜，大數據應用領域廣泛，而且各領域和方向采用的關鍵技術差異性也會較大，難以三言兩語說清楚，本文從數據科學和大數據關鍵技術體系角度，來說說大數據的核心技術什麽，到底要怎麽學習它，以及怎

大數據技術之壓縮解壓縮案例

except 通過 eth rom tde ado 方式 函數 lib 7.10 壓縮/解壓縮案例 7.10.1 對數據流的壓縮和解壓縮 CompressionCodec有兩個方法可以用於輕松地壓縮或解壓縮數據。要想對正在被寫入一個輸出流的數據進行壓縮，我們可以使用cr

大數據技術之找博客共同好友案例

image mapred top 代碼 jar split set 代碼實現 port 7.9 找博客共同好友案例 1）需求： 以下是博客的好友列表數據，冒號前是一個用戶，冒號後是該用戶的所有好友（數據中的好友關系是單向的） A:B,C,D,F,E,O B

大數據技術之流量匯總案例

result span 自己的 類型 dmi cte pub user instance 7.2 流量匯總程序案例 7.2.1 需求1：統計手機號耗費的總上行流量、下行流量、總流量（序列化） 1）需求： 統計每一個手機號耗費的總上行流量、下行流量、總流量 2）數據準備