【圖文詳細 】Hive 優化常用手段
1、好的模型設計事半功倍
2、解決資料傾斜問題
3、減少 job 數
4、設定合理的 MapReduce 的 task 數，能有效提升效能。(比如，10w+級別的計算，用 160個 reduce，那是相當的浪費，1 個足夠)
5、瞭解資料分佈，自己動手解決資料傾斜問題是個不錯的選擇。這是通用的演算法優化，但 演算法優化有時不能適應特定業務背景，開發人員瞭解業務，瞭解資料，可以通過業務邏輯精 確有效的解決資料傾斜問題
6、資料量較大的情況下，慎用 count(distinct)，group by 容易產生傾斜問題
7、對小檔案進行合併，是行之有效的提高排程效率的方法，假如所有的作業設定合理的文 件數，對雲梯的整體排程效率也會產生積極的正向影響
8、優化時把握整體，單個作業最優不如整體最優
相關推薦
【圖文詳細 】Hive 優化常用手段
1、好的模型設計事半功倍 2、解決資料傾斜問題 3、減少 job 數 4、設定合理的 MapReduce 的 task 數，能有效提升效能。(比如，10w+級別的計算，用 160個 reduce，那是相當的浪費，1 個足夠) 5、瞭解資料分佈，自己動手解決資料傾斜問題
【圖文詳細 】什麼是Hive，深入淺出！
第一部分：Hive原理 為什麼要學習Hive的原理 •一條Hive HQL將轉換為多少道MR作業 •怎麼樣加快Hive的執行速度 •編寫Hive HQL的時候我們可以做什麼 •Hive 怎麼將HQL轉換為MR作業 •Hive會採用什麼樣的優化方式 Hive架構&執
【圖文詳細 】HDFS面試題：hadoop1.x和2.x架構上的區別
（1）Hadoop 1.0 Hadoop 1.0即第一代Hadoop，由分散式儲存系統HDFS和分散式計算框架MapReduce組成，其中，HDFS由一個NameNode和多個DataNode組成，MapReduce由一個JobTracker和多個TaskTracker組成，對應Hadoop
【圖文詳細 】HDFS面試題：hadoop的守護執行緒以及Namenode的職責是什麼
五個守護程序： SecondaryNameNode ResourceManager NodeManager NameNode DataNode Namenode：主節點，儲存檔案的元資料（檔名，檔案目錄結構，檔案屬性——生成時間，副本數，檔案許可權），以及每個檔案的塊列表
【圖文詳細 】HDFS面試題：介紹Hadoop中RPC協議，以及底層用什麼框架封裝的
用於將使用者請求中的引數或者應答轉換成位元組流以便跨機傳輸。 函式呼叫層：函式呼叫層主要功能是：定位要呼叫的函式，並執行該函式，Hadoop採用了java的反射機制和動態代理實現了函式的呼叫。 網路傳輸層：網路傳輸層描述了Client和Server之間訊息的傳輸方式，Hadoop採用了基
【圖文詳細 】HDFS面試題：hdfs裡的 edits和 fsimage作用
1）、fsimage檔案其實是Hadoop檔案系統元資料的一個永久性的檢查點，其中包含Hadoop檔案系統中的所有目錄和檔案idnode的序列化資訊； 2）、edits檔案存放的是Hadoop檔案系統的所有更新操作的路徑，檔案系統客戶端執行的所以寫操作首先會被記錄到edits檔案中。
【圖文詳細 】HDFS面試題：hdfs 的資料壓縮演算法？
(1) Gzip 壓縮 優點：壓縮率比較高，而且壓縮/解壓速度也比較快； hadoop 本身支援，在應用中處理gzip 格式的檔案就和直接處理文字一樣；大部分 linux 系統都自帶 gzip 命令，使用方便. 缺點：不支援 split。 應用場景： 當每個檔案壓縮之後在 130M
【圖文詳細 】HDFS面試題：hdfs的回收站（防止誤刪）
預設是關閉的，需要手動開啟，修改配置 core-site.xml 新增:
【圖文詳細 】HBase 資料庫——產生背景
自 1970 年以來，關係資料庫用於資料儲存和維護有關問題的解決方案。大資料的出現後， 好多公司實現處理大資料並從中受益，並開始選擇像 Hadoop 的解決方案。Hadoop 使用分 布式檔案系統，用於儲存大資料，並使用 MapReduce 來處理。Hadoop 擅長於儲存各種格式 的龐大的資料
【圖文詳細 】Kafka訊息佇列——Kafka 的各種 Shell 操作
1、啟動叢集每個節點的程序： 2、建立 topic 3、檢視已經建立的所有 kafka topic 4、檢視某個指定的 kafka topic 的詳細資訊： 4、開啟生產者模擬生成資料：
【圖文詳細 】Kafka訊息佇列——Kafka 的各種 API 操作
7.1、Kafka 的 API 分類 1、The Producer API 允許一個應用程式釋出一串流式的資料到一個或者多個 Kafka Topic。 2、The Consumer API 允許一個應用程式訂閱一個或多個 Topi
【圖文詳細 】Kafka訊息佇列——kafka 叢集部署
5.1、Kafka 初體驗 單機 Kafka 試玩 官網網址：http://kafka.apache.org/quickstart 中文官網：http://kafka.apachecn.org/quickstart.html 5.2、叢集部署的基本流程總結&n
【圖文詳細 】Kafka訊息佇列——Kafka的核心元件
4.1、kafka的核心元件概述 Kafka 是 LinkedIn 用於日誌處理的分散式訊息佇列，同時支援離線和線上日誌處理。 Kafka 對訊息儲存時根據 Topic 進行歸類： 傳送訊息者就是 Producer，訊息的釋出描述為 Producer
【圖文詳細 】Kafka訊息佇列——Kafka的應用場景
3.1、訊息系統 Kafka 很好地替代了傳統的 message broker（訊息代理）。Message Brokers 可用於各種場合（如 將資料生成器與資料處理解耦，緩衝未處理的訊息等）。與大多數訊息系統相比，Kafka 擁有 更好的吞吐量、內建分割槽、具有複製和容錯的功能，這使它成為
【圖文詳細 】Kafka訊息佇列——Kafka的優點
2、Kafka的優點 1、解耦：在專案啟動之初來預測將來專案會碰到什麼需求，是極其困難的。訊息系統在處理過程中間 插入了一個隱含的、基於資料的介面層，兩邊的處理過程都要實現這一介面。這允許你獨立 的擴充套件或修改兩邊的處理過程，只要確保它們遵守同樣的介面約束。 2、冗餘：有些
【圖文詳細 】Kafka訊息佇列——Kafka是什麼
1.1、Kafka的概述 在流式計算中，Kafka一般用於資料的快取，Storm通過消費Kafka的資料進行計算。 經典架構：Flume + Kafka + Storm/SparkStreaming + Redis Apache Kafka最初由LinkedIn開發的基於
【圖文詳細 】Flume 資料採集元件——實戰案例
5、Flume 實戰案例 5.1、安裝部署 Flume 1、Flume 的安裝非常簡單，只需要解壓即可，當然，前提是已有 Hadoop 環境上傳安裝包到 資料來源所在節點上 然後解壓 tar -zxvf apache-flume-1.8.0-bin.
【圖文詳細 】Flume 資料採集元件—— 體系結構/核心元件
4、Flume 體系結構/核心元件 4.1、概述 Flume 的資料流由事件(Event)貫穿始終。事件是 Flume 的基本資料單位，它攜帶日誌資料(字 節陣列形式)並且攜帶有頭資訊，這些 Event 由 Agent 外部的 Source 生成，當
【圖文詳細 】Flume 資料採集元件——概述
3、Flume 概述 3.1、Flume 概念 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large am
【圖文詳細 】Flume 資料採集元件——收集工具
2、專業的資料收集工具 2.1、Chukwa Apache Chukwa 是 Apache 旗下另一個開源的資料收集平臺，它遠沒有其他幾個有名。Chukwa 基於 Hadoop 的 HDFS 和 MapReduce 來構建（顯而易見，它用 Java 來實現），提供擴充