Hadoop3 新特性、埠號的改變（二）

阿新 • • 發佈：2018-11-25

Hadoop版本

Haddoop1.x
Haddoop2.x
Haddoop3.x

Haddoop3.0 GA 版本於2017年12月份正式釋出下面來說一下版本號後面的字尾表示的含義

Alpha：內部測試版
Beta：對外測試版（有點像iphone釋出最新ios11的時候都會先發布Beta版本讓大家去測試）
GA：general availability 官方正式釋出版
Release 釋出版
所以我們在工程上要用 GA 版本

Hadoop 3 新特徵

基於JDK1.8（最低版本要求）
剔除過期的API和實現，廢棄hftp轉為webhfs替代

Classpath isolation：新增的防止不同版本 jar 包衝突
Shell重寫（修復了Hadoop2指令碼的bug，啟動時的指令碼命令也有不同，建議執行Hadoop3的指令碼，大概有三分之一的地方不一樣）
支援HDFS的擦除編碼 Erasure Encoding：預設EC策略可以節省50%的儲存空間，同時還可以承受更多的儲存故障（還在Haddoop2的基礎上增加恢復功能）
DataNode 內部添加了負載均衡 Disk Balancer，磁碟之間的負載均衡（假定有3臺伺服器的磁碟都滿了資料，資料儲存在DataNode當中，可以在買一塊磁碟插入，但其他磁碟還是滿的，新磁碟是空的，這就產生了資料傾斜，所以Hadoop3提供了 Disk Balancer 磁碟平衡器自動幫我們將滿磁碟分配到其他磁碟當中）

MapReduce任務級本地優化
MapReduce記憶體引數自動推斷
- mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts （在Hadoop2中是需要配置這兩項，但在3中就會根據任務執行級別自動推斷所需要的記憶體，所以3比2要快）
- 基於 cgroup 的記憶體隔離和 IO Disk 隔離
- 支援更改分配容器的資源 Container resizing

Hadoop 3 埠號的改變

分類	應用	Haddop 2.x port	Haddop 3 port
NNPorts	Namenode	8020	9820
NNPorts	NN HTTP UI	50070	9870
NNPorts	NN HTTPS UI	50470	9871
SNN ports	SNN HTTP	50091	9869
SNN ports	SNN HTTP UI	50090	9868
DN ports	DN IPC	50020	9867
DN ports	DN	50010	9866
DN ports	DN HTTP UI	50075	9864
DN ports	Namenode	50475	9865

Hadoop3 新特性、埠號的改變（二）

Hadoop版本 Haddoop1.x Haddoop2.x Haddoop3.x Haddoop3.0 GA 版本於2017年12月份正式釋出下面來說一下版本號後面的字尾表示的含義 Alpha：內部測試版 Beta：對外測試版（有點像

繼承RichTextBox，完成程式碼編輯器，支援語法高亮、行號顯示（二）；

當前輸入行閃爍終於比較滿意的解決了。以處理高亮匹配時，以前是直接在rt裡使用selectionstart、selectedtext替換原始文字；首先將需要處理的文字處理完成，以RTF格式暫存到變數中，一次性替換到原始文字位置，效果有所好轉，但偶有

Java8新特性整理之方法引用（二）

方法引用語法目標引用：：方法的名稱例子擷取字串的Lambda表示式 (str, i) -> str.substring(i) 等效的方法引用 String::

程式設計與演算法（三）第十週 c++新特性和c++高階主題（3）

強制型別轉換：static_cast、interpret_cast、const_cast、dynamic_cast 1、static_cast：static_cast 用來進行比較“自然”和低風險的轉

程式設計與演算法（三）第十週 c++新特性和c++高階主題（2）

無序容器（雜湊表） //雜湊表插入和查詢的時間複雜度幾乎是常數 #include <iostream> #include <string> #include <unordered_map> using namespace std; int main

程式設計與演算法（三）第十週 c++新特性和c++高階主題（1）

#include <iostream> using namespace std; class A{}; A operator+(int n, const A& a) { return a; } template<class T1, class

iOS新特性擴充套件之Today分享（2）

1、在上一小節中，我們簡單介紹了Today擴充套件的資料儲存應用，但是對於共享內容比較多的話，單純的用NSUserDefaults儲存還是不夠的，有同學可能會用資料庫之類的儲存方式，但資料庫也是不太簡單的，這裡我們可以用2種方式解決，共享檔案和共享frameWo

微信公眾號開發（二）獲取AccessToken、jsapi_ticket

Access Token 在微信公眾平臺介面開發中，Access Token佔據了一個很重要的地位，相當於進入各種介面的鑰匙，拿到這個鑰匙才有呼叫其他各種特殊介面的許可權。 access_token是公眾號的全域性唯一票據，公眾號呼叫各介面時都需使用acce

MongoDB的文檔、集合、數據庫（二）

一個數說明 ava 雙向鏈表 upsert block 根據和數 pat 　　為了理解MongoDB的名詞，可以將其於關系型數據庫進行對比：　　　　　　　　　　　　一、文檔　　概述文檔是MongoDB的核心概念，是數據的基本單元，非常類似於關系數據庫中的行。在

目錄文件的瀏覽、管理及維護（二）.作業

.cn file height image 維護 nom 列表 logs 刪除空目錄 1) 開啟Linux操作系統，要求以root用戶登錄GNOME圖形界面，右擊桌面打開終端 2) 使用命令切換到root用戶的家目錄 3) 確定當前用戶所在的工作目錄

Java排序算法分析與實現：快排、冒泡排序、選擇排序、插入排序、歸並排序（二）

第一個元素 spa insert 循環冒泡排序 author 高級算法 ins -s 一、概述：　　上篇博客介紹了常見簡單算法：冒泡排序、選擇排序和插入排序。本文介紹高級排序算法：快速排序和歸並排序。在開始介紹算法之前，首先介紹高級算法所需要的基礎知識：劃分、遞歸，並順

微信jssdk圖片、語音開發記錄（二）

後臺 pid for item esc 音頻 locals 動態 clas 接著上篇說的，在使用jssdk之前，需要先驗簽，也就是獲取簽名，而獲取簽名就需要幾個參數，時間戳，隨機數，token等，而token一天的獲取次數是有限的，所以需要在項目中保存獲取到的token，

四、內核啟動（二）

clu 更新 mage onf 指針內核編譯 try ext 內存空間 4.1 MMU設置續　　上一節分析到調用 __armv4_mmu_cache_on，執行如下，這裏我們要分析 set_mmu 函數　　 4.1.1 __setup_mmu 　　前文已經分析過在內

JavaScript的BOM、DOM操作、節點以及表格（二）

wid UNC HR 匿名函數 ast clone BE tab 位置 BOM操作一、什麽是BOM BOM（Browser Object Model）即瀏覽器對象模型。 BOM提供了獨立於內容而與瀏覽器窗口進行交互的對象； BOM由一系列相關的對象構

微信公眾號開發（二）--掃碼綁定微信賬號

stat 需要 ech 不同指定步驟引導 connect amp 簡書地址：https://www.jianshu.com/p/b2884a226247 當業務系統產生消息需要通過微信推送給指定的用戶時，首頁需要將業務系統類的用戶和微信賬號建立一個關系。這裏采用的是微

C#微信公眾號開發 -- （二）驗證成為開發者

接下來就是驗證成為開發者了。先來看一下驗證的介面及需要填寫的資訊在介面配置資訊中填寫需要處理驗證資訊的頁面或者一般性處理檔案，這裡以aspx頁面為例 URl中的格式為：http://XXX.com/wxapi.aspx ，其中XXX.com也即是上文提到的需要有一個外網可以訪問的域名，wxapi.a

整合學習之boosting，Adaboost、GBDT 和 xgboost（二）

AdaBoost 演算法的訓練誤差分析 AdaBoost最基本的性質是它能在學習過程中不斷減少訓練誤差，即在訓練資料集上的分類誤差率。定理：AdaBoost的訓練誤差界： 1

Delphi中Chrome Chromium、Cef3學習筆記（二）

原文 http://blog.csdn.net/xtfnpgy/article/details/46635739 用Tchromium替換webbrowser 　　用慣了EmbeddedWB,不想

微信公眾號支付（二）H5調起支付

上一篇講到統一下單，得到微信返回的預支付交易會話標識prepay_id，那麼下單完成後要做的就是在html頁面調起支付視窗。檢視官方文件：https://pay.weixin.qq.com/wiki/doc/api/jsapi.php?chapter=7_7&

微信公眾號開發（二） -- 獲取使用者資訊修改粉絲標籤

獲取code值 $appid=’’ // 微信支付申請對應的公眾號的APPID $urlCode=’’ // 處理code頁面不能包含? 是微信可訪問頁面 $url="https://open.weixin.qq.com/connect/oauth2/authorize?appid="

Hadoop3 新特性、埠號的改變（二）

Hadoop版本

Hadoop 3 新特徵

Hadoop 3 埠號的改變

相關推薦