MapReduce作業配置引數

阿新 • • 發佈：2019-01-11

可在客戶端的mapred-site.xml中配置，作為MapReduce作業的預設配置引數。也可以在作業提交時，個性化指定這些引數。

引數名稱	預設值	說明
mapreduce.job.name	作業名稱
mapreduce.job.priority	NORMAL	作業優先順序
yarn.app.mapreduce.am.resource.mb	1536	MR ApplicationMaster佔用的記憶體量
yarn.app.mapreduce.am.resource.cpu-vcores	1	MR ApplicationMaster佔用的虛擬CPU個數
mapreduce.am.max-attempts	2	MR ApplicationMaster最大失敗嘗試次數
mapreduce.map.memory.mb	1024	每個Map Task需要的記憶體量
mapreduce.map.cpu.vcores	1	每個Map Task需要的虛擬CPU個數
mapreduce.map.maxattempts	4	Map Task最大失敗嘗試次數
mapreduce.reduce.memory.mb	1024	每個Reduce Task需要的記憶體量
mapreduce.reduce.cpu.vcores	1	每個Reduce Task需要的虛擬CPU個數
mapreduce.reduce.maxattempts	4	Reduce Task最大失敗嘗試次數
mapreduce.map.speculative	false	是否對Map Task啟用推測執行機制
mapreduce.reduce.speculative	false	是否對Reduce Task啟用推測執行機制
mapreduce.job.queuename	default	作業提交到的佇列
mapreduce.task.io.sort.mb	100	任務內部排序緩衝區大小
mapreduce.map.sort.spill.percent	0.8	Map階段溢寫檔案的閾值（排序緩衝區大小的百分比）
mapreduce.reduce.shuffle.parallelcopies	5	Reduce Task啟動的併發拷貝資料的執行緒數目

注意，MRv2重新命名了MRv1中的所有配置引數，但相容MRv1中的舊引數，只不過會列印一條警告日誌提示使用者引數過期。MapReduce新舊引數對照表可參考Java類org.apache.hadoop.mapreduce.util.ConfigUtil，舉例如下：

過期引數名	新引數名
mapred.job.name	mapreduce.job.name
mapred.job.priority	mapreduce.job.priority
mapred.job.queue.name	mapreduce.job.queuename
mapred.map.tasks.speculative.execution	mapreduce.map.speculative
mapred.reduce.tasks.speculative.execution	mapreduce.reduce.speculative
io.sort.factor	mapreduce.task.io.sort.factor
io.sort.mb	mapreduce.task.io.sort.mb

【編輯推薦】

可在客戶端的mapred-site.xml中配置，作為MapReduce作業的預設配置引數。也可以在作業提交時，個性化指定這些引數。引數名稱預設值說明 mapreduce.job.name 作業名稱 mapreduce.job.priority NORMAL 作業

關於mapreduce程式執行在yarn上時記憶體的分配一直是一個讓我蒙圈的事情，單獨查任何一個資料都不能很好的理解透徹。於是，最近查了大量的資料，綜合各種解釋，終於理解到了一個比較清晰的程度，在這裡將理解的東西做一個簡單的記錄，以備忘卻。首先，先將關於mapreduce

linux平臺提交到yarn import java.io.IOException; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.a

Container是什麼？ Container就是一個yarn的java程序，在Mapreduce中的AM，MapTask，ReduceTask都作為Container在Yarn的框架上執行，你可以在RM的網頁上【8088埠】看到Container的狀

配置設定nodemanager 總記憶體大小為32G，在yarn-site.xml 增加如下內容： <property> <name>yarn.nodemanager

temp ide 屬性增加 mes 時間 kerberos 動態更新 lap 14/04/04 17:15:12 INFO mapreduce.Job: map 0% reduce 0% 14/04/04 17:19:42 INFO mapreduce.Job: ma

加米谷大數據加米谷 MapReduce作業調度大數據培訓可以通過設置mapred.job.priority屬性或JobClient的setJobPriority()方法來設置優先級（在這兩種方法中，可以選VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW中的任何值作為優

true light 上傳文件常用文本文件關系型清空 DC 1. 以下關系型數據庫中的表和數據，要求將其轉換為適合於HBase存儲的表並插入數據：學生表（Student）（不包括最後一列）學號（S_No）姓名（S_Name）性別（S_Sex

com updater token 作業 con ast mon library exe [toc] 今天在測試Hadoop文件壓縮功能時，在之前本地搭建的Hadoop集群上提交了一個MapReduce作業，但是提交後發現一直卡在那不動： ...... 18/07/20

技術 proc mount ges roc repos all log .repo 1.進入目錄yum.repos.d2.創建並編輯dvd.repo文件3.mount /dev/sr0 /opt/ 把dvd通過文件的方式放在opt下4.yum clean all

管理 cal 3.1 mapred hadoop 資源管理器 ack 計數 sched 一、經典MapReduce缺陷二、經典MapReduce的作業運行機制如下圖是經典MapReduce作業的工作原理： 2.1 經典MapReduce作業的實體經典MapRe

最近做專案，碰到這樣的需求：在伺服器啟動的時候從資料庫讀取引數，將引數儲存到記憶體快取中由於使用的是spring的自動注入方式，一開始用@component註解在啟動的時候載入查詢配置引數的bean,由於bean中要用到其他bean來查詢，但此時都為null 查詢相關資料，發現@PostC

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach

Monophone 單音素模型的訓練 # Flat start and monophone training, with delta-delta features. # This script applies ceps

1. View.SYSTEM_UI_FLAG_VISIBLE：顯示狀態列，Activity不全屏顯示(恢復到有狀態的正常情況)。 2. View.INVISIBLE：隱藏狀態列，同時Activity會伸展全屏顯示。 3. View.SYSTEM_UI_FLAG_FUL

一、堆引數設定 -XX:+PrintGC 使用這個引數，虛擬機器啟動後，只要遇到GC就會列印日誌 -XX:+UseSerialGC 配置序列回收器 -XX:+PrintGCDetails 可以檢視詳細資訊，包括各個區的情況 -Xms:設定Java程式啟動

MyEclipse記憶體不足以及配置引數“ -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M ”的含義 “MyEclipse has detected that less than 5% of the

對於JVM記憶體配置引數： -Xmx10240m -Xms10240m -Xmn5120m -XXSurvivorRatio=3 -Xmx：最大堆大小 -Xms：初始堆大小 -Xmn:年輕代大小 -XXSurvivorRatio：年輕代中Eden區

專案中吧所有的配置檔案都移植到配置中心了，這樣後面釋出版本不需要想著改配置檔案，直接發包即可了，但是logback.xml 中間的日誌路徑，logstash host ，以及日誌級別線上和開發環境肯定不同，為了一勞永逸，故想辦法將logback的相