1. 程式人生 > >windows下 hadoop 完美執行攻略

windows下 hadoop 完美執行攻略

fs.defaultFShdfs://localhost:9000/hadoop.tmp.dirC:/tmp/hadoop-${user.name}hadoop.proxyuser.hadoop.hosts*hadoop.proxyuser.hadoop.groups*dfs.namenode.http-addresslocalhost:50070 NameNode 通過當前引數 獲得 fsimage 和 edits dfs.namenode.secondary.http-addresslocalhost:50090 SecondNameNode 通過當前引數 獲得最新的 fsimage dfs.replication3 設定 HDFS 儲存檔案的副本個數,預設為3 dfs.namenode.name.dirfile:///C:/hadoop/hdfs/name namenode 用來持續存放名稱空間和交換日誌的本地檔案系統路徑 dfs.datanode.data.dirfile:///C:/hadoop/hdfs/data DataNode 在本地存放塊檔案的目錄列表,用逗號分隔 dfs.namenode.checkpoint.dirfile:///C:/hadoop/hdfs/namesecondary 設定 secondary 存放 臨時映象 的本地檔案系統路徑,如果這是一個用逗號分隔的檔案列表,則映象將會冗餘複製到所有目錄,只對 secondary 有效 dfs.webhdfs.enabledtruedfs.stream-buffer-size131072 預設是4KB,作為hadoop緩衝區,用於hadoop讀hdfs的檔案和寫
hdfs的檔案,還有map的輸出都用到了這個緩衝區容量,對於現在的硬體很保守,可以設定為128k
(131072),甚至是1M(太大了map和reduce任務可能會記憶體溢位) dfs.namenode.checkpoint.period3600 兩次 checkpoints 之間的間隔,單位為秒,只對 secondary 有效 mapreduce.framework.nameyarnmapreduce.jobtracker.addresshdfs://localhost:9001mapreduce.jobhistory.addressnode:10020
MapReduce JobHistory Server host:port, default port is 10020.mapreduce.jobhistory.webapp.addressnode:19888MapReduce JobHistory Server Web UI host:port, default port is 19888.yarn.resourcemanager.hostnamelocalhostyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addresslocalhost:8032yarn.resourcemanager.scheduler.addresslocalhost:8030yarn.resourcemanager.resource-tracker.addresslocalhost:8031yarn.resourcemanager.admin.addresslocalhost:8033yarn.resourcemanager.webapp.addresslocalhost:8088