1. 程式人生 > >20180517早課記錄12-Hadoop

20180517早課記錄12-Hadoop

Hadoop

1.hadoop的廣義和狹義的理解

狹義: Hadoop軟件(HDFS、MapReduce、Yarn)
廣義: 以hadoop為主的生態圈

2.hadoop三大組件是什麽?分別是做什麽?

HDFS: 分布式文件管理系統 存儲
MapReduce: 執行引擎 計算
Yarn: 資源(memory cpu)和作業調度平臺 資源

3.hdfs偽分布式部署時我們需要配置當前用戶對當前機器的無密碼信任關系,那麽你們會配置嗎? root和其他用戶有什麽區別? 知道在哪找嗎?

會 其他用戶註意authorized_keys權限 要改為600

http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/SingleCluster.html官網有介紹

4.xml配置文件官網怎麽找,會不?

會 http://hadoop.apache.org/docs/r2.8.3/ 拉到最後在左側欄

5.hdfs啟動時,報JAVA home沒有,怎麽修改呢?

vi etc/hadoop/hadoop-env.sh
將export JAVA_HOME=${JAVA_HOME}改為
export JAVA_HOME=/usr/java/jdk1.8.0_45

6.假如java配置OK了,就是用不了,估計什麽問題?(昨天小夥伴的問題)

權限問題 hadoop安裝包解壓後用戶和用戶組出現問題

7.hdfs的三個進程是什麽?默認存儲在哪?

DataNode
NameNode
SecondaryNameNode
默認存儲在/tmp下

8.jps 發現進程不可用信息,生產上正確處理流程是什麽?

ps -ef|grep pid看下是否存在

9.hdfs的web界面端口號是多少

50070

10.yarn的web界面端口號是多少

8088

11.假如讓你們該這兩個默認端口號,請問怎麽改,去哪找?(跳躍思維)

可以去官網找相應配置說明
更改dfs.namenode.http-address及yarn.resourcemanager.webapp.address參數

12.mapreduce案例 jar,我也不記得路徑在哪,該怎麽辦

在hadoop安裝目錄find ./ -name "example"

13.我們學習了第一個提交 jar到yarn平臺,那麽命令是什麽

hadoop jar

20180517早課記錄12-Hadoop