1. 程式人生 > >每天10分鐘——11.1

每天10分鐘——11.1

1.mapreduce分為哪兩個階段

map和reduce

2.談談你對這兩個階段的理解

map進行資料分割,reduce聚合

3.談談你對shuffle的理解

洗牌,將相同key值放在一起

4.執行wordcount案例跑在yarn上,你會不?

5.mapreduce job跑在yarn的工作流程,簡述

先向yarn提交作業申請一個applicationMaster在某個節點的container上,
然後applicationMaster反向向applicationManager註冊,再向ResourceScheduler申請資源,
當拿到資源列表是,ApplicationMaster和相關的NM進行rpc通訊要求啟動container來執行task

6.談談對executor理解

執行器

7.executor是執行在RM節點上嗎?

NM

8.APP master是執行在RM節點上嗎?

DM

9.一般我們把dn和nm部署在同一節點上,目的是什麼

資料本地化

10.yarn常用命令哪些?

可以--hlep檢視

11.排程器有哪幾種,部落格整理了沒

先進先出,公平計算