20180524早課記錄17-Hadoop
阿新 • • 發佈:2018-05-28
Hadoop1.MapReduce談談你們的理解
執行引擎 計算
2.Map是什麽
map:映射函數
3.Reduce是什麽
reduce:規約函數
4.shuffle談談你們的理解
相當於洗牌 按key進行分組
5.wordcount那副圖,腦子是否有印象?
不太深入
6.輸入分片一般和什麽有關?多少個分片就可以有多少個map task,對不對?
塊大小 不對 會合並小文件
7.mapreduce架構設計中應用程序AM和task都運行在哪個抽象概念中?
container
8.假如hdfs的文件都是小文件,那麽就會有多個map task,我們生產上一般設計時,是需要合並的或者設計我們文件存儲時盡量保持一個文件在一個塊大小(了解題)
是的
9.NM節點的內存和容器的內存參數哪幾個?
yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores
10.容器是使用物理core還是虛擬core
虛擬core
11.總結一下mapreduce架構設計 wordcount博客 容器的概念,內存和vcore的參數設置
20180524早課記錄17-Hadoop