每天10分鐘——11.1
1.mapreduce分為哪兩個階段
map和reduce
2.談談你對這兩個階段的理解
map進行資料分割,reduce聚合
3.談談你對shuffle的理解
洗牌,將相同key值放在一起
4.執行wordcount案例跑在yarn上,你會不?
會
5.mapreduce job跑在yarn的工作流程,簡述
先向yarn提交作業申請一個applicationMaster在某個節點的container上, 然後applicationMaster反向向applicationManager註冊,再向ResourceScheduler申請資源, 當拿到資源列表是,ApplicationMaster和相關的NM進行rpc通訊要求啟動container來執行task
6.談談對executor理解
執行器
7.executor是執行在RM節點上嗎?
NM
8.APP master是執行在RM節點上嗎?
DM
9.一般我們把dn和nm部署在同一節點上,目的是什麼
資料本地化
10.yarn常用命令哪些?
可以--hlep檢視
11.排程器有哪幾種,部落格整理了沒
先進先出,公平計算
相關推薦
每天10分鐘——11.1
1.mapreduce分為哪兩個階段 map和reduce 2.談談你對這兩個階段的理解 map進行資料分割,reduce聚合 3.談談你對shuffle的理解 洗牌,將相同key值放在一起 4.執行wordcount案例跑在yarn上,你會不? 會 5
每天10分鐘——10.11
1.jps命令是來自哪裡的 java 2.jps 發現不可用資訊,我們應該怎麼辦 jps不可用,ps -ef出程序,判斷程序是否還存活,存活的話切到程序所屬使用者檢視相關程序情況,如果程序是假死狀態可以切到/tmp目錄下看下hs開頭的資料夾刪除與程序相關的檔
NAME LATCH for V LATCHNAME for 8 1 7 9 2 10 2 11 1
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!  
每天10分鐘——10.8
1.檢視當前目錄 pwd 2.切換到上一次和上一層目錄 cd - cd .. 3.隱藏檔案標識是什麼,什麼命令引數檢視 . ll -a 4.which 這個命令是找哪個環境變數裡的目錄配置 PATH 5.列印環境變數值 命令是什麼 echo $PATH
每天10分鐘——10.12
1.pwd是什麼意思 檢視當前路徑 2.當我們輸入一個命令,提示 not found,請問你該怎麼辦 檢視命令是否拼錯,如果正確檢視當前使用者的環境變數是否配置是否生效 3.環境變數一般配置全域性和個人,請問分別在哪,怎樣生效 全域性/etc/profile
每天10分鐘——10.25
1.hadoop一般廣義和狹義分別指什麼 hadoop生態圈,hadoop軟體 2.hadoop軟體哪三個組成 hdfs yarn mapreduce 3.hdfs偽分散式的程序簡寫分別是什麼? nn,dn,snn 4.yarn偽分佈的程序簡寫分別是
每天10分鐘——10.17
1.MySQL哪些欄位型別 int double float char varchar date ... 2.建表一般我們會設定第一個欄位為ID,自增長的主鍵,那麼主鍵是非空和唯一約束的組合體,那麼可不可以根據業務,單獨設定其他欄位為 非空約束或唯一約束? 可
每天10分鐘——10.18
1.hdfs 偽分散式哪三個程序,簡寫 NN DN SNN 2.yarn偽分散式哪兩個程序,簡寫 RM NM 3.簡述 nn做什麼的? 管理檔名稱,維護目錄樹,定期接受DN的心跳資訊 4.簡述 snn是做什麼的那幅圖,是否能夠描述清楚? 定期去NN上的
每天10分鐘——10.23
1.tar解壓和壓縮 引數是什麼 tar -xzvf tar -czvf 2.tar解壓後,我們要習慣注意什麼 檢視使用者使用者組 3.如何配置一個普通使用者為sudo許可權的無密碼的 在/etc/sudoers文件中新增username ALL=(root
每天10分鐘——10.29
1.檢視當前目錄命令 pwd 2.建立級聯目錄 mkdir -p 3.切換目錄命令 cd 4.切換上一層目錄和上一次 cd .. cd - 5.切換到家目錄 cd ~ cd 6.ls -l等價於什麼 ll 7.隱藏檔案或資料夾什麼標識開始,怎樣檢視
每天10分鐘就能練出流利口語
/ 01 /最近,韓雪在綜藝《聲臨其境》中,用不到2分鐘的時間,向觀眾展示了一場完美的全英文配音
【新書推薦】【2019.10】每天10分鐘學習SQL:Sams教你如何自學(第5版)
【2019.10】每天10分鐘學習SQL:Sams教你如何自學(第5版)SQL in 10 Minutes a Day, Sams Teach Yourself (5th Edition),共306頁。 無論您是應用程式開發人員、資料庫管理員、Web應用程式設計人員、移動應用程式開
scjp310-065考題每天10道題1
1. 已知: 35. String #name = "Jane Doe"; 36. int $age = 24; 37. Double _height = 123.5; 38. double ~temp = 37.5; 以下敘述哪兩個正確?(請選擇兩個答案。) A. 第 35
上週熱點回顧(10.26-11.1)
熱點隨筆: · 那些鼓吹國內首個.NET 5框架的,該醒醒了! (李玉寶)· 爬蟲雙色球所有的歷史資料並儲存到SQLite (氣宇軒昂_2017)· 30 歲的碼農人生 ——人生至暗時,你依然能
鏡像的分層結構 - 每天5分鐘玩轉容器技術(11)
數據 9.png upload 問題: 所有 rfi image tle acs Docker 支持通過擴展現有鏡像,創建新的鏡像。 實際上,Docker Hub 中 99% 的鏡像都是通過在 base 鏡像中安裝和配置需要的軟件構建出來的。比如我們現在構建一個新的鏡像,
學習 Kubernetes 的 Why 和 How - 每天5分鐘玩轉 Docker 容器技術(11
kubernetes docker 容器 教程 這是一個系統學習 Kubernetes 的教程,有下面兩個特點:系統講解當前最流行的容器編排引擎 Kubernetes包括了安裝部署、應用管理、網絡、存儲、監控、日誌管理等多各個方面。重實踐並兼顧理論通過大量實驗和操作帶領大家學習 Kuberne
11、《每天5分鐘玩轉Docker容器技術》學習-Docker命令之容器生命周期管理
hostman cloudman cloud openstack docker a) Docker create 命令docker create :創建一個新的容器但不啟動它docker create [OPTIONS] IMAGE [COMMAND] [ARG...]-a stdin:
撩課-Java每天10道面試題第1天
1.簡述JDK、JRE、JVM? 一、JDK JDK(Java Development Kit) 是整個JAVA的核心, 包括了Java執行環境(Java Runtime Envirnment), 一堆Java工具(javac/java/jdb等) 和Java基礎的類庫(即Java API 包括rt
有一個函式 x , x大於1 ,y等於 { 2x-1 1大於等於x小於10 3x-11 x大於等於10 寫一段程式,輸入x,輸出y。
題目描述 有一個函式 | x x<1 y= { 2x-1 1<=x<10 | 3x-11 x>=10 寫一段程式,輸入x,輸出y。 將下面的程式填寫完整。 #include <stdio.h> int main() { int x,y;
要求:如果某個欄位=1就立刻顯示,否則10分鐘以後顯示,-----sql語句
select a.* FROM ( SELECT *,DATE_ADD(create_date, INTERVAL 10 MINUTE)<SYSDATE() isDelay FROM `car_teams_ord` ) a where IF(iss_price=1||iss_price=