每天彙總----10.11
1.jps命令是來自哪裡的 jdk,java下的bin目錄
2.jps 發現不可用資訊,我們應該怎麼辦 jps不可用,ps -ef出程序,判斷程序是否還存活,存活的話切到程序所屬使用者檢視相關程序情況,如果程序是假死狀態可以切到/tmp目錄下看下hs開頭的資料夾刪除與程序相關的檔案
3.pid檔案預設儲存哪裡?哪個檔案修改 /tmp目錄下,要修改儲存的地址可以在hadoop-env.sh這個配置檔案裡修改pid的存放地址
4.pid檔案人為或Linux系統自動清理,那麼會影響服務的正常執行嗎?那麼又影響什麼呢? 不影響正常的執行,但是在關閉程序和重啟程序時會受影響
5.面試題,hdfs的讀寫流程誰是output流,誰是input流? 寫入是output,讀取是input
6.hadoop fs命令等價什麼命令 hdfs dfs
7.hdfs上,上傳下載我們習慣用什麼 上傳:hdfs dfs -put file_local_path hdfs_path 下載:hdfs dfs -get hdfs_file file_local_path
8.hdfs dfs -ls / 這個根目錄是指Linux根目錄嗎?/前面預設是不是還有一串地址? 這裡的/是指hdfs上的根目錄,/前面預設還有一串地址為:hdfs://你的hadoopIP地址:9000/
9.假如讓你們去官網找 hadoop三個元件的配置檔案網址,你們會不會? 這個要會哦,在hadoop.apache.org網址的document下找到你對應的版本,點進去後在左側選單欄的最下方
11.一個檔案250M,塊128M 兩個副本,請問實際儲存多少個塊 ?儲存空間多少? 老辦法,用250整除128得1餘122,一個塊佔兩個block,現在是2副本所以就有4個塊了。而實際儲存了500M。
12.副本放置策略,第一塊放置的策略是什麼?這個主要看你用的是哪個節點提交了,如果是使用DataNode來提交那麼第一塊,就直接儲存在本節點上,如果不是DataNode就隨機挑選一個磁碟不太慢的,cpu不太繁忙的節點來儲存
13.簡述SNN是幹什麼的?snn定期去拉nn的fsimage和editing檔案併合併成新的fsimage推送給nn
14.NN節點維護檔案系統樹,不會實際儲存檔案有哪些塊,塊分佈哪些機器上?那麼是誰塊報告給NN節點? DN定期會發送心跳包給NN,每十次心跳就會推送一次blockreport給NN
拓展題
生產上比如NN節點設定記憶體4G ,那麼一般來說NN節點可以維護75%的記憶體的檔案樹,說白了就是 儲存檔名稱。那麼當小檔案特別多,這樣檔名稱會特別多,對NN節點記憶體有壓力,有可能會拖垮HDFS,所以生產上一般要小檔案合併。什麼叫小檔案合併,比如:3個檔案 都是10M的,檔名稱位元組加起來比如12個位元組,那麼合併一個大檔案30M,檔名稱就降低4位元組,這樣對NN節點壓力就降低了。