1. 程式人生 > >叢集HDFS檔案的操作(Shell)

叢集HDFS檔案的操作(Shell)

叢集HDFS檔案的操作(Shell)

1.基本語法

1.既能操作分散式也能操作本地:bin/hadoop fs 具體命令
2.只能操作分散式:bin/hdfs dfs 具體命令
注:如果配了hadoop的環境變數可以省去bin/

2.一些幫助理解的例子

2.1命令執行條件(啟動叢集)

1.執行命令:[[email protected] hadoop-2.7.2]$

start-dfs.sh
2.再執行命令:[[email protected] hadoop-2.7.2]$ start-yarn.sh

2.2檢視常用命令

1.執行命令:[[email protected] hadoop-2.7.2]$ hadoop fs
在這裡插入圖片描述

2.3檢視單個命令詳情

1.執行命令:hadoop fs -help [命令]
2.例:
在這裡插入圖片描述

2.4一些思考

1.-setrep:設定HDFS中檔案的副本數量
2.執行命令:hadoop fs -setrep 10 /user/lsl/input/wc.input
3.結果:
在這裡插入圖片描述
在這裡插入圖片描述
4.現象說明:
這裡設定的副本數只是記錄在NameNode的元資料中,是否真的會有這麼多副本,還得看DataNode的數量。因為目前只有3臺裝置,最多也就3個副本,只有節點數增加到10臺時,副本數才能真正達到10。

版權宣告:本部落格為記錄本人自學感悟,轉載需註明出處!
https://me.csdn.net/qq_39657909