大資料知識點記錄(二)
阿新 • • 發佈:2018-12-18
1.hdfs:hadoop distribute file system
要點:a.一次寫入,多次讀出,且不支援檔案的修改,適合用來做大資料分析底層儲存服務,不能和網盤畫等號
b.延遲過大,網路開銷大,成本很高
c.shell命令列客戶端使用方法:hadoop fs <args> (hdfs dfs <args>老版本命令)
hadoop fs -ls hdfs://node-1:9000
hadoop fs -ls / :斜槓是根目錄
-rmr 遞迴刪除
-cp 複製
d.hadoop fs -ls -h /hello :-h是指人性化操作,輸出檔案大小
hadoop fs -mkdir -p <paths> 表示會建立路徑中的各級父目錄
hadoop fs -put [-f] [-p] [分散式指定路徑下]
-f:覆蓋目的地,不加就不會覆蓋
hadoop fs -get [-p] [-f] [-crc] <src> <localdst>
-crc:為下載的檔案寫CRC校檢和
e.echo 2>2.txt 寫入 cat 檢視 輸出到stdout