1. 程式人生 > >hadoop-client命令使用

hadoop-client命令使用

1.hadoop-client命令的使用方法

hadoop-client的命令的使用,都是用{Hadoop_HOME}/bin/hadoop指令碼來呼叫的。

2.常見的hadoop-client的工具命令

(1).FSShell

HDFS(Hadoop Distributed Filesystem)提供一個類似於Unix Shell的命令介面FSShell,通過FSShell可以和HDFS或者其他hadoop平臺支援的檔案系統進行資料互動。命令的格式為:

{Hadoop_HOME}/bin/hadoop fs [args]

命令舉例說明:

a)檢視檔案或目錄的屬性

hadoop fs -ls /user/hadoop/file1

b)刪除一個檔案

hadoop fs -rm /user/hadoop/file1

c)命令是將HDFS資料夾內的檔案合併並保持到本地。

hadoop fs -getmerge -nl /src /opt/output.txt #將/src目錄中的檔案合併,然後寫入到/opt/output.txt檔案中。
hadoop fs -getmerge-nl /src/file1.txt /src/file2.txt /output.txt

其中-nl選項在被合併的檔案的結尾加上換行符

(2).DistCp工具

DistCp工具用來在同一個hadoop叢集或不同hadoop叢集間進行資料的拷貝操作。使用舉例:

hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

(3).jar工具

提交一個jar檔案的hadoop任務

相關推薦

hadoop-client命令使用

1.hadoop-client命令的使用方法 hadoop-client的命令的使用,都是用{Hadoop_HOME}/bin/hadoop指令碼來呼叫的。 2.常見的hadoop-client的工

java -cp 命令 java jar 命令hadoop jar 命令

路徑 arc 參數 www oop jar文件 r文件 依賴包 clas -cp 和 -classpath 一樣,是指定類運行所依賴其他類的路徑,通常是類庫,jar包之類,需要全路徑到jar包,window上分號“;” java -cp .;myClass.jar pa

svn client命令

because 步驟 eth htm 了解 merge 放棄 tracking 項目 經常使用svn命令說明 1、從SVN倉庫中檢索出代碼到工作拷貝: # svn checkout https://svn.sinaapp.com/appname [wor

Hadoop Shell命令

sta 寫入 nod 超級用戶 imp 多個 進行 crc校驗 gui FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkd

Hadoop Ls命令添加顯示條數限制參數

實現 處理 objects none ada indicate isp 基本 tex 前言在hadoop的FsShell命令中,預計非常多人比較經常使用的就是hadoop fs -ls,-lsr,-cat等等這種與Linux系統中差點兒一致的文件系統相關的命令.可是細致

Hadoop Shell命令(基於linux操作系統上傳下載文件到hdfs文件系統基本命令學習)

指南 統計信息 ... err nor 清空 ext -- als Apache-->hadoop的官網文檔命令學習:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 調用文件系統

hadoop fs命令

.com png ima 技術分享 inf oop class bsp http hadoop fs命令

Hadoop常用命令

hadoop常用指令網絡配置hostname 查看珠璣名vim /etc/sysconfig/network 設置主機名ifconfig 查看ip情況vim /etc/sysconfig/network-scripts/ifcfg-eth0 設置網絡DEVICE="eth0" 接口名(設

大數據之---hadoop常用命令大全終極篇

大數據 Hadoop 軟件環境 RHEL6.8 hadoop2.8.1 apache-maven-3.3.9findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45(操作環境root安裝啟動的hadoop)hadoop fs == hdfs dfs 將文件上傳至ha

hadoop fs 命令詳解

detail -s AD 命令詳解 style 宋體 details s/4 AI 轉載: https://blog.csdn.net/bgk083/article/details/49454209hadoop fs 命令詳解

Hadoop常用命令總結

結構 換行 表示 hdf 幫助 需要 創建 data deny 一、前述 分享一篇hadoop的常用命令的總結,將常用的Hadoop命令總結如下。 二、具體 1、啟動hadoop所有進程start-all.sh等價於start-dfs.sh + start-yarn.

hadoop shell命令遠端提交

hadoop shell命令遠端提交 一,hadoop shell命令遠端提交原理     hadoop shell命令執行目前很多場景下面主要通過 Linux shell來互動操作,無論對

hadoop fs 命令使用(轉)

轉載自:https://blog.csdn.net/mulangren1988/article/details/54860924 hadoop 檔案系統配置檔案按如下查詢順序 1. hadoop jar裡的hadoop-default.xml 2. $HADOOP_CONF_DIR下的had

hadoop shell命令操作(二)

用mapreduce實現wordcount,這個程式碼不用我們自己寫,有專門的jar包,在 /home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce裡 hadoop-mapreduce-examples-2.6.5.jar 在hdfs裡

Hadoop fs命令詳解

Hadoop框架之HDFS的shell操作 補充: 1.下載命令:hadoop fs -get HDFS上檔案路徑 下載到Linux儲存路徑 2.使用遞迴刪除命令時候,hadoop fs -rmr 需要刪除的目錄 (直接跟需要刪除的目錄,會遞迴刪除目錄裡面的其他檔案和內

Hadoop常用命令引數介紹

常用命令 - help 功能:輸出這個命令引數手冊 - ls 功能:顯示目錄資訊 示例:hadoop fs -ls hdfs://hadoop-hello/ 備註:這些引數中,所有的hdfs路徑都可以簡寫–>hadoop fs -ls /等同於上一條命令效果 - mkdir 功能:在h

Springboot新增hadoop-client maven依賴導致內建tomcat無法啟動

啟動報錯: Caused by: org.springframework.boot.context.embedded.EmbeddedServletContainerException: Unable to start embedded Tomcat at

hadoop fs 命令使用

hadoop 檔案系統配置檔案按如下查詢順序1. hadoop jar裡的hadoop-default.xml 2. $HADOOP_CONF_DIR下的hadoop-default.xml 3. $HADOOP_CONF_DIR下的hadoop-site.xml。使用loc

Hadoop基礎】hadoop fs 命令

1,hadoop fs –fs [local | <file system URI>]:宣告hadoop使用的檔案系統,如果不宣告的話,使用當前配置檔案配置的,按如下順序查詢:hadoop jar裡的hadoop-default.xml->$HADOOP_

Hadoop 那些 命令

hdfs fsck 在HDFS中,提供了fsck命令,用於檢查HDFS上檔案和目錄的健康狀態、獲取檔案的block塊資訊和位置資訊等。 hadoop fs -ls hdfs://bdpe101:9000/user/oap/oaptest/0.5-allFileFormat/tpcds