1. 程式人生 > >hadoop 的一些操作命令整理

hadoop 的一些操作命令整理

格式化(format)hadoop(暫時沒發現的特別的作用):
[email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/hadoop namenode -format


啟動hadoop:
[email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/start-all.sh


jsp檢視java相關的程序


將使用者下的內容拷貝到hdfs中,是在/user/wyq目錄下的。
[email protected] ~ $ hadoop dfs -put /home/wyq/Documents/example/input in
[email protected]
~ $ hadoop dfs -put /home/wyq/Documents/example/input user


快速找到in資料夾
[email protected] ~/Documents/example/input $ hadoop dfs -ls ./in/*\
> test1.txt
Found 1 items
-rw-r--r--   1 wyq supergroup         12 2014-10-09 20:57 /user/wyq/in/test1.txt


需要先啟動hadoop,然後利用hadoop的jar包中的wordcount示例跑程式:
[email protected]
~/Documents/software/hadoop-0.20.203.0 $ bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount in out




檢視hadoop上有哪些目錄     hadoop fs -ls /


直接開啟較深層次的目錄:
[email protected] ~ $ hadoop dfs -ls
Found 3 items
drwxr-xr-x   - wyq supergroup          0 2014-10-09 20:57 /user/wyq/in
drwxr-xr-x   - wyq supergroup          0 2014-10-13 11:06 /user/wyq/out
drwxr-xr-x   - wyq supergroup          0 2014-10-09 20:58 /user/wyq/user
[email protected]
~ $ hadoop dfs -ls ./out


檢視目錄中的檔案內容:
[email protected] ~ $ hadoop dfs -cat ./out/*
hadoop1
hello2
world1
cat: File does not exist: /user/wyq/out/_logs
[email protected] ~ $ hadoop dfs -cat part-r-00000
cat: File does not exist: /user/wyq/part-r-00000
[email protected] ~ $ hadoop dfs -cat /out/part-r-00000
cat: File does not exist: /out/part-r-00000
[email protected] ~ $ hadoop dfs -cat ./out/part-r-00000
hadoop1
hello2
world1


hadoop中沒有當前目錄的概念,即不能用cd來切換目錄。只能用ls將路徑一直查下去。


名稱節點(namenode)起著控制整個hdfs的作用。jobtracker顯示hadoop的工作情況。


jobtracker.jsp: http://localhost:50030
hdfs的監控: http://localhost:50070


hadoop中的檔案內容儲存在實際系統中的檔案樣子:
[email protected] ~/Documents/software/hadoop-0.20.203.0/data $ ls -lR
.:
total 16
drwxrwxr-x 2 wyq wyq 4096 Feb 21  2014 current
drwxrwxr-x 2 wyq wyq 4096 Feb 21  2014 detach
-rw-rw-r-- 1 wyq wyq  157 Feb 21  2014 storage
drwxrwxr-x 2 wyq wyq 4096 Feb 21  2014 tmp


./current:
total 4
-rw-rw-r-- 1 wyq wyq   0 Feb 21  2014 dncp_block_verification.log.curr
-rw-rw-r-- 1 wyq wyq 155 Feb 21  2014 VERSION


./detach:
total 0


./tmp:
total 0


將hdfs中檔案拷貝到使用者系統下:
hdfs dfs -get /data/test/monitorData(或者直接寫該使用者下的檔名) ./


刪除hdfs中的檔案 
hdfs dfs -rmr /data/test/monitorData


檢視HDFS基本統計資訊:
hadoop dfsadmin -report


進入和退出安全模式:(hdfs中的塊是否達到了安全的比例)
hadoop dfsadmin -safemode enter
hadoop dfsadmin -safemode leave


負載均衡:start-balancer.sh


HDFS API:
http://hadoop.apache.org/hdfs/docs/r0.22.0/api/index.html


Hadoop命令大全:
hadoop.apache.org/common/docs/stable/commands_manual.html
hadoop.apache.org/common/docs/stable/api/index.html


hdfs引數的絕對路徑:
hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output




在hadoop上建立一個目錄     hadoop fs -mkdir /user    hadoop fs -mkdir /user/hadoop


檢視hadoop中的特定目錄     hadoop fs -ls /user       hadoop fs -ls /user/hadoop


執行jar包                hadoop jar hdfs1.jar  com.itcast.hadoop.hdfs.HDFSMkdir       hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/input /tmp/output
                        //需要看hadoop-examples-0.20.203.0.jar與jar包是否在同一個目錄下


檢視txt                  hadoop fs -text /user/hadoop/20140113/word.txt




相當於cat功能             hadoop fs -cat /output/




-put相當於複製的功能       hadoop fs -put input/* /tmp/input




echo與管道的結合          echo ”hello hadoop bye hadoop” >>  ~/input/file2


http://localhost:50030/jobtracker.jsp


http://localhost:50070/









相關推薦

hadoop一些操作命令整理

格式化(format)hadoop(暫時沒發現的特別的作用): [email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/hadoop namenode -format 啟動hadoop: [em

HADOOP基本操作命令

itl mapred lang reduce 磁盤 family home file cas Hadoop基本操作命令 在這篇文章中,我們默認認為Hadoop環境已經由運維人員配置好直接可以使用。假設Hadoop的安裝目錄HADOOP_HOME為/home/admin/ha

【MongoDB】MongoDB的一些操作命令

更新 use 使用 查看 count 一個 對象 分頁 ins 我們首先應該知道MongoDB的數據結構:MongoDB:庫-->集合-->JSON對象 查看 show dbs //查看有哪些庫 show collections //查看庫中有哪些

Hadoop常見操作命令列總結

Hadoop常見操作命令列的總結,內容如下: 檢視hdfs檔案系統的根目錄上有哪些檔案 cd /usr/hadoop/hadoop……. (進入安裝目錄) bin/hadoop fs -ls hdfs://h101:9000/ 在/usr下建立had

redis cluster 叢集的一些操作命令

check命令[[email protected] src]# ./redis-trib.rb check 10.166.15.35:7001 >>> Performing Cluster Check (using node 10.166.15.

Vim 常用操作命令整理

h,j,k,l ←↓↑→ 移動游標,相當於四個方向鍵 w,b,e,ge 以單詞的方式移動,可以nw,nb,ne,nge的方式移動n個單詞的距離 W,B,E,gE會以連續字串的方式移動 0,^,g_,移動到行首,行尾以及後面第n行的行尾 gg,G,nG,ngg 移動到檔案頭和檔案尾,以及移動到檔案的第n行,‘可

MySQL的常用操作命令整理

一. MySQL服務操作:啟動MySQL服務:net start mysql停止MySQL服務:net stop mysql進入MySQL資料庫:mysql -h 主機地址 -u使用者名稱 -p使用者密碼退出MySQL操作:quit;重新整理資料庫:flush privile

mongodb常用操作命令整理

mongodb操作命令(注意所有db.開頭命令,請先使用use到指定db再操作) 連線操作資料庫: /usr/local/mongodb-3.0.4/bin/mongo 192.168.6.118:30000/admin 新增分片伺服器: db.runCommand({"

linux系統下的vi編輯器一些常用命令整理

在linux系統下的vi編輯器是一個非常強大的一個文字編輯器。在這裡綜合網上的資料和自己掌握的一小部分把vi編輯器的一些常用命令整理了一下。 vi有兩種命令模式:命令模式(預設),編輯模式 建立、編輯一個檔案: vi 檔名 回車 進入檔案,預設進入的是

hadoop基本操作命令小結

已經搞定,接下來就是開發hadoop程式了。但在這之前熟悉下hadoop的基本操作命令非常有必要,以下就先簡單的小結下: 啟動和關閉Hadoop 啟動Hadoop 1.進入HADOOP_HOME目錄。 2.執行bin/start-all.sh 關閉Hadoop 1

VI使用中常用的一些操作命令彙總

1). 移動游標vi可以直接用鍵盤上的游標來上下左右移動,但正規的vi是用小寫英文字母「h」、「j」、「k」、「l」,分別控制游標左、下、上、右移一格。按「ctrl」+「b」:螢幕往“後”移動一頁。按「ctrl」+「f」:螢幕往“前”移動一頁。按「ctrl」+「u」:螢幕

hadoop一些維護命令使用收集

1.      啟動相關 #在slave節點上啟動datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker 2.      優化相關 #平衡資

redis基本操作命令整理ING

伺服器相關命令 命令 介紹 select database 選擇資料庫(Redis 資料庫編號從 0~15) quit 退出 echo msg 列印

git一些操作命令

生成祕鑰:ssh-keygen -t rsa -C"[email protected]"  ssh-add 把公鑰加到ssh-agent快取記憶體中: ssh-add 檔名 ssh-agent bash                          

linux下的一些常用命令整理

我學的linux時間不長,用的是redhat7.0。因為linux系統的版本不同,所以有些命令會不盡相同,當然,我有什麼錯誤還請大家指出,謝謝 一般常用命令在虛擬機器裡搞比較好 所以說先學會安裝虛擬機器是首要的 安裝虛擬機器比較簡單,我就在這不一一敘述了。

linux下一些常用操作命令

linux 防火墻 端口 1、兩個服務器ssh免授權:ssh-keygen -t rsa 一直回車至結束ssh-copy-id -i /root/.ssh/id_rsa.pub 遠程ip 然後回車 輸入遠程ip密碼搞定,以後訪問就不用驗證密碼了2、壓縮和解壓縮命令: .tar

Centos版Linux 一些常用操作命令

chmod passwd perm sea 發生 搜索命令 ted profile more Linux命令收集 1、文件處理命令:ls 功能描述:顯示目錄文件 命令英文原意:list 命令所在路徑:/bin/ls 執行權限:所有用戶 語法: ls 選項

linux 終端操作一些shall 命令

參數 雜項 全部 含義 運行 shel 終端 刪除 匹配 終端一些常用快捷鍵 按鍵 作用 Ctrl+d 鍵盤輸入結束或退出終端 Ctrl+s 暫停當前程序,暫停後按下任意鍵恢復運行 Ctrl+z 將當前程序放到後臺運行,恢復到前臺為命令fg Ctr

linux操作命令 開發人員需要掌握的一些命令

UC oca roo 找x 其他 .gz 開發人員 幫助 color 1、man  查看幫助 2、命令 --help  簡單幫助 3、help cd  查看一些Linux 命令行的一些內置命令 4、cp 粘貼復制命令   eg:cp yum.log /root/ 5、fi

Mac下如何用SSH連接遠程Linux服務器及Linux一些常用操作命令,更新中.....

oot .... 地址 密碼 res ini 更新 目錄 讀寫 1、 終端命令   a).打開Mac的命令終端   b).輸入ssh -p 22 [email protected] 它會提示你輸入密碼,輸入正確的密碼之後,你就發現已經登陸成功了.(22: 端口號 roo