hadoop 的一些操作命令整理
[email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/hadoop namenode -format
啟動hadoop:
[email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/start-all.sh
jsp檢視java相關的程序
將使用者下的內容拷貝到hdfs中,是在/user/wyq目錄下的。
[email protected] ~ $ hadoop dfs -put /home/wyq/Documents/example/input in
[email protected]
快速找到in資料夾
[email protected] ~/Documents/example/input $ hadoop dfs -ls ./in/*\
> test1.txt
Found 1 items
-rw-r--r-- 1 wyq supergroup 12 2014-10-09 20:57 /user/wyq/in/test1.txt
需要先啟動hadoop,然後利用hadoop的jar包中的wordcount示例跑程式:
[email protected]
檢視hadoop上有哪些目錄 hadoop fs -ls /
直接開啟較深層次的目錄:
[email protected] ~ $ hadoop dfs -ls
Found 3 items
drwxr-xr-x - wyq supergroup 0 2014-10-09 20:57 /user/wyq/in
drwxr-xr-x - wyq supergroup 0 2014-10-13 11:06 /user/wyq/out
drwxr-xr-x - wyq supergroup 0 2014-10-09 20:58 /user/wyq/user
檢視目錄中的檔案內容:
[email protected] ~ $ hadoop dfs -cat ./out/*
hadoop1
hello2
world1
cat: File does not exist: /user/wyq/out/_logs
[email protected] ~ $ hadoop dfs -cat part-r-00000
cat: File does not exist: /user/wyq/part-r-00000
[email protected] ~ $ hadoop dfs -cat /out/part-r-00000
cat: File does not exist: /out/part-r-00000
[email protected] ~ $ hadoop dfs -cat ./out/part-r-00000
hadoop1
hello2
world1
hadoop中沒有當前目錄的概念,即不能用cd來切換目錄。只能用ls將路徑一直查下去。
名稱節點(namenode)起著控制整個hdfs的作用。jobtracker顯示hadoop的工作情況。
jobtracker.jsp: http://localhost:50030
hdfs的監控: http://localhost:50070
hadoop中的檔案內容儲存在實際系統中的檔案樣子:
[email protected] ~/Documents/software/hadoop-0.20.203.0/data $ ls -lR
.:
total 16
drwxrwxr-x 2 wyq wyq 4096 Feb 21 2014 current
drwxrwxr-x 2 wyq wyq 4096 Feb 21 2014 detach
-rw-rw-r-- 1 wyq wyq 157 Feb 21 2014 storage
drwxrwxr-x 2 wyq wyq 4096 Feb 21 2014 tmp
./current:
total 4
-rw-rw-r-- 1 wyq wyq 0 Feb 21 2014 dncp_block_verification.log.curr
-rw-rw-r-- 1 wyq wyq 155 Feb 21 2014 VERSION
./detach:
total 0
./tmp:
total 0
將hdfs中檔案拷貝到使用者系統下:
hdfs dfs -get /data/test/monitorData(或者直接寫該使用者下的檔名) ./
刪除hdfs中的檔案
hdfs dfs -rmr /data/test/monitorData
檢視HDFS基本統計資訊:
hadoop dfsadmin -report
進入和退出安全模式:(hdfs中的塊是否達到了安全的比例)
hadoop dfsadmin -safemode enter
hadoop dfsadmin -safemode leave
負載均衡:start-balancer.sh
HDFS API:
http://hadoop.apache.org/hdfs/docs/r0.22.0/api/index.html
Hadoop命令大全:
hadoop.apache.org/common/docs/stable/commands_manual.html
hadoop.apache.org/common/docs/stable/api/index.html
hdfs引數的絕對路徑:
hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output
在hadoop上建立一個目錄 hadoop fs -mkdir /user hadoop fs -mkdir /user/hadoop
檢視hadoop中的特定目錄 hadoop fs -ls /user hadoop fs -ls /user/hadoop
執行jar包 hadoop jar hdfs1.jar com.itcast.hadoop.hdfs.HDFSMkdir hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/input /tmp/output
//需要看hadoop-examples-0.20.203.0.jar與jar包是否在同一個目錄下
檢視txt hadoop fs -text /user/hadoop/20140113/word.txt
相當於cat功能 hadoop fs -cat /output/
-put相當於複製的功能 hadoop fs -put input/* /tmp/input
echo與管道的結合 echo ”hello hadoop bye hadoop” >> ~/input/file2
http://localhost:50030/jobtracker.jsp
http://localhost:50070/
相關推薦
hadoop 的一些操作命令整理
格式化(format)hadoop(暫時沒發現的特別的作用): [email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/hadoop namenode -format 啟動hadoop: [em
HADOOP基本操作命令
itl mapred lang reduce 磁盤 family home file cas Hadoop基本操作命令 在這篇文章中,我們默認認為Hadoop環境已經由運維人員配置好直接可以使用。假設Hadoop的安裝目錄HADOOP_HOME為/home/admin/ha
【MongoDB】MongoDB的一些操作命令
更新 use 使用 查看 count 一個 對象 分頁 ins 我們首先應該知道MongoDB的數據結構:MongoDB:庫-->集合-->JSON對象 查看 show dbs //查看有哪些庫 show collections //查看庫中有哪些
Hadoop常見操作命令列總結
Hadoop常見操作命令列的總結,內容如下: 檢視hdfs檔案系統的根目錄上有哪些檔案 cd /usr/hadoop/hadoop……. (進入安裝目錄) bin/hadoop fs -ls hdfs://h101:9000/ 在/usr下建立had
redis cluster 叢集的一些操作命令
check命令[[email protected] src]# ./redis-trib.rb check 10.166.15.35:7001 >>> Performing Cluster Check (using node 10.166.15.
Vim 常用操作命令整理
h,j,k,l ←↓↑→ 移動游標,相當於四個方向鍵 w,b,e,ge 以單詞的方式移動,可以nw,nb,ne,nge的方式移動n個單詞的距離 W,B,E,gE會以連續字串的方式移動 0,^,g_,移動到行首,行尾以及後面第n行的行尾 gg,G,nG,ngg 移動到檔案頭和檔案尾,以及移動到檔案的第n行,‘可
MySQL的常用操作命令整理
一. MySQL服務操作:啟動MySQL服務:net start mysql停止MySQL服務:net stop mysql進入MySQL資料庫:mysql -h 主機地址 -u使用者名稱 -p使用者密碼退出MySQL操作:quit;重新整理資料庫:flush privile
mongodb常用操作命令整理
mongodb操作命令(注意所有db.開頭命令,請先使用use到指定db再操作) 連線操作資料庫: /usr/local/mongodb-3.0.4/bin/mongo 192.168.6.118:30000/admin 新增分片伺服器: db.runCommand({"
linux系統下的vi編輯器一些常用命令整理
在linux系統下的vi編輯器是一個非常強大的一個文字編輯器。在這裡綜合網上的資料和自己掌握的一小部分把vi編輯器的一些常用命令整理了一下。 vi有兩種命令模式:命令模式(預設),編輯模式 建立、編輯一個檔案: vi 檔名 回車 進入檔案,預設進入的是
hadoop基本操作命令小結
已經搞定,接下來就是開發hadoop程式了。但在這之前熟悉下hadoop的基本操作命令非常有必要,以下就先簡單的小結下: 啟動和關閉Hadoop 啟動Hadoop 1.進入HADOOP_HOME目錄。 2.執行bin/start-all.sh 關閉Hadoop 1
VI使用中常用的一些操作命令彙總
1). 移動游標vi可以直接用鍵盤上的游標來上下左右移動,但正規的vi是用小寫英文字母「h」、「j」、「k」、「l」,分別控制游標左、下、上、右移一格。按「ctrl」+「b」:螢幕往“後”移動一頁。按「ctrl」+「f」:螢幕往“前”移動一頁。按「ctrl」+「u」:螢幕
hadoop一些維護命令使用收集
1. 啟動相關 #在slave節點上啟動datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker 2. 優化相關 #平衡資
redis基本操作命令整理ING
伺服器相關命令 命令 介紹 select database 選擇資料庫(Redis 資料庫編號從 0~15) quit 退出 echo msg 列印
git一些操作命令
生成祕鑰:ssh-keygen -t rsa -C"[email protected]" ssh-add 把公鑰加到ssh-agent快取記憶體中: ssh-add 檔名 ssh-agent bash
linux下的一些常用命令整理
我學的linux時間不長,用的是redhat7.0。因為linux系統的版本不同,所以有些命令會不盡相同,當然,我有什麼錯誤還請大家指出,謝謝 一般常用命令在虛擬機器裡搞比較好 所以說先學會安裝虛擬機器是首要的 安裝虛擬機器比較簡單,我就在這不一一敘述了。
linux下一些常用操作命令
linux 防火墻 端口 1、兩個服務器ssh免授權:ssh-keygen -t rsa 一直回車至結束ssh-copy-id -i /root/.ssh/id_rsa.pub 遠程ip 然後回車 輸入遠程ip密碼搞定,以後訪問就不用驗證密碼了2、壓縮和解壓縮命令: .tar
Centos版Linux 一些常用操作命令
chmod passwd perm sea 發生 搜索命令 ted profile more Linux命令收集 1、文件處理命令:ls 功能描述:顯示目錄文件 命令英文原意:list 命令所在路徑:/bin/ls 執行權限:所有用戶 語法: ls 選項
linux 終端操作與一些shall 命令
參數 雜項 全部 含義 運行 shel 終端 刪除 匹配 終端一些常用快捷鍵 按鍵 作用 Ctrl+d 鍵盤輸入結束或退出終端 Ctrl+s 暫停當前程序,暫停後按下任意鍵恢復運行 Ctrl+z 將當前程序放到後臺運行,恢復到前臺為命令fg Ctr
linux操作命令 開發人員需要掌握的一些命令
UC oca roo 找x 其他 .gz 開發人員 幫助 color 1、man 查看幫助 2、命令 --help 簡單幫助 3、help cd 查看一些Linux 命令行的一些內置命令 4、cp 粘貼復制命令 eg:cp yum.log /root/ 5、fi
Mac下如何用SSH連接遠程Linux服務器及Linux一些常用操作命令,更新中.....
oot .... 地址 密碼 res ini 更新 目錄 讀寫 1、 終端命令 a).打開Mac的命令終端 b).輸入ssh -p 22 [email protected] 它會提示你輸入密碼,輸入正確的密碼之後,你就發現已經登陸成功了.(22: 端口號 roo