hadoop一些維護命令使用收集
1. 啟動相關
|
#在slave節點上啟動datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker |
2. 優化相關
|
#平衡資料 start-balancer.sh |
3. Dfsadmin相關用法
|
#更新節點配置檔案後使生效，如移除或增加節點 hadoop dfsadmin –refreshNodes #用這個命令可以快速定位出哪些節點down掉了，HDFS的容量以及使用了多少，以及每個節點的硬碟使用情況 hadoop dfsadmin –report #安全模式 hadoop dfsadmin -safemode enter | leave | get | wait #設定檢查點，在安全模式下執行 hadoop dfsadmin -saveNamespace |
4. Fsck相關用法
|
#檢視某個檔案放在哪幾個節點上，定們機架的位置： [email protected]:~$ hadoop fsck /user/lihui_luo/softs/hadoop.tar.gz -files -blocks -racks /user/lihui_luo/softs/hadoop.tar.gz 44722229 bytes, 1 block(s): OK 0. blk_-7730007861469543539_11188 len=44722229 repl=3 [/default-rack/192.168.42.21:50010, /default-rack/192.168.42.22:50010, /default-rack/192.168.42.23:50010] #如果有損壞的檔案，使用下面命令刪除 hadoop fsck --delete |
5. Namenode操作相關
|
#Hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint] #hadoop初始格式化 hadoop nameNode –format # |
6. 備份恢復升級
|
#升級出現錯誤：Incompatible build versions，namenode和datanode版本不一致，可能的解決方法如下，或者用master的安裝配置檔案分發到所有slaves master上執行：hadoop namenode -upgrade slave上執行：hadoop datanode –upgrade #備份之前設定檢查點，使將edit內容寫入fsimage #先進行安全模式，停止寫入內容到edit hadoop dfsadmin -saveNamespace hadoop dfsadmin -safemode leave #修改複製備份數，遞迴將目錄/下的檔案備份數改為1 #dfs.replication引數只是對寫入時對生效 hadoop fs -setrep -R 1 / |
相關推薦
hadoop一些維護命令使用收集
1. 啟動相關 #在slave節點上啟動datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker 2. 優化相關 #平衡資
oracle 11g RAC 啟動和關閉和一些維護命令
在Oracle 11g環境中，Oracle的關閉和啟動順序如下：關閉順序： 1、關閉資料庫,oracl使用者執行srvctl命令： [[email protected] ~]$ srvctl stop database -d ORCL ---停止所有
內網滲透一些命令收集整理
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
收集的55個Linux系統管理中常用的一些shell命令
1.顯示消耗記憶體/CPU最多的10個程序 複製程式碼程式碼如下: ps aux | sort -nk +4 | tail ps aux | sort -nk +3 | tail 2.檢視程序 按記憶體從大到小排列 複製程式
hadoop 的一些操作命令整理
格式化(format)hadoop(暫時沒發現的特別的作用)： [email protected] ~/Documents/software/hadoop-0.20.203.0 $ bin/hadoop namenode -format 啟動hadoop： [em
Hadoop 大數據錯誤收集
safe .sh ast slave 文件 刪除 自己 div daemon 以下錯誤只針對自己在hadoop使用過程中遇到的錯誤，僅供參考！ 《1》進入了安全模式，需要退出 hadoop dfsadmin -safemode leave 《2》slave節點的n
linux學習之二：日常的基礎命令收集
幫助文檔 gedit 查看 日期 取整 style 位置 某月 linux 1、 ls 2、pwd 顯示當前目錄所在位置 3、date 日期時間 4、cal 日歷 默認顯示當前該月 cal 2012 ：查看2012年的日歷 cal 月 年 ： 查看某年某月
介紹hadoop中的hadoop和hdfs命令
命令行 註意 property 密碼 編輯 format gety node job 有些hive安裝文檔提到了hdfs dfs -mkdir ，也就是說hdfs也是可以用的，但在2.8.0中已經不那麽處理了，之所以還可以使用，是為了向下兼容. 本文簡要介紹一下有關的命令，
運行窗口的一些小命令
管理器 註冊 啟動 打開 資源 art 遠程桌面連接 添加 win 把我最近常用到的一些命令記錄下來，以後用到其他的再慢慢添加。 打開運行窗口 win+R。 regedit----------註冊表編輯器 explorer-------打開資源管理
HADOOP基本操作命令
itl mapred lang reduce 磁盤 family home file cas Hadoop基本操作命令 在這篇文章中，我們默認認為Hadoop環境已經由運維人員配置好直接可以使用。假設Hadoop的安裝目錄HADOOP_HOME為/home/admin/ha
Linux的一些常用命令
shell1.gksu 路徑可執行程序，能實現gnome圖標啟動的root權限運行本文出自 “johjoh” 博客，請務必保留此出處http://johjoh.blog.51cto.com/9441938/1948154Linux的一些常用命令
oralce數據庫常用到的一些sql命令（加字段註釋，修改數據之類）
一個 png 找到 sql命令 sub 字段名 tab date font 最近開始接觸oralce，整理了一下最近使用 pl/sql 常用到的一些sql命令 1.修改表中的數據 編寫查詢語句及條件，然後加上"FOR UPDATE"，"FOR UPDATE"是獲得OACLE
【MongoDB】MongoDB的一些操作命令
更新 use 使用 查看 count 一個 對象 分頁 ins 我們首先應該知道MongoDB的數據結構：MongoDB:庫-->集合-->JSON對象 查看 show dbs //查看有哪些庫 show collections //查看庫中有哪些
oracle表空間查詢維護命令大全之中的一個(數據表空間)史上最全
ava 劃分 man max rac 帳戶 oca nio msi 表空間是數據庫的邏輯劃分，一個表空間僅僅能屬於一個數據庫。全部的數據庫對象都存放在建立指定的表空間中。但主要存放的是表， 所以稱作表空間。在oracle 數據庫中至少存在
docker 的一些基本命令
刪除 打包 commit 哪些 image 基本命令 現在 -o hadoop 最近用了幾天的docker，搞得還是挺好玩的，記下一些日常用的命令吧 docker load < **.tar 將tar包好的鏡像導入本地 docker info 看docker
MHA 日常維護命令集
故障轉移 show tar manager one less 命令集 efault 決定 MHA 日常維護命令集 1.查看ssh登陸是否成功 masterha_check_ssh --global_conf=/etc/masterha/masterha_default.co
SQLServer一些基礎命令
數據操作 Language key name null varchar 應該 creat sql SQL PRIMARY KEY 約束主鍵必須唯一，主鍵列不能為NULL每個表都應該有一個主鍵，並且每個表只能有一個主鍵 FOREIGH KEY 待學習 創建表Create Ta
Linux配置Hadoop 常用的命令
roo scripts lin etc 環境 主機 eth sts fig uname -a 看主機位數 ip a 看IP地址 vi /etc/sysconfig/network 改主機的名字 vi /etc/hosts 改映射關系 vi /etc/sysconfig/ne
Docker的一些常用命令
docker使用docker過程中，常見的一些docker命令：docker ps -adocker exec -i -t 51da4de7788f /bin/bashdocker stop 67046b66fc9cdocker rm 67046b66fc9cdocker imagesdocker pull
cisco 一些基本命令
交換 地址 虛擬 p地址 router -s mas ber copy >en 用戶模式#conf t 特權模式(config)#int f0/0