大數據(hdfs集群及其集群的高級管理)
阿新 • • 發佈:2019-01-26
persist day logging 高級 目錄 error bin ogg ror
大數據課程第二天
偽分布式hadoop的啟動停止腳本[使用]
sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager ? shell腳本 xxx.sh ls mkdir hadoop-start.sh sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager ? chmod 744 hadoop-start.sh
?
1. 相對路徑
./hadoop-start.sh
2. 絕對路徑
/opt/install/hadoop-2.5.2/hadoop-stop.sh
HDFS的集群
-
HDFS配置集群的原理分析
-
ssh免密登陸
-
通過工具生成公私鑰對
ssh-keygen -t rsa
-
公鑰發送遠程主機
ssh-copy-id 用戶@ip
-
-
修改slave文件
vi /opt/install/hadoop2.5.2/etc/hadoop/slaves
?
slavesip -
HDFS的集群搭建
-
ssh免密登陸
ssh-keygen -t rsa
ssh-copy-id 用戶@ip -
清除mac地址的影響
rm -rf /etc/udev/rule.d/70-persistence.net.rules
-
設置網絡
1. ip地址設置 主機名 映射 關閉防火墻 關閉selinux
-
安裝hadoop,jdk
1. 安裝jdk 2. hadoop解壓縮 3. 配置文件 hadoop-env.sh core-site.xml hdfs-site.xml yarn
-
HDFS高級管理內容
-
NameNode持久化[了解]
-
什麽是NameNode的持久化
-
FSImage和EditsLog文件默認存儲的位置
#默認存儲位置: /opt/install/hadoop-2.5.2/data/tmp/dfs/name
hadoop.tmp.dir=/opt/install/hadoop-2.5.2/data/tmp
dfs.namenode.name.dir=file://${hadoop.tmp.dir}/dfs/name
dfs.namenode.edits.dir = ${dfs.namenode.name.dir} -
自定義FSImage和EditsLog的存儲位置?
hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>/xxx/xxx</value>
</property>
?
<property>
<name>dfs.namenode.edits.dir</name>
<value>/xxx/xxx<</value>
</property> -
安全模式 safemode
每一次從新啟動NameNode時,都會進行EditsLog與FSImage的匯總,為了避免這個過程中,用戶寫操作會對系統造成影響,HDFS設置了安全模式(safemode),在安全模式中,不允許用戶做寫操作.完成合並後,安全模式會自動退出
手工幹預安全模式
bin/hdfs dfsadmin -safemode enter|leave|get
-
-
SecondaryNameNode
-
定期合並FSImage和EditsLog
-
可以在NameNode進程宕機,FSImage和EditsLog硬盤損壞的情況下,部分還原NameNode數據
-
-
SecondaryNameNode獲取的FSImage和EditsLog 存儲位置 /opt/install/hadoop2.5.2/data/tmp/dfs/namesecondary #secondarynamenode還原namenode數據的方式 #rm -rf /opt/install/hadoop2.5.2/data/tmp/dfs/namesecondary/in_use.lock 1. 指定namenode持久化中FSImage 和 EditsLog的新位置 hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> <value>file:///opt/install/nn/fs</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///opt/install/nn/edits</value> </property> 2. kill namenode 目的為了演示 namenode 當機 日誌查看/logs/hadoop-root-namenode-hadoop.log tail -100 查看最新的100行 3. 通過SecondaryNameNode恢復NameNode sbin/hadoop-daemon.sh start namenode -importCheckpoint 如果namenode沒啟動,查看查看hadoop2.5/data/tmp/dfs/namesecondary目錄是否被鎖,如果鎖掉則刪掉該目錄下的in_use.lock
大數據(hdfs集群及其集群的高級管理)