為hadoop叢集中單個datanode新增硬碟
阿新 • • 發佈:2019-02-09
最近實驗室的小叢集當中的一個datanode硬碟容量快用完了,考慮著要加塊1T的新硬碟,但是卻被這麼一個小問題折騰了好一會才解決,特地在此記錄一下,希望為看到這篇文章的朋友們節約寶貴的時間。
Ubuntu環境下掛載新硬碟
這篇帖子已經寫得很詳細了,寫得很不錯,在Ubuntu環境下掛載新硬碟可以看這篇。
唯一有點區別的是“硬碟在系統啟動自動掛載”這一部分。我的配置為:
/dev/sdb /home/hadoop/hdp-data/data1/hdfs ext4 defaults 0 0
修改hdfs-site.xml檔案
給被掛載的目錄賦予許可權
sudo chown -R hadoop:hadoop /home/hadoop/hdp-data/data1/hdfs修改hdfs-site.xml
<property> <name>dfs.datanode.data.dir</name> <value> file:/opt/hadoop-2.7.2/tmp/dfs/data, file:/home/hadoop/hdp-data/data1/hdfs </value> </property>
注:用“,”將新舊目錄隔開
如果你有HBase的話,也需要在 conf/hdfs-site.xml 中做相同更改
檢測
啟動dfs和yarn之後,執行如下命令:
- ./bin/hdfs dfsadmin -report
檢視需要新增hdfs容量的節點,容量是否有增加。