今天幫一個朋友處理hdfs上Non DFS Used佔用很大的問題，
從hadoop UI介面看到的節點資訊儲存容量：
Capacity| Used| Non DFS Used| Remaining
4.46T| 1.69T| 1.46T| 1.31T
Non DFS Used怎麼有這麼大，於是先看看dfs.datanode.du.reserved配置，10G很正常，那去看看dfs.datanode.data.dir目錄，是單獨的硬碟掛載的，沒有大的資料檔案，奇怪了，網上也沒有這方面的內容，問了下情況，叢集之前重新安裝過，而且沒有刪除之前的資料，相當於對hadoop進行多次的-format命令，

網上有提到在執行格式化Hadoop namenode -format命令時，要避免namenode的namdespaceid與datanode的namespaceid的不一致。這是因為每格式化一次就會產生name,data,temp等臨時檔案記錄資訊，多次格式化會產生很多的name,data,temo，這樣容易導致id的不同，使hadoop不能正常執行。每次執行格式化-format命令時，就需要將datanode和namenode上原來的data,temp檔案刪除。

檢視群集狀態，
$ hdfs dfsadmin -report
Configured Capacity: 53895745536 (50.19 GB)
Present Capacity:8199200768 (7.64 GB)
DFS Remaining:8199159808 (7.64 GB)
DFS Used: 4048 (4KB)
DFS Used%: 0%
Under replicatedblocks: 0
Blocks with corruptreplicas: 0
Missing blocks: 0
多次format可能出現上邊的現象，Configured Capacity容量很大(50.19 GB)，Present Capacity當前可用的很小(7.64 GB)，目前只能使用7.64 GB的儲存空間。

正常應該是這樣的Configured Capacity和Present Capacity差不太多。

Configured Capacity: 1029272616960 (958.58 GB)
Present Capacity: 980762734592 (913.41 GB)
DFS Remaining: 949024047104 (883.85 GB)
DFS Used: 31738687488 (29.56 GB)
DFS Used%: 3.24%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

這個問題引起的原因是重新安裝叢集的時候沒有將原來的nn、dn等目錄資料清除，datanode儲存目錄可能出現了多個BP開頭的檔案，其實只有一個是現在使用的，其他的是之前的，需要清除，與VERSION檔案的日期一直的是當前使用的，將其他的MV到一個目錄，觀察下業務資料是否正常，沒問題再刪除了。

還有一種情況：

hdfs Non DFS Used 佔用空間大，用du -h 看磁碟空間還在，但web頁面顯示Non DFS Used佔用特別多的空間，整個叢集的Remaining空間幾乎沒有了
解決方案：
重啟hadoop 的 historyserver
mr-jobhistory-daemon.sh start historyserver
重啟dfs
start-dfs.sh
產生的原因：
因為叢集裡啟動了historyserver，這個程序在刪除了臨時檔案之後，並沒有釋放檔案控制代碼，所以導致Non DFS Used 數值很大，而用df和du檢視的時候，磁碟空間並未被佔用

參考：

http://blog.csdn.net/bottle123/article/details/49869403