1. 程式人生 > >大資料開發之Hadoop篇----hdfs垃圾回收機制配置

大資料開發之Hadoop篇----hdfs垃圾回收機制配置

其實要啟動hdfs上的垃圾回收機制只需要配置兩個引數就可以了,也是在core-site.xml上配置就好了,我們先去官網看下這個兩引數的解釋。

官網的解釋是:Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If trash is disabled server side then the client side configuration is checked. If trash is enabled on the server side then the value configured on the server is used and the client configuration value is ignored.

當fs.trash.interval設定為0的時候是禁用了垃圾回收機制的功能的,而其設定是按分鐘來的,現在我們設定為1440,一天的時間,而生產上我們一般是設定成7天或者14天這樣子的。

而第二個引數fs.trash.checkpoint.interval的意思是:Number of minutes between trash checkpoints. Should be smaller or equal to fs.trash.interval. If zero, the value is set to the value of fs.trash.interval. Every time the checkpointer runs it creates a new checkpoint out of current and removes checkpoints created more than fs.trash.interval minutes ago.

意味這兩個檢查點之間的分鐘數,一般是要少於或者等於fs.trash.interval的,如果設定為0的話就等同與fs.trash.interval,所以生產上我們就直接設定為0。

我現在試下刪除一個檔案

尤其最後一句話,刪除只是把檔案移動到了一個路徑,這個路徑在:

hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/LICENSE.txt。這個就是回收站的路徑了,想恢復你直接mv回去就行了。