1. 程式人生 > >hdfs刪除幾天之前的數據

hdfs刪除幾天之前的數據

dfs time class arr bsp div for 之前 dev

刪除幾天之前的數據

#!/bin/bash
array=(
/CC/aaa
/CC/bbb
/CC/ccc
)
for i in ${array[@]};do
hdfs dfs -ls $i | awk ‘BEGIN{ one_days_ago=strftime("%F", systime()-2*24*3600) }{ split($6,arr," "); if(arr[1]<one_days_ago){printf "%s\n", $8} }‘ |xargs hdfs dfs -rm -r >/dev/null 2>&1
done

hdfs刪除幾天之前的數據