2. 程式人生 > >shell之刪除elasticsearch30天以前的索引

shell之刪除elasticsearch30天以前的索引

阿新 • • 發佈：2018-10-15
pro $1 one check source profile line pri 日期轉換

在elasticsearch的運維工作中，由於es每天會產生大量的日誌，如果一直保存不進行刪除的話，再大的磁盤空間也會不夠用，由此需要刪除滿足條件的index，從而釋放磁盤空間；
我們公司的es要求只保留30天的日誌即可，超出30天的index則自動進行刪除；
es-index-delete-30days-ago.sh

#!/bin/bash
##############################################
#Author: Liuzhengwei - [email protected]
#QQ:1135960569
#Last modified: 2018-10-15 16:29
#Filename:es-index-delete-30days-ago
#Description: 通過任務計劃自動刪除es中30天以前的索引，以釋放空間
##############################################
source /etc/profile
#定義刪除30天以前的函數
delete_indices(){
    check_day=`date -d ‘-30 days‘ ‘+%F‘`
    index_day=$1
    #將日期轉換為時間戳
    check_day_timestamp=`date -d "$check_day" +%s`
    index_day_timestamp=`date -d "$index_day" +%s`
    #當索引的時間戳值小於當前日期30天前的時間戳時，刪除此索引
    if [ ${index_day_timestamp} -lt ${check_day_timestamp} ];then
        #轉換日期格式
        format_date=`echo $1 | sed ‘s/-/\./g‘`
        curl -XDELETE http://10.78.1.184:9200/*$format_date
    fi
}

curl -XGET http://10.78.1.184:9200/_cat/indices | awk -F" " ‘{print $3}‘ | awk -F"-" ‘{print $NF}‘ | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed ‘s/\./-/g‘ | while read LINE
do
    #調用索引刪除函數
    delete_indices $LINE
done

任務計劃，每天執行一次：

0 2 * * * /server/scripts/es-index-delete-30days-ago.sh &> /dev/null

shell之刪除elasticsearch30天以前的索引

相關推薦

shell之刪除elasticsearch30天以前的索引

pro $1 one check source profile line pri 日期轉換 在elasticsearch的運維工作中，由於es每天會產生大量的日誌，如果一直保存不進行刪除的話，再大的磁盤空間也會不夠用，由此需要刪除滿足條件的index，從而釋放磁盤空間；我們

刪除30天以前的backup.sql

刪除30天以前的backup.sql公司要求：現在公司業務上數據庫備份每天00點實行完全備份，然後這樣一直下去的話，會占用大量的磁盤容量，然後與開發人員溝通，然後決定數據庫備份在服務器保存30天(30天以前的刪除)！#!/bin/bash #delete 30 days ago backup.sql #Dat

Linux shell 自動刪除n天前日誌

linux是一個很能自動產生檔案的系統，日誌、郵件、備份等。雖然現在硬碟廉價，我們可以有很多硬碟空間供這些檔案浪費，讓系統定時清理一些不需要的檔案很有一種爽快的事情。不用你去每天惦記著是否需要清理日誌，不用每天收到硬碟空間不足的報警簡訊，想好好休息的話，讓我們把這個事情交給機器定時去執行吧。  

shell指令碼刪除N天前的資料夾-----附linux和mac上date命令的不同

背景： 每日構建的東西，按日期放到不同的資料夾裡。如今天的構建放到2015-06-01裡，明天的就放到2015-06-02裡，依次類推。時間久了，需要一個指令碼刪除N天前的資料夾。(本例中N=7，即刪除一週前的構建)。 下面直

linux 系統刪除 3天以前的 指定的程序

一、 檢視3天前的指定程序  [email protected] ~ $ ps -ef|grep sshd:|grep `date +"\%b\%d" --date '3 days ago'` root      18556    915  0 Nov06 ? 

shell指令碼刪除幾天前的備份檔案

使用linux備份資料庫時，需要定時做備份，需要將幾天前的備份檔案自動刪除，節約硬碟空間 語法如下：        [[email protected] csbackup]# find /v

DOS命令刪除N天以前的檔案

FORFILES [/P pathname] [/M searchmask] [/S] [/C command] [/D [+ | -] {yyyy-MM-dd | dd}] 描述: 選擇一個檔案(或

linux系列之-—04 自動刪除n天前日誌

color nbsp 文件命令 ech 服務器硬盤 pat bin mtime 查找 linux是一個很能自動產生文件的系統，日誌、郵件、備份等。雖然現在硬盤廉價，我們可以有很多硬盤空間供這些文件浪費，讓系統定時清理一些不需要的文件很有一種爽快的事情。不用你去每天惦記著是否

刪除7天前的shell 小指令碼

#!/bin/bash logdir=/opt  ----日誌存放的路徑 old_day=`date +%Y%m%d -d"-7 days "`  ----查詢時間 filename=$logdir/SaServiceWebApplication.$old_day.log 

使用shell 來刪除刪除X天前上傳的檔案

在使用shell的時候，我們經常會上傳許多檔案或者資料，但是一旦檔案多了，尤其是記憶體大的檔案，這樣會大量佔用磁碟的空間，所以我們需要定時地清理前端時間上傳的檔案。 find /data/package_backup -mtime +10 -name "*.*" -exec rm -Rf {}

2017-12-19python全棧9期第四天第二節之列表的增刪查改之刪除的pop和del和remove和clear

Python全棧 python use 刪除 rem pri utf-8 int 返回 #!/user/bin/python# -*- coding:utf-8 -*-li = [‘zs‘,‘ls‘,‘ww‘,‘zl‘]# name = li.pop(1) #按索引位置刪除

shell 刪除指定時期以前的檔案

find . -ctime +3 -type f | xargs rm -rf //+3 --->days before 　　假如在一個目錄中保留最近30天的檔案，30天前的檔案自動刪除 　　#find /tmp -mtime +30 -type f -name *

linux腳本shell刪除N天的日誌find -mtime -exec

{} lin name linu tps local usr -type 今天 這個非常簡單一行命令即可： log_path=/ccc/logs/nginx/ DAYS=5 find ${log_path} -name "access_*" -type f -mtime +

[linux shell] 使用shell每天定時拷貝檔案到新的檔名下，並刪除30天之前的檔案

1，使用vi編輯器，編寫如下內容並儲存為cpGpsData.sh echo "************************************************************

shell刪除三天前或者三天內的文件

查找 bsp dump delete -a 自動刪除 sdcard mtime 正常 說明：+n 大於 n, -n 小於 n, n 相等於 n. find / -amin -30 -ls # 查找在系統中最後30分鐘訪問的文件find / -atime -2 -l

shell之路--mysql主從自動部署

shell mysql主從 #!/bin/bash#auto make install Mysql AB Relication#by author max#date 2017-05-04MYSQL_SOFT="mysql mysql-server mysql-devel php-mysql"NUM=`

shell之（）、{}

shell1 一串命令的執行[[email protected]/* */ log]# (a=2;echo $a)2[[email protected]/* */ log]# { a=2;echo $a;} #註意格式的不同，左邊有空格，最右邊以分號結尾22 ()和{}中括號裏面

Linux 按時間批量刪除文件（刪除N天前文件）

die shel 條件 天前 fin dicom sort 目錄下的文件 -exec 需要根據時間刪除這個目錄下的文件，/home/lifeccp/dicom/studies，清理掉20天之前的無效數據。 可以使用下面一條命令去完成： find /home/life

ubuntu 定時備份清理tomcat日誌，並且刪除七天之前的日誌

七天 date lin server class catalina rm -rf color mtime #!/bin/bash #logs_paths #logs_paths[0]="/usr/local/webserver/tomcat/logs" #logs_pa

shell之常用腳本

shell 腳本1 批量創建用戶：#!/bin/bashi=30groupadd class2while [ $i -le 50 ]do if id user$i &> /dev/null then echo "This user$i is exist" else