最近博主被分配了一項緊急任務,事情有些緊急,花了兩天的時間學習Shell,並完成了一項任務.自認為還算不錯,

接下來分享下處理這個任務中所編寫的一些指令碼,就算留作紀念吧

用到的技術點

0.常用的 Linux命令  cat / grep / sed / cd / wc  

1.shell 流程控制 

2.shell 條件判斷

3.shell 變數

5.shell 陣列 

6.正則匹配

將兩個檔案下的指定檔案合併放置到一個新的資料夾下面

#!/bin/sh

date=0

dir1="/data/logs/d19_201606/06/selectedlogs/82/baselogs/newlogs_tmp/newlogs/"
dir2="/data/logs/d19_201606/80_advanced/"
outdir=""

for((i=1;i<=24;i++));do
	if((i<10));then
		date="0$i"
	else
		date="$i"
	fi
	#echo $date
	cat ${dir1}stm-collect.cn.miaozhen.com_201607${date}_82_new.log ${dir2}201607${date}.log  >> /data/logs/sm_new/82_new/201607${date}_82.log
done
 

重新命名符合條件的檔案(批處理)

#!/bin/sh
in=20160701
while(($in<20160725))
do
filename="stm-collect.cn.miaozhen.com_""$in"".log"
outname="stm-collect.cn.miaozhen.com_""$in""_.log"
mv $outname $filename
let "in++"
done

利用sed與正則替換符合條件的串

#!/bin/sh
logFile="copy_05_06.log"
date="02"
sed -i "s/[0-9]\{2\}\/\(May\|Jun\|Jul\)/$date\/Jul/g" $logFile 
grep -v "$date/Jul" $logFile     #檢驗有沒有刪除乾淨
 

利用grep -v 檢查日誌檔案是否有不滿足規則的行

#!/bin/sh

dir="/data/logs/d19_201606/06/ selectedlogs/82/baselogs/newlogs/"
date_count=25


sitelist=(82)

echo ${sitelist[0]} 


cd "${dir}"	#進入制定路徑

date="00"
for((i=1; i<25; i++));do
	if((i<10));then
		date="0$i"
	else
		date="$i"
	fi
	echo $date
	grep -v "${date}/Jul" *201607${date}_82_new.log >> error.log
done
 

========一些不太常用到的指令碼=================

==============================================

從日誌檔案中隨機選取幾條記錄寫入到另一個檔案中

版本一

#!/bin/sh
date="04"
file="copy_05_06.log"
outfile="Jul_""$date.log"


declare lines=0;    #日誌檔案中剩餘的日誌條數
function totalLines(){
	result="`wc -l $file`"  #如果想從命令中獲取資料的話，也可以用 $()
 	arr=($result)        #將結果轉換為陣列
 	lines=${arr[0]}      #獲取第0個引數,行號
 	#echo $lines         #列印總的行數	
}

sum=$(($RANDOM%8+8))	#sum記錄了隨機選取的條數
echo "lines has been selected Num:$sum"

echo "before delete: $(wc -l $file)"

for((i=0;i<$sum;i++));do
  #echo $i
  totalLines;
  #echo ${lines}
  randomline=$(($RANDOM%$lines))
  sed -n "${randomline}p" "$file"   >> $outfile  #隨機取一條資料追加到outfile
  sed -i "${randomline}d" "$file" 	#刪除被取出取的那一行
  #echo $randomline
done

echo "after delete: $(wc -l $file)"
echo "selected lines: $(wc -l $outfile)"

版本二

1、合併 cat file1 file2 > file3

2、去重 sort file3 | uniq >> file4

3、隨機抽取 shuf -n12 file4 > file5     查行數wc -l 

4、去掉a中包含b的部分

cat b.txt a.txt | sort| uniq -u >  file

隨機刪除日誌檔案中的資料(批處理方式)

#! /bin/bash  
  
rate=$((RANDOM%7+85))
indir="/mnt/hgfs/Share_Windows_Linux/"
outdir="/mnt/hgfs/Share_Windows_Linux/"

indate=(18 17 16 18 28 17 16 30 27 19)
outdate=(01 02 03 04 05 06 07 08 09 10)

cd "$indir"

num=0
for((i=0;i<10;i++));do
  cat stm-collect.cn.miaozhen.com_201606${indate[i]}_selected.log |  while read LINE 
  do
    num=$(($RANDOM%100))
    #echo ${num}
    if((${num} <= ${rate}));then
          #echo ${num}
 	  echo $LINE >> ${outdir}stm-collect.cn.miaozhen.com_201607${outdate[i]}_new.log
    fi
  done
done

awk修改cid,對原有的cid進行隨機+n操作

#!/bin/bash

sour="data.txt"
out="data_new.txt"

ct=$(wc -l $sour | awk '{print $1}')
echo "source file lines : $ct"
lines=$(( ($RANDOM%10+90)*ct/100 ))
echo "should be change lines : $lines"


awk -v num=$lines  -F'&' '
BEGIN{
	srand();
} 
{
	if(NR<=num)
	{	
		split($2,a,"=");
		ct=int(rand()*100%9);
		a[2]=a[2]+ct;
		gsub(/cid=[0-9]*/,"cid="a[2],$0);
		#$2=a[1]"="a[2];
	}
	print $0;
}
' $sour > $out

old=$(wc -l $sour | awk '{print $1}')
new=$(wc -l $out | awk '{print $1}')

echo "old file has $old lines"
echo "new file has $new lines"