2. 程式人生 > >每日一道shell腳本練習（02）

每日一道shell腳本練習（02）

阿新 • • 發佈：2018-04-10
shell awk sort uniq

1. 題目

有日誌 1.log，部分內容如下：

112.111.12.248 - [25/Sep/2013:16:08:31 +0800]formula-x.haotui.com  "/seccode.php?update=0.5593110133088248" 200"http://formula-x.haotui.com/registerbbs.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)"
61.147.76.51 - [25/Sep/2013:16:08:31 +0800]xyzdiy.5d6d.com "/attachment.php?aid=4554&k=9ce51e2c376bc861603c7689d97c04a1&t=1334564048&fid=9&sid=zgohwYoLZq2qPW233ZIRsJiUeu22XqE8f49jY9mouRSoE71" 301"http://xyzdiy.×××thread-1435-1-23.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"

請統計出每個IP的訪問量是多少？

2. 題目分析

根據日誌內容，可以看到IP地址就是第一段的內容，所以只需把1.log的第一段給過濾出來，然後進一步統計每個IP的數量即可。

過濾第一段，使用awk就可以了，而統計每個IP的訪問量則需要排序然後再計算數量，排序使用sort命令，統計每個IP的訪問量用uniq。

3. 具體shell命令

這道題，用shell腳本一條命令就足夠了：

awk  ‘{print  $1}‘  1.log | sort   -n  | uniq  -c | sort  -n

解釋：

  1. awk 命令在分段方面比較有優勢，這裏的{print $1}將第一段打印出來，awk可以用-F指定分隔符，如果不指定分隔符，默認就以空白字符（比如空格、tab等），本題中，IP地址就是第一段。
  2. sort 命令就是排序，-n選項表示以數字的形式排序。如果不加-n，則以ASCII排序，本題的IP地址用數字的形式排序更易區分。
  3. uniq 命令用來去重復，一個文本如果有多行內容是一模一樣的，就使用uniq命令將相同的內容刪除，只保留一行。-c選項作用是計算重復的行數。所以，uniq -c 的作用正好就統計了ip的訪問量。不過，要註意，uniq去重要在排序之後進行。
  4. 最後的sort -n意思是按訪問量大小來排序，請求量越大的ip排在越後面。如果加一個-r選項，sort -nr，就是倒序排序。

4. 結語

這道題目還有另一種解法，明天再更新吧。

每日一道shell腳本練習（02）

相關推薦

每日一道shell腳本練習（02）

shell awk sort uniq 1. 題目 有日誌 1.log，部分內容如下： 112.111.12.248 - [25/Sep/2013:16:08:31 +0800]formula-x.haotui.com "/seccode.php?update=0.5593110133088

每日一道shell腳本練習（01）

shell linux 磁盤檢查 0. 引言 準備開一個新坑，每天更新一道shell練習。因為shell腳本屬於那種不練習就會生疏，甚至忘記的技能，所以，為了對抗遺忘阻力，我只能不斷加強練習了。 1. 第一天練習題目 【題目】請按照這樣的日期格式（xxxx-xx-xx）每日生成一個文件，例如今天生

Bash腳本練習（一）（歡迎提意見，共同學習）

linux#!/bin/bash #寫一個腳本(前提：請為虛擬機新增一塊硬盤，假設它為/dev/sdb)，為指定的硬盤創建分區： #1、列出當前系統上所有的磁盤，讓用戶選擇，如果選擇quit則退出腳本；如果用戶選擇錯誤，就讓用戶重新選擇； #2、當用戶選擇後，提醒用戶確認接下來的操作可能會損壞數據，並請用戶確

shell腳本命令（記錄）

修改文件內容 文件 日期 文章 腳本 txt文件 刪除 date 年月日 1.重命名文件 將D盤下的A.txt 重命名為B.txt mv D:\\A.txt D:\\B.txt 2.刪除文件 刪除D盤下的A.txt文件 rm D:\\A.txt 3.修改文件內容並保存 //

shell腳本學習（2）比較兩個數字大小

$1 num centos7 錯誤 you equal shel 腳本 語句 註意：shell中對比字符串只能使用==、<、>、!=、-z、-n。對比字符串時，末尾一定要加上x（或者a、b等）一個字符，因為if [ $1x == "ab"x ]時如果沒有了x

Shell腳本筆記（三）shell中的數學計算

pos 使用 pan 數學計算 options ons post ash 用法 shell中的數學計算 一、使用方括號 #!/bin/bash a=10 b=29 c=88 res=$[$a * ($c-$b)] echo $res 二、bc的用法 bc技術器實際上

Shell腳本基礎（一）

2.6 x86 histsize bash 數據 隨著 顯示 echo 保存 前言：隨著Linux系統在企業中的應用越來越多，服務器的自動化管理也越來越變得重要，在一些復雜的Linux維護工作中，大量的重復性的輸出和交互式操作不但費時費力，而且容易出錯，所以Shell腳本，

shell腳本應用（三）for、while、case語句

姓名 std proc pgrep 符號 prefix dfa 先生 let 前言：當面對各種列表重復任務時，使用if語句已經難以滿足要求，而順序編寫全部代碼更是顯得異常繁瑣，困難重重。使用循環、分支等其他程序控制結構，從而能夠輕松完成更加復雜、強大的功能。1、使用for循

shell腳本常用（1）

-o 程序 是否 命令 正常 shell腳本 用戶 之間 數值 \u 表示當前用戶名 \h 表示機器名稱 \W 表示當前工作目錄的基名 \w 表示當前工作目錄的全路徑 $0、$1、$2、$3: $0 指此shell文件的名稱

shell腳本學習（1）

數字 空格 shell chm bubuko 括號 bin clas 存在 格式： #!/bin/bash :標誌一個shell腳本 #Filename:first_shell.sh :文件名稱 #

shell腳本基礎（二）

shell if case 一、shell腳本中的邏輯判斷 1、判斷語句if a)不帶else 格式： if 判斷語句；then command fi 實例： [root@zlinux-01 shell]# vim if01.sh //判斷數值大小第一種方法用[]，註意前

shell腳本基礎（三）

shell一、for循環 for循環結構是日常運維工作中用的很頻繁的循環結構。 1、for循環具體格式： for 變量名 in 循環條件； do command done 這裏的“循環條件”可以是一組字符串揮著數字（用空格隔開），也可以是一條命令的執行結果。 2、for循環實例 實例1：計算1到

shell腳本基礎（四）

shell一、shell中的函數 函數就是把一段代碼整理到了一個小單元中，並給這個小單元起一個名字，當用到這段代碼時直接調用這個小單元的名字即可。 1、函數格式 function f_name() { command } 函數必須要放在腳本最前面。 2、shell函數實例 實例1： [root

shell腳本基礎（五）

shell一、告警系統主腳本 [root@zlinux-01 ~]# cd /usr/local/sbin/ ##腳本基本都放在這個文件夾下，方便管理 [root@zlinux-01 sbin]# mkdir mon ##創建監控腳本主目錄 [root@zlinux-01 sbin]# cd mon [roo

shell腳本基礎（六）

shell一、告警系統郵件引擎 [root@zlinux-01 mon]# ls bin conf log mail shares [root@zlinux-01 mon]# cd mail [root@zlinux-01 mail]# vim mail.py //創建發送郵件腳本

shell腳本基礎（八）

shell一、expect腳本同步文件 [root@zlinux-01 ~]# cd /usr/local/sbin/ [root@zlinux-01 sbin]# ls 01.expect 02.expect 03.expect check_ng.sh lvs_dr.sh lvs_nat.sh

《shell編程實戰》第2章shell腳本入門（下）

shell 老男孩 腳本 1、sh和./的區別[root@thzzc1994 ~]# cat test.sh echo I am thzzc1994[root@thzzc1994 ~]# sh test.sh I am thzzc1994[root@thzzc1994 ~]# bash test.

shell腳本案例（二）批量刪除用戶

shell linux 刪除用戶 批量 自動化 案例-接著上一個案例希望批量刪除上個案例創建的所有用戶腳本展示：（下次再解釋） #!/bin/bash echo > userlist.txt; for i in `seq 50` do id student$i >/dev/

shell腳本案例（一）批量創建用戶

shell 批量創建用戶 for linux 案例需求用shell腳本批量建立Linux用戶實現要求：創建用戶student1到student50,指定組為student組！而且每個用戶需要設定一個不同的密碼！ 實現腳本 #!/bin/bash grep ‘student‘ /etc/grou

shell腳本案例（三）利用top命令精確監控cpu使用率

cpu 監控 shell linux 自動化 需求：利用top命令精確監控CPU 準備知識：top使用、基本的awk、dc（默認bash shell不支持小數點運算） 腳本如下 [root@arppining scripts]# cat cpu.sh #!/bin/bash - # t