例項
cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100

使用linux命令或者shell實現：檔案words存放英文單詞，格式為每行一個英文單詞（單詞可以重複），統計這個檔案中出現次數最多的前10個單詞。

cat words.txt | sort | uniq -c | sort -k1,1nr | head -10

　　主要考察對sort、uniq命令的使用，相關解釋如下，命令及引數的詳細說明請自行通過man檢視，簡單介紹下以上指令各部分的功能：

sort:

  對單詞進行排序

uniq -c:  顯示唯一的行，並在每行行首加上本行在檔案中出現的次數

sort -k1,1nr:  按照第一個欄位，數值排序，且為逆序

head -10:  取前10行資料

sort

sort是在Linux裡非常常用的一個命令，管排序的，集中精力，五分鐘搞定sort，現在開始！

1 sort的工作原理

sort將檔案的每一行作為一個單位，相互比較，比較原則是從首字元向後，依次按ASCII碼值進行比較，最後將他們按升序輸出。

[[email protected] programming]$ cat seq.txt
banana
apple
pear
orange
[

[email protected] programming]$ sort seq.txt
apple
banana
orange
pear

2 sort的-u選項

它的作用很簡單，就是在輸出行中去除重複行。

[[email protected] programming]$ cat seq.txt
banana
apple
pear
orange
pear
[[email protected] programming]$ sort seq.txt
apple
banana
orange
pear
pear
[[email protected]

programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由於重複被-u選項無情的刪除了。

3 sort的-r選項

sort預設的排序方式是升序，如果想改成降序，就加個-r就搞定了。

[[email protected] programming]$ cat number.txt
1
3
5
2
4
[[email protected] programming]$ sort number.txt
1
2
3
4
5
[[email protected] programming]$ sort -r number.txt
5
4
3
2
1

4 sort的-o選項

由於sort預設是把結果輸出到標準輸出，所以需要用重定向才能將結果寫入檔案，形如sort filename > newfile。

但是，如果你想把排序結果輸出到原檔案中，用重定向可就不行了。

[[email protected] programming]$ sort -r number.txt > number.txt
[[email protected] programming]$ cat number.txt
[[email protected] programming]$
看，竟然將number清空了。

就在這個時候，-o選項出現了，它成功的解決了這個問題，讓你放心的將結果寫入原檔案。這或許也是-o比重定向的唯一優勢所在。

[[email protected] programming]$ cat number.txt
1
3
5
2
4
[[email protected] programming]$ sort -r number.txt -o number.txt
[[email protected] programming]$ cat number.txt
5
4
3
2
1

5 sort的-n選項

你有沒有遇到過10比2小的情況。我反正遇到過。出現這種情況是由於排序程式將這些數字按字元來排序了，排序程式會先比較1和2，顯然1小，所以就將10放在2前面嘍。這也是sort的一貫作風。

我們如果想改變這種現狀，就要使用-n選項，來告訴sort，“要以數值來排序”！

[[email protected] programming]$ cat number.txt
1
10
19
11
2
5
[[email protected] programming]$ sort number.txt
1
10
11
19
2
5
[[email protected] programming]$ sort -n number.txt
1
2
5
10
11
19

6 sort的-t選項和-k選項

如果有一個檔案的內容是這樣：

[[email protected] programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

這個檔案有三列，列與列之間用冒號隔開了，第一列表示水果型別，第二列表示水果數量，第三列表示水果價格。

那麼我想以水果數量來排序，也就是以第二列來排序，如何利用sort實現？

幸好，sort提供了-t選項，後面可以設定間隔符。（是不是想起了cut和paste的-d選項，共鳴～～）

指定了間隔符之後，就可以用-k來指定列數了。

[[email protected] programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我們使用冒號作為間隔符，並針對第二列來進行數值升序排序，結果很令人滿意。

7 其他的sort常用選項

-f會將小寫字母都轉換為大寫字母來進行比較，亦即忽略大小寫

-c會檢查檔案是否已排好序，如果亂序，則輸出第一個亂序的行的相關資訊，最後返回1

-C會檢查檔案是否已排好序，如果亂序，不輸出內容，僅返回1

-M會以月份來排序，比如JAN小於FEB等等

-b會忽略每一行前面的所有空白部分，從第一個可見字元開始比較。

有時候學習指令碼，你會發現sort命令後面跟了一堆類似-k1,2，或者-k1.2 -k3.4的東東，有些匪夷所思。今天，我們就來搞定它—-k選項！

1 準備素材

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一個域是公司名稱，第二個域是公司人數，第三個域是員工平均工資。（除了公司名稱，其他的別信，都瞎寫的^_^）

2 我想讓這個檔案按公司的字母順序排序，也就是按第一個域進行排序：（這個facebook.txt檔案有三個域）

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧，就直接用-k 1設定就可以了。（其實此處並不嚴格，稍後你就會知道）

3 我想讓facebook.txt按照公司人數排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

不用解釋，我相信你能懂。

但是，此處出現了問題，那就是baidu和sohu的公司人數相同，都是100人，這個時候怎麼辦呢？按照預設規矩，是從第一個域開始進行升序排序，因此baidu排在了sohu前面。

4  我想讓facebook.txt按照公司人數排序 ，人數相同的按照員工平均工資升序排序：

$ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看，我們加了一個-k2 -k3就解決了問題。對滴，sort支援這種設定，就是說設定域排序的優先順序，先以第2個域進行排序，如果相同，再以第3個域進行排序。（如果你願意，可以一直這麼寫下去，設定很多個排序優先順序）

5 我想讓facebook.txt按照員工工資降序排序，如果員工人數相同的，則按照公司人數升序排序：（這個有點難度嘍）

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此處有使用了一些小技巧，你仔細看看，在-k 3後面偷偷加上了一個小寫字母r。你想想，再結合我們上一篇文章，能得到答案麼？揭曉：r和-r選項的作用是一樣的，就是表示逆序。因為sort預設是按照升序排序的，所以此處需要加上r表示第三個域（員工平均工資）是按照降序排序。此處你還可以加上n，就表示對這個域進行排序時，要按照數值大小進行排序，舉個例子吧：

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看，我們去掉了最前面的-n選項，而是將它加入到了每一個-k選項中了。

6 -k選項的具體語法格式

要繼續往下深入的話，就不得不來點理論知識。你需要了解-k選項的語法格式，如下：

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

這個語法格式可以被其中的逗號（“，”）分為兩大部分，Start部分和End部分。

先給你灌輸一個思想，那就是“如果不設定End部分，那麼就認為End被設定為行尾”。這個概念很重要的，但往往你不會重視它。

Start部分也由三部分組成，其中的Modifier部分就是我們之前說過的類似n和r的選項部分。我們重點說說Start部分的FStart和C.Start。

C.Start也是可以省略的，省略的話就表示從本域的開頭部分開始。之前例子中的-k 2和-k 3就是省略了C.Start的例子嘍。

FStart.CStart，其中FStart就是表示使用的域，而CStart則表示在FStart域中從第幾個字元開始算“排序首字元”。

同理，在End部分中，你可以設定FEnd.CEnd，如果你省略.CEnd，則表示結尾到“域尾”，即本域的最後一個字元。或者，如果你將CEnd設定為0(零)，也是表示結尾到“域尾”。

7 突發奇想，從公司英文名稱的第二個字母開始進行排序：

$ sort -t ‘ ‘ -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

看，我們使用了-k 1.2，這就表示對第一個域的第二個字元開始到本域的最後一個字元為止的字串進行排序。你會發現baidu因為第二個字母是a而名列榜首。sohu和 google第二個字元都是o，但sohu的h在google的o前面，所以兩者分別排在第二和第三。guge只能屈居第四了。

8 又突發奇想，，只針對公司英文名稱的第二個字母進行排序，如果相同的按照員工工資進行降序排序：

$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由於只對第二個字母進行排序，所以我們使用了-k 1.2,1.2的表示方式，表示我們“只”對第二個字母進行排序。（如果你問“我使用-k 1.2怎麼不行？”，當然不行，因為你省略了End部分，這就意味著你將對從第二個字母起到本域最後一個字元為止的字串進行排序）。對於員工工資進行排 序，我們也使用了-k 3,3，這是最準確的表述，表示我們“只”對本域進行排序，因為如果你省略了後面的3，就變成了我們“對第3個域開始到最後一個域位置的內容進行排序” 了。

9 在modifier部分還可以用到哪些選項？

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已經很熟悉了。

b表示忽略本域的簽到空白符號。

d表示對本域按照字典順序排序（即，只考慮空白和字母）。

f表示對本域忽略大小寫進行排序。

i表示忽略“不可列印字元”，只針對可列印字元進行排序。（有些ASCII就是不可列印字元，比如\a是報警，\b是退格，\n是換行，\r是回車等等）

10 思考思考關於-k和-u聯合使用的例子：

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

這是最原始的facebook.txt檔案。

$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000

當設定以公司員工域進行數值排序，然後加-u後，sohu一行就被刪除了！原來-u只識別用-k設定的域，發現相同，就將後續相同的行都刪除。

$ sort  -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

$ sort  -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500

這個例子也同理，開頭字元是g的guge就沒有幸免於難。

$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦！這裡設定了兩層排序優先順序的情況下，使用-u就沒有刪除任何行。原來-u是會權衡所有-k選項，將都相同的才會刪除，只要其中有一級不同都不會輕易刪除的:)（不信，你可以自己加一行sina 100 4500試試看）

11 最詭異的排序：

$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二個域的第二個字元開始到第三個域的第一個字元結束的部分進行排序。

第一行，會提取0 3，第二行提取00 5，第三行提取00 4，第四行提取10 5。

又因為sort認為0小於00小於000小於0000….

因此0 3肯定是在第一個。10 5肯定是在最後一個。但為什麼00 5卻在00 4前面呢？（你可以自己做實驗思考一下。）

答案揭曉：原來“跨域的設定是個假象”，sort只會比較第二個域的第二個字元到第二個域的最後一個字元的部分，而不會把第三個域的開頭字元納入比較範圍。當發現00和00相同時，sort就會自動比較第一個域去了。當然baidu在sohu前面了。用一個範例即可證實：

$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12 有時候在sort命令後會看到+1 -2這些符號，這是什麼東東？

關於這種語法，最新的sort是這麼進行解釋的：

On older systems, `sort’ supports an obsolete origin-zero syntax `+POS1 [-POS2]‘ for specifying sort keys.  POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k’ instead.

原來，這種古老的表示方式已經被淘汰了，以後可以理直氣壯的鄙視使用這種表示方法的指令碼嘍！

（為了防止古老指令碼的存在，在這再說一下這種表示方法，加號表示Start部分，減號表示End部分。最最重要的一點是，這種方式方法是從0開始計數的，以前所說的第一個域，在此被表示為第0個域。以前的第2個字元，在此表示為第1個字元。明白？）

awk
http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/awk.htm

Table of Contents

1. awk簡介
2. awk命令格式和選項

 2.1. awk的語法有兩種形式
 2.2. 命令選項

3. 模式和操作

 3.1. 模式
 3.2. 操作

4. awk的環境變數
5. awk運算子
6. 記錄和域

 6.1. 記錄
 6.2. 域
 6.3. 域分隔符

7. gawk專用正則表示式元字元
8. POSIX字符集
9. 匹配操作符(~)
10. 比較表示式
11. 範圍模板
12. 一個驗證passwd檔案有效性的例子
13. 幾個例項
14. awk程式設計

 14.1. 變數
 14.2. BEGIN模組
 14.3. END模組
 14.4. 重定向和管道
 14.5. 條件語句
 14.6. 迴圈
 14.7. 陣列

相關推薦