sort  ：將文字檔案內容加以排序。

sort -u [file]  =  sort [file] | uniq （去重）

引數說明

-b 忽略每行前面開始出的空格字元

-c 檢查檔案是否已經按照順序排序

-d 排序時，處理英文字母、數字及空格字元外，忽略其他的字元

-f  排序時，將小寫字母視為大寫字母

-l  排序時，除了040至176之間的ASCII字元外，忽略其他的字元

-m 將幾個排序好的檔案進行合併

-M 將前面3個字元依照月份的縮寫進行排序

-n 依照數值的大小排序

-o<輸出檔案> 講排序後的結果存入指定的檔案

-r 以相反的順序來排序

-t<分隔字元> 指定排序時所用的欄位分割字元

+<起始欄位>-<結束欄位> 以指定的欄位來排序，範圍由起始蘭位到結束欄位的前一欄位

--help 顯示幫助

--version 顯示版本資訊

-u 對排序後認為相同的行只留其中一行

uniq : 檢查及刪除文字檔案中重複出現的行列。

語法：uniq[選項] 檔案

最重要引數：  預設（去重）  |  -d（顯重）   |   -u（刪重）

引數

-c或--count 在每列旁邊顯示該行重複出現的次數

-d或--repeat 僅顯示重複出現的行列

-f<欄位>或--skip-fields=<欄位> 忽略比較指定的欄位

-s<字元位置>或--skip-chars=<字元位置> 忽略比較指定的字元

-u或--unique 僅顯示出一次的行列

-w<字元位置>或--check-chars<字元位置> 指定要比較的字元

--help 幫助資訊

--version 版本資訊

comm  命令詳解：

功能說明：比較兩個已排序的檔案

語法： comm [-123][--help][--version][第一個檔案][第二個檔案]

補充說明：這項指令會一列列的比較兩個已排序檔案的差異，並將其結果顯示出來。如果沒有指定任何引數，則會把結果分成3行顯示，第1行是僅在第一個檔案中出現的列，第2行是僅在第二個檔案中出現過的列，第3行則是在兩個檔案中都出現過的列。若給予的檔名稱是"-"，則comm指令會從標準輸入裝置中讀取資料。

引數：

-1 不顯示在第1個檔案中出現的列

-2 不顯示在第2個檔案中出現的列

-3 不顯示只在第1或第2個檔案中出現的列

選項1 2和3抑制相應的列顯示，例如

comm -12 顯示兩個檔案中都出現的行

comm -23 顯示在第1個檔案出現，而不是在第2個檔案出現的行

comm -123 什麼都不顯示

注意：uniq  和  comm 命令需要使用已經排序好的內容才有意義。注意檔案格式要為unix

一些例子：

第一：兩個檔案的交集，並集

前提條件：兩個檔案不得有重複的行（即兩個檔案都要去重）

1. 取出兩個檔案的並集 cat file1 file2 | sort | uniq >file3

2. 取出兩個檔案的交集 cat file1 file2 | sort | uniq -d >file3

3. 刪除交集 cat file1 file2 | sort |uniq -u <file3

第二：兩個檔案合併

1. 一個在上一個在下 cat file1 files2 >file3

2. 一個在左一個在右 paste file1 file2 >file3

3. cat file1 >> file2

第三：一個檔案去掉重複行

1.  sort file | uniq 把重複的行合併為一行

2.  sort file | uniq -u 把重複的行刪除，僅保留非重複的行