1. 程式人生 > 實用技巧 >Linux命令之md5sum

Linux命令之md5sum

1. 背景

在網路傳輸、裝置之間轉存、複製大檔案等時,可能會出現傳輸前後資料不一致的情況。這種情況在網路這種相對更不穩定的環境中,容易出現。那麼校驗檔案的完整性,也是勢在必行的。

md5sum命令用於生成和校驗檔案的md5值。它會逐位對檔案的內容進行校驗。是檔案的內容,與檔名無關,也就是檔案內容相同,其md5值相同。md5值是一個128位的二進位制資料,轉換成16進位制則是32(128/4)位的進位制值。

md5校驗,有很小的概率不同的檔案生成的md5可能相同。比md5更安全的校驗演算法還有SHA*系列的。

在網路傳輸時,我們校驗原始檔獲得其md5sum,傳輸完畢後,校驗其目標檔案,並對比如果原始檔和目標檔案md5 一致的話,則表示檔案傳輸無異常。否則說明檔案在傳輸過程中未正確傳輸。


2. 重要的選項

  • -b 以二進位制模式讀入檔案內容
  • -t 以文字模式讀入檔案內容
  • -c 根據已生成的md5值,對現存檔案進行校驗
  • --status 校驗完成後,不生成錯誤或正確的提示資訊,可以通過命令的返回值來判斷。

3. 使用舉例

  • 生成檔案md5值
md5sum file
   1: [root@master lianxi]# md5sum data    
   2: 0a6de444981b68d6a049053296491e49  data
   1: [root@master lianxi]# md5sum *
   2: 0a6de444981b68d6a049053296491e49  data
   
3: 13df384c47dd2638fd923f60c40224c6 data2

md5sum校驗的是檔案內容,與檔名無關

  • 以文字模式或二進位制模式讀入檔案並對其進行校驗

-b 以二進位制模式讀入內容
-t 以文字模式讀入檔案內容進行校驗
雖然是不同的讀入模式,但是在進行求md5的時候,是一樣的,因為是逐位校驗的。
如下文字檔案,無論通過哪種模式讀取md5都一致。

1: [root@master lianxi]# file data   
2: data: ASCII text   
3: [root@master lianxi]# md5sum data   
4: 0a6de444981b68d6a049053296491e49  data   
5: [root@master lianxi]# md5sum -b data 6: 0a6de444981b68d6a049053296491e49 *data 7: [root@master lianxi]# md5sum -t data 8: 0a6de444981b68d6a049053296491e49 data
  • md5值重定向

將生成md5值重定向到指定的檔案,通常檔案的副檔名我們會命為.md5

1: [root@master lianxi]# md5sum data > data.md5
   2: [root@master lianxi]# md5sum data
   3: 0a6de444981b68d6a049053296491e49  data
   4: [root@master lianxi]# cat data.md5
   5: 0a6de444981b68d6a049053296491e49  data

  • 將多個檔案的md5重定向到指定的檔案

每個檔案的md5生成為一行

1: [root@master lianxi]# ls
   2: data  data.bak  data.md5  d.md5
   3: [root@master lianxi]# md5sum data* > d.md5
   4: [root@master lianxi]# cat d.md5
   5: 0a6de444981b68d6a049053296491e49  data
   6: 0a6de444981b68d6a049053296491e49  data.bak
   7: 0bd94658869c53cdcdf35a0f7de93e01  data.md5

  • 重定向追加

這裡新增檔案ls,單獨求其md5,將其md5追加到檔案中

1: [root@master lianxi]# cp /bin/ls .
   2: [root@master lianxi]# ls
   3: data  data.bak  data.md5  d.md5  ls
   4: [root@master lianxi]# md5sum ls >> d.md5
   5: [root@master lianxi]# cat d.md5
   6: 0a6de444981b68d6a049053296491e49  data 
   7: 0a6de444981b68d6a049053296491e49  data.bak
   8: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
   9: c6337b20f3c159544bff5cf622391f9e  ls
  • md5校驗

-c選項來對檔案md5進行校驗。校驗時,根據已生成的md5來進行校驗。生成當前檔案的md5,並和之前已經生成的md5進行對比,如果一致,則返回OK,否則返回錯誤資訊
md5sum –c d.md5

1: [root@master lianxi]# md5sum -c d.md5
   2: data: OK
   3: data.bak: OK
   4: data.md5: OK 
   5: ls: OK

修改檔案後,檔案md5變化

1: [root@master lianxi]# ls
   2: data
   3: [root@master lianxi]# md5sum data
   4: 2360752c3368ca4f89169f5ecc06e383  data
   5: [root@master lianxi]# md5sum data  > data.md5
   6: [root@master lianxi]# echo "lwg" >> data
   7: [root@master lianxi]# md5sum data
   8: 287d237083a42f09785daa46a5fa3afe  data
   9: [root@master lianxi]# md5sum -c data.md5
   10: data: FAILED
   11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

--status,不顯示校驗資訊,以命令返回值來判斷
校驗一致返回0,不一致返回1

1: [root@master lianxi]# md5sum -c data.md5
   2: data: FAILED
   3: md5sum: WARNING: 1 of 1 computed checksum did NOT match
   4: [root@master lianxi]# md5sum -c --status data.md5
   5: [root@master lianxi]# echo $?
   6: 1

  • 多個檔案檔案校驗和grep連用

通過grep將正確的資訊過濾掉

1: [root@master lianxi]# md5sum -c ../value.md5
   2: acpid: OK
   3: acpid.1: OK
   4: anaconda.log: OK
   5: anaconda.syslog: OK
   6: anaconda.xlog: OK
   7: boot.log: OK
   8: boot.log.1: OK
   9: ...
   10: ...
   11: 省略中間部分
   12: ...
   13: ...
   14: yum.log.2: OK  15: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK
     2: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     3: cron.1: FAILED

特殊說明
1)md5sum 是校驗檔案內容,與檔名是否相同無關

2)md5sum值逐位校驗,所以檔案越大,校驗時間越長。

總結
通過md5sum來校驗生成檔案校驗碼,來發現檔案傳輸(網路傳輸、複製、本地不同裝置間的傳輸)異常造成的檔案內容不一致的情況。


工作實踐應用場景:

需要比較2個rc1.tar.gz 包和rc2.tar.gz兩個包,變更是不是和開發說的一致

1.獲取包,確保包正確無誤

獲取包後,驗證包的MD5值:md5sum rc*.tar.gz

2. 解壓縮到指定目錄

確保對應的目錄存在

tar -zxvf rc1.tar.gz -C ./test_rc1

tar -zxvf rc2.tar.gz -C ./test_rc2

3. 遞迴生成各檔案的的MD5值

find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比較兩檔案的MD5值

diff -c rc1_md5.txt rc2_md5.txt

或者用UltraCompare Professional比對結果