Linux命令之md5sum
1. 背景
在網路傳輸、裝置之間轉存、複製大檔案等時,可能會出現傳輸前後資料不一致的情況。這種情況在網路這種相對更不穩定的環境中,容易出現。那麼校驗檔案的完整性,也是勢在必行的。
md5sum命令用於生成和校驗檔案的md5值。它會逐位對檔案的內容進行校驗。是檔案的內容,與檔名無關,也就是檔案內容相同,其md5值相同。md5值是一個128位的二進位制資料,轉換成16進位制則是32(128/4)位的進位制值。
md5校驗,有很小的概率不同的檔案生成的md5可能相同。比md5更安全的校驗演算法還有SHA*系列的。
在網路傳輸時,我們校驗原始檔獲得其md5sum,傳輸完畢後,校驗其目標檔案,並對比如果原始檔和目標檔案md5 一致的話,則表示檔案傳輸無異常。否則說明檔案在傳輸過程中未正確傳輸。
2. 重要的選項
- -b 以二進位制模式讀入檔案內容
- -t 以文字模式讀入檔案內容
- -c 根據已生成的md5值,對現存檔案進行校驗
- --status 校驗完成後,不生成錯誤或正確的提示資訊,可以通過命令的返回值來判斷。
3. 使用舉例
- 生成檔案md5值
md5sum file 1: [root@master lianxi]# md5sum data 2: 0a6de444981b68d6a049053296491e49 data 1: [root@master lianxi]# md5sum * 2: 0a6de444981b68d6a049053296491e49 data3: 13df384c47dd2638fd923f60c40224c6 data2
md5sum校驗的是檔案內容,與檔名無關
- 以文字模式或二進位制模式讀入檔案並對其進行校驗
-b 以二進位制模式讀入內容
-t 以文字模式讀入檔案內容進行校驗
雖然是不同的讀入模式,但是在進行求md5的時候,是一樣的,因為是逐位校驗的。
如下文字檔案,無論通過哪種模式讀取md5都一致。
1: [root@master lianxi]# file data 2: data: ASCII text 3: [root@master lianxi]# md5sum data 4: 0a6de444981b68d6a049053296491e49 data5: [root@master lianxi]# md5sum -b data 6: 0a6de444981b68d6a049053296491e49 *data 7: [root@master lianxi]# md5sum -t data 8: 0a6de444981b68d6a049053296491e49 data
- md5值重定向
將生成md5值重定向到指定的檔案,通常檔案的副檔名我們會命為.md5
1: [root@master lianxi]# md5sum data > data.md5 2: [root@master lianxi]# md5sum data 3: 0a6de444981b68d6a049053296491e49 data 4: [root@master lianxi]# cat data.md5 5: 0a6de444981b68d6a049053296491e49 data
- 將多個檔案的md5重定向到指定的檔案
每個檔案的md5生成為一行
1: [root@master lianxi]# ls 2: data data.bak data.md5 d.md5 3: [root@master lianxi]# md5sum data* > d.md5 4: [root@master lianxi]# cat d.md5 5: 0a6de444981b68d6a049053296491e49 data 6: 0a6de444981b68d6a049053296491e49 data.bak 7: 0bd94658869c53cdcdf35a0f7de93e01 data.md5
- 重定向追加
這裡新增檔案ls,單獨求其md5,將其md5追加到檔案中
1: [root@master lianxi]# cp /bin/ls . 2: [root@master lianxi]# ls 3: data data.bak data.md5 d.md5 ls 4: [root@master lianxi]# md5sum ls >> d.md5 5: [root@master lianxi]# cat d.md5 6: 0a6de444981b68d6a049053296491e49 data 7: 0a6de444981b68d6a049053296491e49 data.bak 8: 0bd94658869c53cdcdf35a0f7de93e01 data.md5 9: c6337b20f3c159544bff5cf622391f9e ls
- md5校驗
-c選項來對檔案md5進行校驗。校驗時,根據已生成的md5來進行校驗。生成當前檔案的md5,並和之前已經生成的md5進行對比,如果一致,則返回OK,否則返回錯誤資訊
md5sum –c d.md5
1: [root@master lianxi]# md5sum -c d.md5 2: data: OK 3: data.bak: OK 4: data.md5: OK 5: ls: OK
修改檔案後,檔案md5變化
1: [root@master lianxi]# ls 2: data 3: [root@master lianxi]# md5sum data 4: 2360752c3368ca4f89169f5ecc06e383 data 5: [root@master lianxi]# md5sum data > data.md5 6: [root@master lianxi]# echo "lwg" >> data 7: [root@master lianxi]# md5sum data 8: 287d237083a42f09785daa46a5fa3afe data 9: [root@master lianxi]# md5sum -c data.md5 10: data: FAILED 11: md5sum: WARNING: 1 of 1 computed checksum did NOT match
--status,不顯示校驗資訊,以命令返回值來判斷
校驗一致返回0,不一致返回1
1: [root@master lianxi]# md5sum -c data.md5 2: data: FAILED 3: md5sum: WARNING: 1 of 1 computed checksum did NOT match 4: [root@master lianxi]# md5sum -c --status data.md5 5: [root@master lianxi]# echo $? 6: 1
- 多個檔案檔案校驗和grep連用
通過grep將正確的資訊過濾掉
1: [root@master lianxi]# md5sum -c ../value.md5 2: acpid: OK 3: acpid.1: OK 4: anaconda.log: OK 5: anaconda.syslog: OK 6: anaconda.xlog: OK 7: boot.log: OK 8: boot.log.1: OK 9: ... 10: ... 11: 省略中間部分 12: ... 13: ... 14: yum.log.2: OK 15: md5sum: WARNING: 1 of 56 computed checksums did NOT match 1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK 2: md5sum: WARNING: 1 of 56 computed checksums did NOT match 3: cron.1: FAILED
特殊說明
1)md5sum 是校驗檔案內容,與檔名是否相同無關
2)md5sum值逐位校驗,所以檔案越大,校驗時間越長。
總結
通過md5sum來校驗生成檔案校驗碼,來發現檔案傳輸(網路傳輸、複製、本地不同裝置間的傳輸)異常造成的檔案內容不一致的情況。
工作實踐應用場景:
需要比較2個rc1.tar.gz 包和rc2.tar.gz兩個包,變更是不是和開發說的一致
1.獲取包,確保包正確無誤
獲取包後,驗證包的MD5值:md5sum rc*.tar.gz
2. 解壓縮到指定目錄
確保對應的目錄存在
tar -zxvf rc1.tar.gz -C ./test_rc1
tar -zxvf rc2.tar.gz -C ./test_rc2
3. 遞迴生成各檔案的的MD5值
find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt
find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt
4. 比較兩檔案的MD5值
diff -c rc1_md5.txt rc2_md5.txt
或者用UltraCompare Professional比對結果