在Linux系統中使用md5sum校驗資料一致性的耗時驗證與分析
我們在Linux系統中校驗檔案一致性時,通常使用md5sum命令來生成檔案的MD5碼,下面先介紹下MD5:
MD5演算法常常被用來驗證網路檔案傳輸的完整性,防止檔案被人篡改。MD5 全稱是報文摘要演算法(Message-Digest Algorithm 5),此演算法對任意長度的資訊逐位進行計算,產生一個二進位制長度為128位(十六進位制長度就是32位)的“指紋”(或稱“報文摘要”),不同的檔案產生相同的報文摘要的可能性是非常非常之小的。
因此可以通過md5sum來完成檔案一致性的檢查。
最近在一臺8核CPU,24GB記憶體的SUSE LINUX伺服器上為了校驗一批壓縮包檔案的一致性,總結了一些經驗跟大家分享:
1、通過多次校驗不同大小的檔案,發現md5sum生成校驗碼的時間是隨檔案增大而時間也隨之增大的,平均值是每1GB耗時4~6秒;
2、當同時校驗多個檔案時,即使使用類似md5sum filename > filename.md5 &這樣的命令,將其丟到系統後臺執行,你會發現完成這批檔案的md5sum校驗的總時間=依次校驗各個檔案的md5sum耗時,其原因是:md5sum校驗檔案時,首先會完成的讀取一遍檔案,但系統硬體的IO能力是固定的,所以即使md5sum是併發,其總耗時也是不變的。
相關推薦
在Linux系統中使用md5sum校驗資料一致性的耗時驗證與分析
我們在Linux系統中校驗檔案一致性時,通常使用md5sum命令來生成檔案的MD5碼,下面先介紹下MD5: MD5演算法常常被用來驗證網路檔案傳輸的完整性,防止檔案被人篡改。MD5 全稱是報文摘要演算法(Message-Digest Algorithm 5),此演算法對任意長度的資訊逐位進行計算,產
linux系統中不同顏色的資料夾及根目錄介紹
檔案顏色的代表含義: 藍色:目錄 綠色:可執行檔案 紅色:壓縮檔案 藍綠色:連結檔案 白色:其他檔案 黃色:裝置檔案,其中包括block,char,fifo. 根目錄的簡單介紹: 描述
詳解Linux系統中軟連線和硬連結的區別與聯絡
Linux 系統中有軟連線和硬連結兩種特殊的“檔案”。 其中軟連線實際上可以看作是Windows中的快捷方式,而硬連結則可以看作類似於一個檔案的 “指標”(也不完全相同) 。 建立方法都很簡單: 1. 軟連線(符號連結) ln -s source target 2
18-09-09 Linux 系統如何獲取外部的資料例如 軟體的2中方式
方式一 利用U盤 手動掛載/解除安裝 U盤==========================================1, cat /proc/partitions檢視U盤插入前後, 多出的 sd* 分割槽, 既是插入的U盤 ===》 一般是sdb*
查詢Linux系統中的佔用磁碟空間最大的前10個檔案或資料夾
當磁碟空間被迅速佔用的時候,我們必須找出一些,比較佔用磁碟空間的檔案或者資料夾。通常情況下,最有可能找出佔用磁碟空間檔案或資料夾的地方,主要是 /tmp or /var or /home。 目前沒有單個命令來
資料傳輸中CRC校驗碼的實現
CRC校驗碼,即迴圈冗餘校驗(Cyclic Redundancy Check),目前最為常見的一種差錯校驗碼,CRC的資訊欄位和校驗字的長度可以任意選定,在資料傳輸過程中,為了確保資料的正確性,必須使用一種資料檢錯方法,CRC便是最常用的一種。 CRC的原理是若在傳送端傳送
Linux系統中如何查詢大檔案或資料夾的方法
[[email protected] u03]# find . -type f -size +800M -print0 | xargs -0 ls -l -rw-r----- 1 oracle oinstall 2782846976 Mar 6 11:51 ./flash_recovery
老男孩教育每日一題-2017年5月12日-磁盤知識點:linux系統中LVM配置實現方法?
邏輯卷管理 磁盤 每日一題 1.題目老男孩教育每日一題-2017年5月12日-磁盤知識點:linux系統中LVM配置實現方法?2.參考答案01:將一個或多個物理分區創建為一個PV# pvcreate /dev/sdb{1,2} Physical volume "/dev/sdb1" success
linux系統中定時任務
linu tab 一次 腳本 lin edi 路徑 執行 表示 1、查看所有定時任務:命令:“crontab -l” 數字意思解釋如下:從左到右,依次是:分、時、日、月、星期。 2、編輯定時執行計劃:命令:"crontab -e" ,e表示edit修改的意思。 3、修
Linux 系統中這樣修復 SambaCry 漏洞
windows 服務器 解決方案 linux 非官方 導讀Samba 很久以來一直是為 linux 系統上的 Windows 客戶端提供共享文件和打印服務的標準。家庭用戶,中型企業和大型公司都在使用它,它作為最佳解決方案在多種操作系統共存的環境中脫穎而出,由於廣泛使用的工具很可能發生這種情
linux 系統中的 /bin /sbin /usr/bin /usr/sbin /usr/local/bin /usr/local/sbin 目錄的區別
。。 process pre this 用戶 unix table mount sent 先來段英文的: /bin This directory contains executable programs which are needed in single user
Linux 系統中安裝Mysql_5.6
上傳 粘貼 啟動mysql grant ont linu chm cli char Linux 系統中安裝Mysql_5.6 安裝包下載地址(http://pan.baidu.com/s/1o8G5q
在Linux系統中安裝vmTools
cdr cdrom linu 是否 壓縮 進入 span pan tin 以下是,會用到的命令、遇到的問題及解釋: 在虛擬機中安裝centOS系統,因為後續安裝服務或者其他的東西,因此需要安裝vmTools,方便將文件從宿主電腦拖進虛擬機內。(我的是tar壓縮包的vmToo
Linux系統中有關/dev/null和/dev/zero文件說明及實踐
linux /dev/null 特殊文件 /dev/zero Linux系統中有關/dev/null和/dev/zero文件說明提示:這個題目完全可以作為一個面試題考考運維的應聘者:面試題:請解釋Linux中/dev/null和/dev/zero兩個文件的作用和區別。在類Unix操作系統中,
運維學習之Linux系統中的文件傳輸、歸檔、壓縮
linux不同系統之間的文件傳輸1.文件歸檔1.文件歸檔,就是把多個文件變成一個歸檔文件2.tar c ##創建 f ##指定歸檔文件名稱 t ##顯示歸檔文件中的內容 r ##向歸檔文件中添加文件 --get ##取出單個文件 --delete ##刪除單個文件 x ##取出歸檔文件中的所有內容
Linux系統中如何查看日誌信息
日誌文件 系統日誌 楊書凡 日誌文件是用於記錄Linux系統中各種運行消息的文件,不同的日誌文件記載了不同類型的信息,對於診斷和解決系統中的問題很有幫助分析日誌文件 日誌數據主要包括三種類型:內核及系統日誌、用戶日誌、程序日誌 #對於大多數的文本格式的日誌文件,使用tail、more、l
Linux系統中修改/etc/profile文件的方法
linux在Linux系統中etc/profile文件一般是不能更改的,想要更改etc/profile文件就要用一些特殊的技巧進行Linux文件修改。本文就來介紹一下Linux系統中修改/etc/profile文件的方法:etc/profile文件是只讀的,直接用vi或gedit打開修改後是無法保存的。要修改
Linux系統中svn服務器設置開機啟動
數據庫 檢查 reat version 打開端口 rest grep 建立 標簽 安裝完svn服務器後雖然好用但是因為經常重啟Linux服務器,每次重啟完就要去手動啟動svn服務器,很是麻煩,於是在網上找了一些方法後,自己把svn服務器設置成開機啟動 步驟一:安裝svn服務
Linux系統中終端的入口
配置 bash 需求:登陸通過SSH登陸Linux主機,主機只能執行特定腳本或程序,如何約束?首先配置/etc/bash.bashrc 該文件每次打開新的shell都會執行該文件;添加執行腳本或程序路徑到bash.bashrc文件;對於腳本或程序,不能有退出程序的語句,異常情況下也要保持在腳本或程序裏
在Linux系統中實現CA
linux、創建ca前言 CA是證書的簽發機構,它是PKI的核心。CA是負責簽發證書、認證證書、管理已頒發證書的機關。它要制定政策和具體步驟來驗證、識別用戶身份,並對用戶證書進行簽名,以確保證書持有者的身份和公鑰的擁有權。。 CA 也擁有一個證書(內含公鑰)和私鑰。網上的公眾用戶通