常用演算法 之 詳解 MD5(基於演算法的官方原文件)
什麼是 MD5
全稱是 MD5 訊息摘要演算法(The MD5 Message-Digest Algorithm),對輸入任意長度的訊息進行處理,最終產生一個128位的訊息摘要(雜湊值(hash value))。不同的輸入得到的不同的結果(唯一性)。MD5 由美國密碼學家羅納德·李維斯特(Ronald Linn Rivest)設計,於1992年公開,用以取代MD4演算法。這套演算法的程式在 RFC 1321 中被加以規範(具體見附件)。
- MD5 是 MD4 的升級版,MD4 是麻省理工學院教授 Ronald Rivest 於1990年設計的一種資訊摘要演算法,目前用的也不是很多。再之前還有個 MD2,好像是 1989年釋出的,目前基本已被淘汰。
- 雜湊(Hash): 把任意長度的輸入(又叫做預對映, pre-image),通過雜湊演算法,變換成固定長度的輸出,該輸出就是雜湊值。
- 雜湊衝撞/雜湊衝撞: 發現兩段原文對應同一個MD5,則稱為一次雜湊雜湊碰撞。
與 MD4 區別
根據規範文件,主要有以下幾點:
- 增加了第四輪.
- 每一步均有唯一的加法常數.
- 為減弱第二輪中函式G的對稱性從(X&Y)|(X&Z)|(Y&Z)變為(X&Z)|(Y&(~Z))
- 第一步加上了上一步的結果,這將引起更快的雪崩效應.
- 改變了第二輪和第三輪中訪問訊息子分組的次序,使其更不相似.
- 近似優化了每一輪中的迴圈左移位移量以實現更快的雪崩效應,各輪的位移量互不相同.
安全性
1996年後被證實存在弱點,可以被加以破解。2004年,證實MD5演算法無法防止碰撞(collision)。2004年的國際密碼討論年會(CRYPTO)尾聲,王小云及其研究同事展示了MD5、SHA-0及其他相關雜湊函式的雜湊衝撞。
實現原理
MD5 以 512 位分組
來處理輸入的資訊,且每一分組又被劃分為16個32位子分組
,經過了一系列的處理後,演算法的輸出由四個32位分組組成,將這四個32位分組級聯後將生成一個128位雜湊值。基本就是下面這張圖(該圖在許多大學的課本上就可以看到,具體忘了出處,就重新畫了一下)
根據演算法文件的描述,總共可以分為五步:
- 第一步:附加填充位: 如果輸入資訊的長度(bit)對512求餘的結果不等於448,就需要填充使得對512求餘的結果等於448。這裡主要是為了保證計算的最後一定為512bits。具體看參見後文原始碼的函式:
void MD5Final(MD5_CTX *context, unsigned char digest[16])
填充方法: 在訊息後面進行填充,填充第一位為1,其餘為0。具體見下面原始碼的陣列unsigned char PADDING[]
- 第二步:附加長度: 用64位來儲存填充前資訊長度。這64位加在第一步結果的後面。將總的位元位位數附加到最後一包的最後,進行轉換。
448 + 64 = 512
- 第三步:初始化 MD 緩衝區: 四個字(每個字32位)初始值(A,B,C,D)用於計算訊息摘要。依次為:
A = 0x67452301,B = 0xEFCDAB89,C = 0x98BADCFE,D = 0x10325476
- 第四步:處理輸入的資料: 這一步較為複雜,總共分兩層迴圈:第一層為訊息長度分的512bits的總包數(注意第一步的填充)下面的原始碼中,函式
void MD5Update(MD5_CTX *context, unsigned char *input, unsigned int inputlen)
就是處理這層迴圈的,第二層迴圈為 16個32位子分組,以下面四個分組計算,共64次迴圈。下面的原始碼中,函式static void MD5Transform(unsigned int state[4], unsigned char block[64])
就是處理這層迴圈的。- 規範定義了四個輔助函式,每個函式將三個32位字作為輸入,併產生一個32位字作為輸出。(& 表示與操作、| 表示或操作、~ 表示非操作、^ 表示異或操作)。64次子迴圈中,F、G、H、I 交替使用,第一個16次使用 F,第二個16次使用 G,第三個16次使用 H,第四個16次使用 I。
#define F(x, y, z) ((x & y) | (~x & z)) #define G(x, y, z) ((x & z) | (y & ~z)) #define H(x, y, z) (x ^ y ^ z) #define I(x, y, z) (y ^ (x | ~z))
- 設 Mj 表示訊息的第 j 個子分組(從0到15)。把原文的每512位再分成16等份,命名為M0 ~ M15,每一等份長度32。在64次子迴圈中,每16次迴圈,都會交替用到M1 ~ M16之一
FF(a,b,c,d,Mj,s,ti) 表示 a=b+((a+F(b,c,d)+Mj+ti)<<<s) GG(a,b,c,d,Mj,s,ti) 表示 a=b+((a+G(b,c,d)+Mj+ti)<<<s) HH(a,b,c,d,Mj,s,ti) 表示 a=b+((a+H(b,c,d)+Mj+ti)<<<s) II(a,b,c,d,Mj,s,ti) 表示 a=b+((a+I(b,c,d)+Mj+ti)<<<s)
- 四輪運算,演算法規定必須是四輪。具體見下面原始碼的函式
static void MD5Transform(unsigned int state[4], unsigned char block[64])
舉個例子,假設輸入的訊息長度為N,那麼第一層迴圈次數為 N / 512 (還需要考慮填充)
,第二層迴圈次數為512 / 32 *4 = 64
。具體來看看下圖(來自於維基百科的MD5介紹)。
這張圖所表達的就是 單次子迴圈 的流程。圖中的綠色F,代表以上四個輔助函式中的 F;紅色的田字代表相加;Mi表示分為32位後的第 i 包資料;Ki是一個演算法規定的常量,在64次子迴圈中,每一次用到的常量都是不同的;黃色的<<<S表示左移S位,S的值也是演算法規定的常量。
新A = 原d
新B = b+((a+F(b,c,d)+Mj+Ki)<<<s)
新C = 原b
新D = 原c
- 第五步:輸出: 作為輸出產生的訊息摘要是A,B,C,D。也就是說,我們從A的低位位元組開始,以D的高位位元組結束。
原始碼
在RFC 1321文件中,作者不進給出了演算法的具體描述以及與 MD4 的區別,還給出了一套實現好的 C 程式碼,下文說明就是基於該程式碼的。程式碼稍微簡化了一下,因此與原文中的程式碼可能稍有不同。
仔細閱讀以下原始碼會發現,原始碼的實現並不是嚴格按照上面說的順序實現的。以下原始碼有非常詳細的註釋,具體參看註釋即可,不在做過多說明。
- MD5.h
#ifndef MD5_H
#define MD5_H
/* MD5 context. */
typedef struct
{
/* 儲存原始資訊的bits數長度(不包括填充的bits),最長為 2^64 bits。如果訊息長度大於2^64,則只使用其低64位的值,即(訊息長度 對 2^64取模) */
unsigned int count[2];
/* 四個32bits數,用於存放最終計算得到的訊息摘要。當訊息長度大於 512bits時,也用於存放每個512bits的中間結果 */
unsigned int state[4];
/*存放輸入的資訊的緩衝區,512bits */
unsigned char buffer[64];
} MD5_CTX;
void MD5Init(MD5_CTX *context);
void MD5Update(MD5_CTX *context, unsigned char *input, unsigned int inputlen);
void MD5Final(MD5_CTX *context, unsigned char digest[16]);
#endif
- MD5.c
#include <string.h>
#include "MD5.h"
/* MD5轉換用到的常量,是演算法本身規定的 */
#define S11 7
#define S12 12
#define S13 17
#define S14 22
#define S21 5
#define S22 9
#define S23 14
#define S24 20
#define S31 4
#define S32 11
#define S33 16
#define S34 23
#define S41 6
#define S42 10
#define S43 15
#define S44 21
/* MD5演算法本身規定的基本函式 */
#define F(x, y, z) ((x & y) | (~x & z))
#define G(x, y, z) ((x & z) | (y & ~z))
#define H(x, y, z) (x ^ y ^ z)
#define I(x, y, z) (y ^ (x | ~z))
/* 實現將x迴圈左移n位
*/
#define ROTATE_LEFT(x, n) ((x << n) | (x >> (32 - n)))
/** MD5演算法本身規定的 4 輪變換
* Rotation is separate from addition to prevent recomputation.
**/
#define FF(a, b, c, d, x, s, ac) \
{ \
a += F(b, c, d) + x + ac; \
a = ROTATE_LEFT(a, s); \
a += b; \
}
#define GG(a, b, c, d, x, s, ac) \
{ \
a += G(b, c, d) + x + ac; \
a = ROTATE_LEFT(a, s); \
a += b; \
}
#define HH(a, b, c, d, x, s, ac) \
{ \
a += H(b, c, d) + x + ac; \
a = ROTATE_LEFT(a, s); \
a += b; \
}
#define II(a, b, c, d, x, s, ac) \
{ \
a += I(b, c, d) + x + ac; \
a = ROTATE_LEFT(a, s); \
a += b; \
}
/**
* 用於bits填充的緩衝區,為什麼要64個位元組呢?因為當欲加密的資訊的bits數被512除其餘數為448時,
* 需要填充的bits的最大值為512=64*8 。
**/
unsigned char PADDING[] = {0x80, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0};
static void MD5Transform(unsigned int state[4], unsigned char block[64]);
static void MD5Encode(unsigned char *output, unsigned int *input, unsigned int len);
static void MD5Decode(unsigned int *output, unsigned char *input, unsigned int len);
/* MD5 initialization. Begins an MD5 operation, writing a new context. */
/* 初始化md5的結構 */
void MD5Init(MD5_CTX *context)
{
/* 將當前的有效資訊的長度設成 0 */
context->count[0] = 0;
context->count[1] = 0;
/* Load magic initialization constants.*/
/* 初始化連結變數,演算法要求這樣 */
context->state[0] = 0x67452301;
context->state[1] = 0xEFCDAB89;
context->state[2] = 0x98BADCFE;
context->state[3] = 0x10325476;
}
/* MD5 block update operation. Continues an MD5 message-digest
operation, processing another message block, and updating the
context. */
/* 將與加密的資訊傳遞給md5結構,可以多次呼叫
context:初始化過了的md5結構
input:欲加密的資訊,可以任意長
inputLen:指定input的長度
*/
void MD5Update(MD5_CTX *context, unsigned char *input, unsigned int inputlen)
{
unsigned int i = 0, index = 0, partlen = 0;
/* 計算已有資訊的bits長度的位元組數的模64(64bytes = 512bits)。 用於判斷已有資訊加上當前傳過來的資訊的總長度能不能達到 512bits, 如果能夠達到則對湊夠的512bits進行一次處理 */
index = (context->count[0] >> 3) & 0x3F; /* (context->count[0] >> 3) = context->count[0]/8 ,即:算位元組數; 後面的 & 3F 就是 Mod 64 */
partlen = 64 - index; /* 計算已有的位元組數長度還差多少位元組可以湊成 64Bytes(512bits) */
/* 儲存輸入資訊的位元位數 */
context->count[0] += inputlen << 3;
if (context->count[0] < (inputlen << 3))
{
context->count[1]++;
}
context->count[1] += inputlen >> 29;
/* 如果當前輸入的位元組數 大於 已有位元組數長度補足64位元組整倍數所差的位元組數 */
if (inputlen >= partlen)
{
/* 用當前輸入的內容把 context->buffer 的內容補足 512bits */
memcpy(&context->buffer[index], input, partlen);
/* 用基本函式對填充滿的512bits(已經儲存到context->buffer中) 做一次轉換,轉換結果儲存到context->state中 */
MD5Transform(context->state, context->buffer);
/* 對當前輸入的剩餘位元組做轉換(如果剩餘的位元組大於512bits的話 ), 轉換結果儲存到context->state中 */
for (i = partlen; i + 64 <= inputlen; i += 64)
{
MD5Transform(context->state, &input[i]);
}
index = 0;
}
else
{
i = 0;
}
/*將輸入緩衝區中的不足填充滿512bits的剩餘內容填充到context->buffer中,留待以後再作處理*/
memcpy(&context->buffer[index], &input[i], inputlen - i);
}
/* MD5 finalization. Ends an MD5 message-digest operation, writing the
the message digest and zeroizing the context. */
/*獲取加密 的最終結果
digest:儲存最終的加密串
context:你前面初始化並填入了資訊的md5結構
*/
void MD5Final(MD5_CTX *context, unsigned char digest[16])
{
unsigned int index = 0, padlen = 0;
unsigned char bits[8];
/* 計算已有資訊的bits長度的位元組數的模64(64bytes = 512bits)。 */
index = (context->count[0] >> 3) & 0x3F;
/* 計算需要填充的位元組數,padLen的取值範圍在1-64之間 */
padlen = (index < 56) ? (56 - index) : (120 - index);
/* 將要被轉換的資訊(所有的)的bits長度拷貝到bits中 */
MD5Encode(bits, context->count, 8);
/* */
MD5Update(context, PADDING, padlen);
/* 補上原始資訊的bits長度(bits長度固定的用64bits表示),這一次能夠恰巧湊夠512bits,不會多也不會少 */
MD5Update(context, bits, 8);
/* 將最終的結果儲存到digest中。ok,終於大功告成了 */
MD5Encode(digest, context->state, 16);
}
/* Encodes input (UINT4) into output (unsigned char). Assumes len is
a multiple of 4. */
/*將4位元組的整數copy到字元形式的緩衝區中
output:用於輸出的字元緩衝區
input:欲轉換的四位元組的整數形式的陣列
len:output緩衝區的長度,要求是4的整數倍
*/
static void MD5Encode(unsigned char *output, unsigned int *input, unsigned int len)
{
unsigned int i = 0, j = 0;
while (j < len)
{
output[j] = input[i] & 0xFF;
output[j + 1] = (input[i] >> 8) & 0xFF;
output[j + 2] = (input[i] >> 16) & 0xFF;
output[j + 3] = (input[i] >> 24) & 0xFF;
i++;
j += 4;
}
}
/* Decodes input (unsigned char) into output (UINT4). Assumes len is
a multiple of 4. */
/*與上面的函式正好相反,這一個把字元形式的緩衝區中的資料copy到4位元組的整數中(即以整數形式儲存)
output:儲存轉換出的整數
input:欲轉換的字元緩衝區
len:輸入的字元緩衝區的長度,要求是4的整數倍
*/
static void MD5Decode(unsigned int *output, unsigned char *input, unsigned int len)
{
unsigned int i = 0, j = 0;
while (j < len)
{
output[i] = (input[j]) |
(input[j + 1] << 8) |
(input[j + 2] << 16) |
(input[j + 3] << 24);
i++;
j += 4;
}
}
/* MD5 basic transformation. Transforms state based on block. */
/*
對512bits資訊(即block緩衝區)進行一次處理,每次處理包括四輪
state[4]:md5結構中的state[4],用於儲存對512bits資訊加密的中間結果或者最終結果
block[64]:欲加密的512bits資訊
*/
static void MD5Transform(unsigned int state[4], unsigned char block[64])
{
unsigned int a = state[0];
unsigned int b = state[1];
unsigned int c = state[2];
unsigned int d = state[3];
unsigned int x[64];
MD5Decode(x, block, 64);
/* Round 1 */
FF(a, b, c, d, x[0], S11, 0xd76aa478); /* 1 */
FF(d, a, b, c, x[1], S12, 0xe8c7b756); /* 2 */
FF(c, d, a, b, x[2], S13, 0x242070db); /* 3 */
FF(b, c, d, a, x[3], S14, 0xc1bdceee); /* 4 */
FF(a, b, c, d, x[4], S11, 0xf57c0faf); /* 5 */
FF(d, a, b, c, x[5], S12, 0x4787c62a); /* 6 */
FF(c, d, a, b, x[6], S13, 0xa8304613); /* 7 */
FF(b, c, d, a, x[7], S14, 0xfd469501); /* 8 */
FF(a, b, c, d, x[8], S11, 0x698098d8); /* 9 */
FF(d, a, b, c, x[9], S12, 0x8b44f7af); /* 10 */
FF(c, d, a, b, x[10], S13, 0xffff5bb1); /* 11 */
FF(b, c, d, a, x[11], S14, 0x895cd7be); /* 12 */
FF(a, b, c, d, x[12], S11, 0x6b901122); /* 13 */
FF(d, a, b, c, x[13], S12, 0xfd987193); /* 14 */
FF(c, d, a, b, x[14], S13, 0xa679438e); /* 15 */
FF(b, c, d, a, x[15], S14, 0x49b40821); /* 16 */
/* Round 2 */
GG(a, b, c, d, x[1], S21, 0xf61e2562); /* 17 */
GG(d, a, b, c, x[6], S22, 0xc040b340); /* 18 */
GG(c, d, a, b, x[11], S23, 0x265e5a51); /* 19 */
GG(b, c, d, a, x[0], S24, 0xe9b6c7aa); /* 20 */
GG(a, b, c, d, x[5], S21, 0xd62f105d); /* 21 */
GG(d, a, b, c, x[10], S22, 0x2441453); /* 22 */
GG(c, d, a
相關推薦
常用演算法 之 詳解 MD5(基於演算法的官方原文件)
什麼是 MD5
全稱是 MD5 訊息摘要演算法(The MD5 Message-Digest Algorithm),對輸入任意長度的訊息進行處理,最終產生一個128位的訊息摘要(雜湊值(hash value))。不同的輸入得到的不同的結果(唯一性)。MD5
演算法之詳解最小生成樹
繼續,這次選擇邊CI(當有兩條邊權值相等時,可隨意選一條),此時需做判斷。判斷法則:當將邊CI加入到已找到邊的集合中時,是否會形成迴路?
1.如果沒有形成迴路,那麼直接將其連通。此時,對於邊的集合又要做一次判斷:這兩個點是否在已找到點的集合中出現過?
①.如果兩個點都沒有出現過
分散式系統詳解--框架(Hadoop--JAVA操作HDFS檔案)
分散式系統詳解--框架(Hadoop--JAVA操作HDFS檔案)
前面的文章介紹了怎麼將整個集群系統搭建起來,並進行了有效的測試。為了解決登入一臺伺服器登入其他伺服器需要多次輸入密碼的
分散式系統詳解--框架(Zookeeper-簡介和叢集搭建)
分散式系統詳解--框架(Zookeeper-簡介和叢集搭建)
一、Zookeeper簡介
1.1 Zookeeper是什麼?
Redis 客戶端之Redisson 配置使用(基於Spring Boot 2.x)
開發環境:使用Intellij IDEA + Maven + Spring Boot 2.x + JDK 8
1.在專案的pom.xml檔案下,引入Redis和Redisson在Spring Boot 下的相關Jar包依賴。
<properties>
linux驅動由淺入深系列:PBL-SBL1-(bootloader)LK-Android啟動過程詳解之一(高通MSM8953啟動例項)【轉】
本文轉載自:https://blog.csdn.net/radianceblau/article/details/73229005
對於嵌入式工程師瞭解晶片啟動過程是十分有必要的,在分析、除錯各種問題的時候都有可能涉及到這方面的知識。同時這部分知識也是比較複雜的,因為其中涉及到晶片內部架構,啟動各個階段軟體
JS - Promise使用詳解1(基本概念、使用優點)
一、promises相關概念
promises 的概念是由 CommonJS 小組的成員在 Promises/A 規範中提出來的。
1,then()方法介紹
根據 Promise/A 規範,promi
【課程分享】procast砂型鑄造詳解教程(鑄鋼鑄鐵為例)
本課程詳細以鑄鋼鑄鐵為例介紹了砂型鑄造各階段的操作教程。主要有十四個課時。講述了幾何模型的處理、網格劃分、鑄鋼鑄鐵引數設定、後處理結果分析、過濾網引數設定、材料資料庫的建立和一些常用的操作,具體看列表。練習模型已上傳附件。
技術鄰專家介紹
一杯敬明月
工藝工程師
擅
Redis 客戶端之Lettuce配置使用(基於Spring Boot 2.x)
開發環境:使用Intellij IDEA + Maven + Spring Boot 2.x + JDK 8
Spring Boot 從 2.0版本開始,將預設的Redis客戶端Jedis替換問Lett
MongoDB內建角色詳解(翻譯自官方文件)
1 資料庫使用者角色
每個資料庫都包含下列的角色:
read : 提供讀取所有的非系統集合的能力,也能讀取以下系統集合:system.indexes,system.js,system.namespacesreadWrite:提供所有讀許可權另外還能修改非系統集合和system.js集合
Git詳解 二(建立遠端倉庫 克隆專案)
Git遠端倉庫Github
Github網站作為遠端程式碼倉庫時的操作和原生代碼倉庫一樣的,只是倉庫位置不同而已! 準備Git原始碼倉庫 https://github.com/ 準備經理的檔案 Desktop/manager/ 準備張三的檔案 Desktop/zhangsan/
1.
【實用】JavaScript中Video使用詳解過程(多視訊列表迴圈播放)
做過一個專案裡有用到插入多個視訊類似列表迴圈播放的,視訊資訊是從後臺資料庫傳入的
核心JS程式碼片段
<script type="text/javascript">
var videoArray=new Array();
var relative
MyBatis 註解(摘自MyBatis官方文件)
註解
目標
相對應的 XML
描述
@CacheNamespace
類
<cache>
為給定的名稱空間 (比如類) 配置快取。
屬性:implemetation,evictio
HBase資料庫與關係型資料庫的區別(取材於官方文件)
HBase 資料被建模為多維對映,其中值(表單元)通過 4 個鍵索引:
value = Map(TableName, RowKey, ColumnKey, Timestamp)
其中:
TableName 是一個字串。 是表名。
RowKey 和 ColumnKey 是
ES聚合原理:(來源自官方文件)
聚合原理:(來源自官方文件)
大多數字段預設為索引,這使得它們可以搜尋。 但是,排序,聚合和訪問指令碼中的欄位值需要與搜尋不同的訪問模式。
搜尋需要回答“哪些文件包含此術語?”的問題,而排序和聚合需要回答一個不同的問題:“本文對這個文件有什麼價值?”。
大多
Disconf 學習系列之全網最詳細的最新穩定Disconf 搭建部署(基於Ubuntu14.04 / 16.04)(圖文詳解)
class 6.0 conf ubuntu14 穩定 div ubun 搭建 學習
不多說直接上幹貨!
https://www.cnblogs.com/wuxiaofeng/p/6882596.html (ubuntu16.04)
https
Java程式設計師從笨鳥到菜鳥之(五十三)細談Hibernate(四)Hibernate常用配置檔案詳解
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow
也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!
 
王權富貴書評:《21個專案玩轉深度學習基於TensorFlow的實踐詳解》(何之源著)
這本書只有例子。例子還屬於那種不完整的。
推薦:-* &nb
oracle常用函數詳解(詳細)
sub 最後一天 run -1 fonts ase 必須 顯示 分享 作者:紅旗飄揚
Oracle SQL 提供了用於執行特定操作的專用函數。這些函數大大增強了 SQL 語言的功能。函數可以接受零個或者多個輸入參數,並返回一個輸出結果。 oracle 數據庫中主要使用兩種
JDBC詳解系列(二)之加載驅動
red mar mys ons try path 替換 host man ---[來自我的CSDN博客](http://blog.csdn.net/weixin_37139197/article/details/78838091)---
??在JDBC詳解系列(一)之流程中