Merkle Tree 概念

來源 https://www.cnblogs.com/fengzhiwu/p/5524324.html

/*最近在看Ethereum，其中一個重要的概念是Merkle Tree，以前從來沒有聽說過，所以查了些資料，學習了Merkle Tree的知識，因為接觸時間不長，對Merkle Tree的理解也不是很深入，如果有不對的地方，希望各位大神指正*/

　　Merkle Tree，通常也被稱作Hash Tree，顧名思義，就是存儲hash值的一棵樹。Merkle樹的葉子是數據塊(例如，文件或者文件的集合)的hash值。非葉節點是其對應子節點串聯字符串的hash。^[1]

　　1. Hash

　　Hash是一個把任意長度的數據映射成固定長度數據的函數^[2]。例如，對於數據完整性校驗，最簡單的方法是對整個數據做Hash運算得到固定長度的Hash值，然後把得到的Hash值公布在網上，這樣用戶下載到數據之後，對數據再次進行Hash運算，比較運算結果和網上公布的Hash值進行比較，如果兩個Hash值相等，說明下載的數據沒有損壞。可以這樣做是因為輸入數據的稍微改變就會引起Hash運算結果的面目全非，而且根據Hash值反推原始輸入數據的特征是困難的。^[3]

　　如果從一個穩定的服務器進行下載，采用單一Hash是可取的。但如果數據源不穩定，一旦數據損壞，就需要重新下載，這種下載的效率是很低的。

　　2. Hash List

　　在點對點網絡中作數據傳輸的時候，會同時從多個機器上下載數據，而且很多機器可以認為是不穩定或者不可信的。為了校驗數據的完整性，更好的辦法是把大的文件分割成小的數據塊（例如，把分割成2K為單位的數據塊）。這樣的好處是，如果小塊數據在傳輸過程中損壞了，那麽只要重新下載這一快數據就行了，不用重新下載整個文件。

　　怎麽確定小的數據塊沒有損壞哪？只需要為每個數據塊做Hash。BT下載的時候，在下載到真正數據之前，我們會先下載一個Hash列表。那麽問題又來了，怎麽確定這個Hash列表本事是正確的哪？答案是把每個小塊數據的Hash值拼到一起，然後對這個長字符串在作一次Hash運算，這樣就得到Hash列表的根Hash(Top Hash or Root Hash)。下載數據的時候，首先從可信的數據源得到正確的根Hash，就可以用它來校驗Hash列表了，然後通過校驗後的Hash列表校驗數據塊。

　　3. Merkle Tree

　　Merkle Tree可以看做Hash List的泛化（Hash List可以看作一種特殊的Merkle Tree，即樹高為2的多叉Merkle Tree）。

　　在最底層，和哈希列表一樣，我們把數據分成小的數據塊，有相應地哈希和它對應。但是往上走，並不是直接去運算根哈希，而是把相鄰的兩個哈希合並成一個字符串，然後運算這個字符串的哈希，這樣每兩個哈希就結婚生子，得到了一個”子哈希“。如果最底層的哈希總數是單數，那到最後必然出現一個單身哈希，這種情況就直接對它進行哈希運算，所以也能得到它的子哈希。於是往上推，依然是一樣的方式，可以得到數目更少的新一級哈希，最終必然形成一棵倒掛的樹，到了樹根的這個位置，這一代就剩下一個根哈希了，我們把它叫做 Merkle Root^[3]。

　　在p2p網絡下載網絡之前，先從可信的源獲得文件的Merkle Tree樹根。一旦獲得了樹根，就可以從其他從不可信的源獲取Merkle tree。通過可信的樹根來檢查接受到的Merkle Tree。如果Merkle Tree是損壞的或者虛假的，就從其他源獲得另一個Merkle Tree，直到獲得一個與可信樹根匹配的Merkle Tree。

　　Merkle Tree和Hash List的主要區別是，可以直接下載並立即驗證Merkle Tree的一個分支。因為可以將文件切分成小的數據塊，這樣如果有一塊數據損壞，僅僅重新下載這個數據塊就行了。如果文件非常大，那麽Merkle tree和Hash list都很到，但是Merkle tree可以一次下載一個分支，然後立即驗證這個分支，如果分支驗證通過，就可以下載數據了。而Hash list只有下載整個hash list才能驗證。

Merkle Tree的特點

1. MT是一種樹，大多數是二叉樹，也可以多叉樹，無論是幾叉樹，它都具有樹結構的所有特點；
2. Merkle Tree的葉子節點的value是數據集合的單元數據或者單元數據HASH。
3. 非葉子節點的value是根據它下面所有的葉子節點值，然後按照Hash算法計算而得出的。^[4][5]

　　通常，加密的hash方法像SHA-2和MD5用來做hash。但如果僅僅防止數據不是蓄意的損壞或篡改，可以改用一些安全性低但效率高的校驗和算法，如CRC。

　　Second Preimage Attack: Merkle tree的樹根並不表示樹的深度，這可能會導致second-preimage attack，即攻擊者創建一個具有相同Merkle樹根的虛假文檔。一個簡單的解決方法在Certificate Transparency中定義：當計算葉節點的hash時，在hash數據前加0x00。當計算內部節點是，在前面加0x01。另外一些實現限制hash tree的根，通過在hash值前面加深度前綴。因此，前綴每一步會減少，只有當到達葉子時前綴依然為正，提取的hash鏈才被定義為有效。

Merkle Tree的操作

　　1. 創建Merckle Tree

　　加入最底層有9個數據塊。

　　step1：（紅色線）對數據塊做hash運算，Node_0i = hash(Data_0i), i=1,2,…,9

　　step2: （橙色線）相鄰兩個hash塊串聯，然後做hash運算，Node_1((i+1)/2) = hash(Node_0i+Node_0(i+1)), i=1,3,5,7;對於i=9, Node_1((i+1)/2) = hash(Node_0i)

　　step3: （黃色線）重復step2

　　step4：（綠色線）重復step2

　　step5：（藍色線）重復step2，生成Merkle Tree Root

易得，創建Merkle Tree是O(n)復雜度(這裏指O(n)次hash運算)，n是數據塊的大小。得到Merkle Tree的樹高是log(n)+1。

　　2. 檢索數據塊

為了更好理解，我們假設有A和B兩臺機器，A需要與B相同目錄下有8個文件，文件分別是f1 f2 f3 ....f8。這個時候我們就可以通過Merkle Tree來進行快速比較。假設我們在文件創建的時候每個機器都構建了一個Merkle Tree。具體如下圖:

　　從上圖可得知，葉子節點node7的value = hash(f1),是f1文件的HASH;而其父親節點node3的value = hash(v7, v8)，也就是其子節點node7 node8的值得HASH。就是這樣表示一個層級運算關系。root節點的value其實是所有葉子節點的value的唯一特征。

　　假如A上的文件5與B上的不一樣。我們怎麽通過兩個機器的merkle treee信息找到不相同的文件? 這個比較檢索過程如下:

　　Step1. 首先比較v0是否相同,如果不同，檢索其孩子node1和node2.

　　Step2. v1 相同，v2不同。檢索node2的孩子node5 node6;

　　Step3. v5不同，v6相同，檢索比較node5的孩子node 11 和node 12

　　Step4. v11不同，v12相同。node 11為葉子節點，獲取其目錄信息。

　　Step5. 檢索比較完畢。

　　以上過程的理論復雜度是Log(N)。過程描述圖如下:

　　從上圖可以得知真個過程可以很快的找到對應的不相同的文件。

　　3. 更新，插入和刪除

　　雖然網上有很多關於Merkle Tree的資料，但大部分沒有涉及Merkle Tree的更新、插入和刪除操作，討論Merkle Tree的檢索和遍歷的比較多。我也是非常困惑，一種樹結構的操作肯定不僅包括查找，也包括更新、插入和刪除的啊。後來查到stackexchange上的一個問題，才稍微有點明白，原文見[6]。

　　對於Merkle Tree數據塊的更新操作其實是很簡單的，更新完數據塊，然後接著更新其到樹根路徑上的Hash值就可以了，這樣不會改變Merkle Tree的結構。但是，插入和刪除操作肯定會改變Merkle Tree的結構，如下圖，一種插入操作是這樣的：

　　插入數據塊0後(考慮數據塊的位置)，Merkle Tree的結構是這樣的：

　　而[6]中的同學在考慮一種插入的算法，滿足下面條件：

• re-hashing操作的次數控制在log(n)以內
• 數據塊的校驗在log(n)+1以內
• 除非原始樹的n是偶數，插入數據後的樹沒有孤兒，並且如果有孤兒，那麽孤兒是最後一個數據塊
• 數據塊的順序保持一致
• 插入後的Merkle Tree保持平衡

　　然後上面的插入結果就會變成這樣：

　　根據[6]中回答者所說，Merkle Tree的插入和刪除操作其實是一個工程上的問題，不同問題會有不同的插入方法。如果要確保樹是平衡的或者是樹高是log(n)的，可以用任何的標準的平衡二叉樹的模式，如AVL樹，紅黑樹，伸展樹，2-3樹等。這些平衡二叉樹的更新模式可以在O(lgn)時間內完成插入操作，並且能保證樹高是O(lgn)的。那麽很容易可以看出更新所有的Merkle Hash可以在O((lgn)²)時間內完成（對於每個節點如要更新從它到樹根O(lgn)個節點，而為了滿足樹高的要求需要更新O(lgn)個節點）。如果仔細分析的話，更新所有的hash實際上可以在O(lgn)時間內完成，因為要改變的所有節點都是相關聯的，即他們要不是都在從某個葉節點到樹根的一條路徑上，或者這種情況相近。

　　[6]的回答者說實際上Merkle Tree的結構(是否平衡，樹高限制多少)在大多數應用中並不重要，而且保持數據塊的順序也在大多數應用中也不需要。因此，可以根據具體應用的情況，設計自己的插入和刪除操作。一個通用的Merkle Tree插入刪除操作是沒有意義的。

Merkle Tree的應用

　　1. 數字簽名

　　最初Merkle Tree目的是高效的處理Lamport one-time signatures。 每一個Lamport key只能被用來簽名一個消息，但是與Merkle tree結合可以來簽名多條Merkle。這種方法成為了一種高效的數字簽名框架，即Merkle Signature Scheme。

　　2. P2P網絡

　　在P2P網絡中，Merkle Tree用來確保從其他節點接受的數據塊沒有損壞且沒有被替換，甚至檢查其他節點不會欺騙或者發布虛假的塊。大家所熟悉的BT下載就是采用了P2P技術來讓客戶端之間進行數據傳輸，一來可以加快數據下載速度，二來減輕下載服務器的負擔。BT即BitTorrent，是一種中心索引式的P2P文件分分析通信協議^[7]。

　　要進下載必須從中心索引服務器獲取一個擴展名為torrent的索引文件（即大家所說的種子），torrent文件包含了要共享文件的信息，包括文件名，大小，文件的Hash信息和一個指向Tracker的URL[8]。Torrent文件中的Hash信息是每一塊要下載的文件內容的加密摘要，這些摘要也可運行在下載的時候進行驗證。大的torrent文件是Web服務器的瓶頸，而且也不能直接被包含在RSS或gossiped around(用流言傳播協議進行傳播)。一個相關的問題是大數據塊的使用，因為為了保持torrent文件的非常小，那麽數據塊Hash的數量也得很小，這就意味著每個數據塊相對較大。大數據塊影響節點之間進行交易的效率，因為只有當大數據塊全部下載下來並校驗通過後，才能與其他節點進行交易。

　　就解決上面兩個問題是用一個簡單的Merkle Tree代替Hash List。設計一個層數足夠多的滿二叉樹，葉節點是數據塊的Hash，不足的葉節點用0來代替。上層的節點是其對應孩子節點串聯的hash。Hash算法和普通torrent一樣采用SHA1。其數據傳輸過程和第一節中描述的類似。

　　3. Trusted Computing

　　可信計算是可信計算組為分布式計算環境中參與節點的計算平臺提供端點可信性而提出的。可信計算技術在計算平臺的硬件層引入可信平臺模塊(Trusted Platform，TPM)，實際上為計算平臺提供了基於硬件的可信根(Root of trust，RoT)。從可信根出發，使用信任鏈傳遞機制，可信計算技術可對本地平臺的硬件及軟件實施逐層的完整性度量，並將度量結果可靠地保存再TPM的平臺配置寄存器(Platform configuration register，PCR)中，此後遠程計算平臺可通過遠程驗證機制(Remote Attestation)比對本地PCR中度量結果，從而驗證本地計算平臺的可信性。可信計算技術讓分布式應用的參與節點擺脫了對中心服務器的依賴，而直接通過用戶機器上的TPM芯片來建立信任，使得創建擴展性更好、可靠性更高、可用性更強的安全分布式應用成為可能[10]。可信計算技術的核心機制是遠程驗證(remote attestation),分布式應用的參與結點正是通過遠程驗證機制來建立互信,從而保障應用的安全。

　　文獻[10]提出了一種基於Merkle Tree的遠程驗證機制，其核心是完整性度量值哈希樹。

　　首先,RAMT 在內核中維護的不再是一張完整性度量值列表(ML),而是一棵完整性度量值哈希樹(integrity measurement hash tree,簡稱IMHT).其中,IMHT的葉子結點存儲的數據對象是待驗證計算平臺上被度量的各種程序的完整性哈希值,而其內部結點則依據Merkle 哈希樹的構建規則由子結點的連接的哈希值動態生成。

　　其次,為了維護IMHT 葉子結點的完整性,RAMT 需要使用TPM 中的一段存儲器來保存IMHT 可信根哈希的值。

　　再次,RAMT 的完整性驗證過程基於認證路徑(authentication path)實施.認證路徑是指IMHT 上從待驗證葉子結點到根哈希的路徑。

　　4. IPFS

　　IPFS(InterPlanetary File System)是很多NB的互聯網技術的綜合體，如DHT( Distributed HashTable，分布式哈希表)，Git版本控制系統，Bittorrent等。它創建了一個P2P的集群，這個集群允許IPFS對象的交換。全部的IPFS對象形成了一個被稱作Merkle DAG的加密認證數據結構。

　　IPFS對象是一個含有兩個域的數據結構:

• Data – 非結構的二進制數據，大小小於256kB
• Links – 一個Link數據結構的數組。IPFS對象通過他們鏈接到其他對象

　　Link數據結構包含三個域：

• Name – Link的名字
• Hash – Link鏈接到對象的Hash
• Size – Link鏈接到對象的累積大小，包括它的Links

　　通過Name和Links，IPFS的集合組成了一個Merkle DAG（有向無環圖）。

　　對於小文件（<256kB），是一個沒有Links的IPFS對象。

　　對於大文件，被表示為一個文件塊(<256kB)的集合。只有擁有最小的Data的對象來代表這個大文件。這個對象的Links的名字都為空字符串。

　　目錄結構：目錄是沒有數據的IPFS對象，它的鏈接指向其包含的文件和目錄。

　　IPFS可以表示Git使用的數據結構，Git commit object。Commit Object主要的特點是他有一個或多個名為’parent0’和‘parent1’等的鏈接（這些鏈接指向前一個版本），以及一個名為object的對象(在Git中成為tree)指向引用這個commit的文件系統結構。

　　5. BitCoin和Ethereum^[12][13]

　　Merkle Proof最早的應用是Bitcoin，它是由中本聰在2009年描述並創建的。Bitcoin的Blockchain利用Merkle proofs來存儲每個區塊的交易。

　　而這樣做的好處，也就是中本聰描述到的“簡化支付驗證”（Simplified Payment Verification，SPV）的概念:一個“輕客戶端”（light client）可以僅下載鏈的區塊頭即每個區塊中的80byte的數據塊，僅包含五個元素，而不是下載每一筆交易以及每一個區塊：

• 上一區塊頭的哈希值
• 時間戳
• 挖礦難度值
• 工作量證明隨機數（nonce）
• 包含該區塊交易的Merkle Tree的根哈希

　　如果客戶端想要確認一個交易的狀態，它只需簡單的發起一個Merkle proof請求，這個請求顯示出這個特定的交易在Merkle trees的一個之中，而且這個Merkle Tree的樹根在主鏈的一個區塊頭中。

　　但是Bitcoin的輕客戶端有它的局限。一個局限是，盡管它可以證明包含的交易，但是它不能進行涉及當前狀態的證明（如數字資產的持有，名稱註冊，金融合約的狀態等）。

　　Bitcoin如何查詢你當前有多少幣？一個比特幣輕客戶端，可以使用一種協議，它涉及查詢多個節點，並相信其中至少會有一個節點會通知你，關於你的地址中任何特定的交易支出，而這可以讓你實現更多的應用。但對於其他更為復雜的應用而言，這些遠遠是不夠的。一筆交易影響的確切性質（precise nature），可以取決於此前的幾筆交易，而這些交易本身則依賴於更為前面的交易，所以最終你可以驗證整個鏈上的每一筆交易。為了解決這個問題，Ethereum的Merkle Tree的概念，會更進一步。

　　Ethereum的Merkle Proof

　　每個以太坊區塊頭不是包括一個Merkle樹，而是為三種對象設計的三棵樹：

• 交易Transaction
• 收據Receipts(本質上是顯示每個交易影響的多塊數據)
• 狀態State

　　這使得一個非常先進的輕客戶端協議成為了可能，它允許輕客戶端輕松地進行並核實以下類型的查詢答案：

• 這筆交易被包含在特定的區塊中了麽？
• 告訴我這個地址在過去30天中，發出X類型事件的所有實例（例如，一個眾籌合約完成了它的目標）
• 目前我的賬戶余額是多少？
• 這個賬戶是否存在？
• 假如在這個合約中運行這筆交易，它的輸出會是什麽？

　　第一種是由交易樹（transaction tree）來處理的；第三和第四種則是由狀態樹（state tree）負責處理，第二種則由收據樹（receipt tree）處理。計算前四個查詢任務是相當簡單的。服務器簡單地找到對象，獲取Merkle分支，並通過分支來回復輕客戶端。

　　第五種查詢任務同樣也是由狀態樹處理，但它的計算方式會比較復雜。這裏，我們需要構建一個Merkle狀態轉變證明（Merkle state transition proof）。從本質上來講，這樣的證明也就是在說“如果你在根S的狀態樹上運行交易T，其結果狀態樹將是根為S‘，log為L，輸出為O” （“輸出”作為存在於以太坊的一種概念，因為每一筆交易都是一個函數調用；它在理論上並不是必要的）。

　　為了推斷這個證明，服務器在本地創建了一個假的區塊，將狀態設為 S，並在請求這筆交易時假裝是一個輕客戶端。也就是說，如果請求這筆交易的過程，需要客戶端確定一個賬戶的余額，這個輕客戶端(由服務器模擬的)會發出一個余額查詢請求。如果需要輕客戶端在特點某個合約的存儲中查詢特定的條目，這個輕客戶端就會發出這樣的請求。也就是說服務器(通過模擬一個輕客戶端)正確回應所有自己的請求，但服務器也會跟蹤它所有發回的數據。

　　然後，服務器從上述的這些請求中把數據合並並把數據以一個證明的方式發送給客戶端。

　　然後，客戶端會進行相同的步驟，但會將服務器提供的證明作為一個數據庫來使用。如果客戶端進行步驟的結果和服務器提供的是一樣的話，客戶端就接受這個證明。

　　MPT(Merkle Patricia Trees)

　　前面我們提到，最為簡單的一種Merkle Tree大多數情況下都是一棵二叉樹。然而，Ethereum所使用的Merkle Tree則更為復雜，我們稱之為“梅克爾.帕特裏夏樹”（Merkle Patricia tree）。

　　對於驗證屬於list格式（本質上來講，它就是一系列前後相連的數據塊）的信息而言，二叉Merkle Tree是非常好的數據結構。對於交易樹來說，它們也同樣是不錯的，因為一旦樹已經建立，花多少時間來編輯這棵樹並不重要，樹一旦建立了，它就會永遠存在並且不會改變。

　　但是，對於狀態樹，情況會更復雜些。以太坊中的狀態樹基本上包含了一個鍵值映射，其中的鍵是地址，而值包括賬戶的聲明、余額、隨機數nounce、代碼以及每一個賬戶的存儲（其中存儲本身就是一顆樹）。例如，摩登測試網絡（the Morden testnet ）的創始狀態如下所示：

　　然而，不同於交易歷史記錄，狀態樹需要經常地進行更新：賬戶余額和賬戶的隨機數nonce經常會更變，更重要的是，新的賬戶會頻繁地插入，存儲的鍵（ key）也會經常被插入以及刪除。我們需要這樣的數據結構，它能在一次插入、更新、刪除操作後快速計算到樹根，而不需要重新計算整個樹的Hash。這種數據結構同樣得包括兩個非常好的第二特征：

• 樹的深度是有限制的，即使考慮攻擊者會故意地制造一些交易，使得這顆樹盡可能地深。不然，攻擊者可以通過操縱樹的深度，執行拒絕服務攻擊（DOS attack），使得更新變得極其緩慢。
• 樹的根只取決於數據，和其中的更新順序無關。換個順序進行更新，甚至重新從頭計算樹，並不會改變根。

　　MPT是最接近同時滿足上面的性質的的數據結構。MPT的工作原理的最簡單的解釋是，值通過鍵來存儲，鍵被編碼到搜索樹必須要經過的路徑中。每個節點有16個孩子，因此路徑又16進制的編碼決定：例如，鍵‘dog’的16進制編碼是6 4 6 15 6 7，所以從root開始到第六個分支，然後到第四個，再到第六個，再到第十五個，這樣依次進行到達樹的葉子。

　　在實踐中，當樹稀少時也會有一些額外的優化，我們會使過程更為有效，但這是基本的原則。

　　6. 其他應用

　　用到Merkle Tree的應用還有很多，比如Git，Amazon Dynamo，Apache Wave Protocol，Tahoe-LAFS backup system，Certificate Transparency framework，NoSQL systems like Apache Cassadra and Riak等

參考

[1] https://en.wikipedia.org/wiki/Merkle_tree

[2] https://en.wikipedia.org/wiki/Hash_function#Hash_function_algorithms

[3] http://www.jianshu.com/p/458e5890662f

[4] http://blog.csdn.net/xtu_xiaoxin/article/details/8148237

[5] http://blog.csdn.net/yuanrxdu/article/details/22474697?utm_source=tuicool&utm_medium=referral

[6] http://crypto.stackexchange.com/questions/22669/merkle-hash-tree-updates

[7] https://en.wikipedia.org/wiki/BitTorrent

[8] 梁成仁, 李健勇, 黃道穎, 等. 基於 Merkle 樹的 BT 系統 torrent 文件優化策略[J]. 計算機工程, 2008, 34(3): 85-87.

[9] http://bittorrent.org/beps/bep_0030.html

[10] 徐梓耀, 賀也平, 鄧靈莉. 一種保護隱私的高效遠程驗證機制[J]. Journal of Software, 2011, 22(2).

[11] http://whatdoesthequantsay.com/2015/09/13/ipfs-introduction-by-example/

[12] https://www.weusecoins.com/what-is-a-merkle-tree/

[13] http://www.8btc.com/merkling-in-ethereum

================= End

大部分材料都會提到區塊中保存了merkle根，並且利用它作交易真實性驗證。但是具體如何作這個真實性驗證，沒有一篇文章可以通俗的講出來。本文假設你已經知道區塊鏈中merkle tree的原理，現在想搞明白具體怎麽來實現交易真實性驗證。

Merkle Tree

這個小節簡述一下merkle的原理，具體詳解會另外寫文章，你關註我的文章即可。簡單說，merkle tree就是一個hash二叉樹，父節點是兩個子節點的double sha256的結果，葉子節點就是交易的content的double sha256結果。

blockchain merkle tree

上圖中最下面那一層就是交易數據，每一個交易都可以計算出一個hash，從而層層向上，得到merkle root。但是由於blockchain裏面都merkle運算要求葉子節點是偶數，所以，當一個區塊內包含當交易數量為奇數時，把最後一個交易復制一份，湊成偶數。

最後就是把merkle root保存在區塊頭中，交易數據被保存在區塊體中，其實中間當那些hash並沒有被保存，它們只是運算過程數據。

SPV

為什麽要搞這麽復雜？直接把所有交易數據保存起來了，要驗證交易是否存在還不簡單嗎？之所以要這麽幹，是因為比特幣發明之初，中本聰想到有一種輕錢包的設計，這就是SPV（簡化支付驗證，Simplified Payment Verification）。

輕錢包並不保存完整的區塊鏈，而是只保存每一個區塊的區塊頭。區塊體保存了完整的交易信息，而交易信息需要的存儲量大部分都是交易頭的千倍以上。所以，如果只保存交易頭，就可以極大的減少本地客戶端存儲的區塊鏈信息。

但是，不能因此讓區塊鏈無法工作啊。如果這個時候輕錢包要對某一個交易進行驗證，而本地又沒有這個交易的信息，那怎麽驗證呢？這時，區塊頭裏面的merkle root就要起作用了。

驗證路徑

在講述輕錢包的驗證過程之前，我們需要知道如何在merkle tree裏面做驗證。我們已知merkle tree裏面父節點和子節點的運算關系，因此，當我們要證明一個葉子節點存在於這棵樹時，只需要得到從該葉子節點到根的運算過程裏面需要的那些hash即可，並不需要所有葉子節點參與計算。

merkle驗證路徑

你可能覺得有點奇怪，為什麽不直接把所有的葉子節點告訴它就行了，你用所有葉子節點能算出root hash就驗證通過了。但事實就是這樣，因為每一個父節點hash一定是由兩個子節點hash運算得到，所以，我們只需要挑選出所有參與運算的節點，就可以證明這個葉子節點存在於樹中。這樣可以減少hash運算的次數。而這些被挑選出來的節點，以及它們之間的層級關系，就是驗證路徑，即上圖中merkle root那個盒子下面的所有盒子。

如何證明交易的真實性？

比特幣網絡中的交易，只有已經被記錄到區塊鏈，並且已經得到6個確認的，才被認為是真實的，只有基於這些真實交易發起的新交易（輸入與輸出的概念），才是合法的。

我們詢問一個交易是否真實，往往基於以下前提：

• 我們在問一個交易是否已被記錄到區塊鏈中
• 而且這個交易所在的區塊鏈是最長的哪一條，沒有在分叉鏈上
• 當每個節點接收到一條交易廣播時，我們要查詢作為一筆新交易的輸入的真實性
• 礦工對交易進行打包之前，對所有的輸入進行真實性驗證（在礦工接收到交易信息時就已經驗證過了，打包的時候驗證2000條交易信息不可能）

那麽對於SPV輕錢包而言，怎麽知道一個交易是否真實的呢？SPV拿到一個交易信息之後（比如接收到一筆錢），並不能確認這個交易是否合法，因此要對這個交易的輸入進行驗證。但是它只拿到了單個交易的信息，而沒有本地的完整區塊鏈數據，因此，SPV要拿著這個交易的信息向網絡發起查詢請求，這個請求被稱為merkle block message。當其他有完整區塊鏈數據的客戶端收到這個請求之後，利用傳過來的交易信息在自己的區塊鏈數據庫中進行查詢，並把驗證路徑返回給請求源，SPV拿到驗證路徑之後，再做一次merkle校驗，確認無誤之後，就認為這個交易是可信的。

現在的問題是：

• 怎麽從區塊鏈裏面查一個交易？
• 怎麽獲取merkle驗證路徑？
• 怎麽確保網絡上這個返回的驗證路徑不是偽造的？

從區塊鏈查交易

區塊鏈的數據結構是離散的，比特幣裏面一個區塊被保存在一個文件裏面，要得到一個交易的驗證路徑，必須得到這個交易所在的區塊鏈。這是一個復制的查詢過程，可能需要把所有的區塊都遍歷一遍才能找到。因此，blockchain.info這樣的網站孕育而生，幫助你通過一個信息查這個信息在區塊鏈上的所有相關記錄。但是對於客戶端而言，可沒那麽容易，它不能信任blockchain.info這個網站，只能信任自己本地存儲的區塊鏈。所以，只能用比較合理的算法，去優化交易查詢。

一種設計是，把每一個區塊的數據結構修改為關系型數據庫，通過關系型數據庫，可以用sql語句快速查詢。但是，要遍歷查詢所有區塊鏈，是比較浪費的。還有一種想法是，利用交易的時間戳來快速定位區塊位置，在臨近的幾個區塊中快速找到它。

如何獲取merkle驗證路徑？

實際上，merkle的驗證路徑生成的前提是已經存在一棵完整的merkle樹。市面上有很多merkle樹的實現包，有的包直接給出來getProof的方法來獲取某個葉子節點的驗證路徑。

在客戶端收到merkle block message之後，要執行下面的步驟：

1. 通過上述方法找到包含該交易的區塊
2. 檢查該區塊是否是整個網絡中最長鏈條裏面的
3. 取出所有交易生成merkle tree，利用getProof方法得到該交易的驗證路徑
4. 將該驗證路徑發送回請求源

SPV得到響應之後，要做如下驗證：

1. 同步區塊鏈，確保是整個網絡中最長的一條
2. 先拿到merkle root去區塊鏈中查找，確保該merkle root hash是在鏈條中
3. 利用拿到的驗證路徑，再進行一次merkle校驗，確保驗證路徑全部合法

為什麽SPV還要再做一次merkle校驗呢？主要是為了確保響應方發送的驗證路徑的有效性。

確保驗證路徑的真實性

上面提到了SPV還要做一次merkle校驗，這也是“不信任”的表現之一。我們並不確保響應我們的節點不會作弊或欺詐，因此，我們要自己進行校驗。但是，有沒有可能雖然校驗過程順利，但是實際上校驗路徑是偽造的呢？

我們來做一個假設：1）merkle root為真；2）交易為假；3）路徑中的hash可真可假。這個假設是否成立？

我們知道，不同字符串碰撞到同一個sha256的概率極小，那麽double sha256的概率就是它的平方，而merkle root是經過一層一層計算上來的，如果一個區塊只有一個（或2個）交易，那麽就是double^(2+1) sha256，而如果是4個交易，就有double^(4 + 2 + 1) sha256，更何況一個區塊有那麽多交易，要經過merkle運算得到一個相同的hash，幾乎是不可能的，因此，在merkle驗證中用一個偽造的交易hash來得到一個已知來merkle root是不可能的。

如果還想更進一步校驗，可以在區塊頭中存儲區塊打包的交易的數量，這樣就可以知道從交易hash到merkle root需要經過幾層的運算。這也是一個檢驗點。

小結

merkle tree被廣泛運用於區塊鏈中，但並不是只有區塊鏈使用它來進行校驗。比如一些p2p下載，如迅雷，就需要把文件分割為小塊文件，每塊都有一個hash，每塊從不同的網絡節點下載，最後組成一個完整的文件，但是也需要進行hash驗證，它也可以使用merkle來進行驗證。merkle tree也不一定是二叉樹，可以是任意樹結構。而在以太坊中，merkle驗證還不夠用，增加了Patricia Tree驗證，合起來稱為“Merkle Patricia Tree”。

Merkle Tree 概念