作為一個面向雲的作業系統，Windows Server 2012 針對很多網路和儲存做了大量的優化，從而讓企業特別是中小企業能夠以非常少的代價，獲取以前昂貴的硬體或者軟體才能夠獲得的效能和特性。

儲存去重就是其中的一項改進。儘管之前的Windows版本就已經提供單一儲存方案SIS，但新的儲存去重提供了更好的效能和效率。以下是Windows Server 2012的幫助檔案對重複資料刪除的描述：

企業中基於檔案的資料正在快速增加。磁碟儲存成本正在穩定下降，但下降速度卻不足以抵消這種增長，這就使得儲存效率成為大多數企業 IT 部門的一項關鍵要求。而且，只要有資料就需要有效率，不管該資料位於資料儲存中還是通過 WAN 來移動。

為了應對這種增長，客戶正在整合伺服器，並將容量擴充套件和優化作為整合平臺的重要目標。Windows Server? 2012 提供文字所述的重複資料刪除。

重複資料刪除關鍵功能
Windows Server 2012 通過以下功能增強了重複資料刪除：

• 容量優化。 Windows Server 2012 中的重複資料刪除可在更小的物理空間中儲存更多資料。與使用單例項儲存 (SIS) 或新技術檔案系統 (NTFS) 壓縮的之前版本相比，它實現了更高的儲存效率。重複資料刪除使用子檔案可變大小分塊和壓縮，常規檔案伺服器的優化率為 2:1，而虛擬資料的優化率最高可達 20:1。
• 伸縮性和效能。 Windows Server 2012 重複資料刪除具有高度的可伸縮性，能夠有效利用資源，並且不會產生干擾。它可以同時對多個大容量主資料執行，而不會影響伺服器上的其他工作負載。通過控制 CPU 和記憶體資源的消耗，保持對伺服器工作負載的較低影響。此外，使用者可以靈活設定何時應該執行重複資料刪除、指定用於消除重複的資源並建立有關檔案選擇的策略。
• 可靠性和資料完整性。當應用重複資料刪除時，必須保持資料的完整性。Windows Server 2012 利用校驗、一致性以及標識驗證來確保資料的完整性。而且，對於所有元資料和最常引用的資料，Windows Server 2012 重複資料刪除保留冗餘，以確保發生資料損壞時可恢復資料。
• 與 BranchCache 相結合提高頻寬效率。通過與 BranchCache 進行整合，同樣的優化技術還可應用於通過 WAN 傳輸到分支機構的資料。這會縮短檔案下載時間和降低頻寬佔用。
• 使用熟悉的工具進行優化管理。 Windows Server 2012 已將優化功能置於伺服器管理器和 PowerShell 中。預設設定可立即帶來節省，微調設定可檢視更多獲益。輕鬆使用 PowerShell cmdlet 即可開始優化作業或計劃將來執行的作業。你也可以使用無人蔘與的 .xml 檔案啟用重複資料刪除功能並在所選擇的捲上啟用重複刪除，該檔案呼叫一個 PowerShell 指令碼並且當首次啟動系統時可以與 Sysprep 一起使用來部署重複刪除。

注意
重複資料刪除是一項處理所選捲上所有資料的功能，因此應該謹慎計劃使用，目的是確保在啟用該功能之前伺服器以及連線的卷適合進行重複刪除。我們強烈建議在部署重複刪除期間，定期備份重要資料。

瞭解重複資料刪除
重複資料刪除指的是在資料中查詢和刪除重複內容，而不會影響其保真度或完整性。目標是通過將檔案分割成小的 (32-128 KB) 且可變大小的區塊、確定重複的區塊，然後保持每個區塊一個副本，在更小的空間中儲存更多的資料。區塊的冗餘副本將被單一副本的引用所取代，將區塊組織成容器檔案，然後將容器壓縮排行進一步空間優化。

對某個卷啟用重複刪除並優化資料之後，該捲包含以下內容：

• 未優化的檔案，即跳過的檔案，例如：系統狀態檔案、加密的檔案、具有擴充套件屬性的檔案、小於 64KB 的檔案以及重分析點檔案（之前的已優化檔案，包含指向構建該檔案所需的區塊儲存中各個區塊的指標）
• 已優化的檔案（儲存為重分析點）
• 區塊儲存（已優化的檔案資料）
• 其他可用空間（由於已優化的檔案和區塊儲存佔用的空間比優化之前佔用的空間少很多）

結果是對每個檔案進行了磁碟轉換。重複刪除之後，檔案不再作為獨立的資料流進行儲存，而是替換為指向儲存在通用區塊儲存位置的資料塊的存根。由於這些檔案共享塊、這些區塊僅儲存一次，從而減少了儲存這些檔案所需的磁碟空間。在檔案訪問期間，正確的區塊會採用透明的方式組裝以處理資料，而不需要呼叫應用程式，也無需使用者瞭解檔案磁碟轉換中的變化。這樣管理員便能夠對檔案應用重複刪除，而無需擔心對應用程式或訪問這些檔案的使用者的行為有任何影響或改變。

備註
對使用 DFS 複製來複制的檔案使用重複資料刪除沒有問題。只更新自上次複製以來更改的部分檔案。

體系結構
重複資料刪除功能由一個監視本地或遠端 I/O 的篩選器驅動程式和一個控制三種可用的作業型別（垃圾回收、優化和清理）的重複刪除服務組成。

請記住，重複刪除作用域僅限便攜且具有群集感知的單個卷，並且設計重複刪除功能的目的是為了對主要資料進行有效的、策略驅動的以及計劃性的後臺優化，從而獲得最佳結果。

重複刪除體系結構中的固有功能是在發生硬體故障和崩潰時有彈性，對資料和元資料（包括元資料的冗餘和最流行的資料區塊）進行完整的校驗和驗證。

要嘗試和驗證這一功能非常的簡單。首先啟用檔案伺服器角色，找到“資料刪除重複”，勾選然後完成嚮導即可。

安裝完這一功能，還需要在捲上啟用該功能。需要注意的是，安裝作業系統的系統卷無法啟用資料刪除重複，我猜是因為系統檔案訪問的頻度和安全性考慮。

可以將指定的檔案型別（通過副檔名）、指定的資料夾排除在資料去重的範圍之外。通常資料去重會工作在後臺空閒時間，也可以為其指定計劃任務。

為了說明問題，我簡單的把一個檔案複製了5次，然後等待系統對其做優化。

過段時間，就能夠看到啟用資料去重的卷已經刪除了重複的資料。

檢查這些檔案，可以看到每個檔案都只佔用4KB的空間。我原以為是一個檔案儲存著，然後其他檔案都是指標，結果看起來每個檔案都變成了指標，即幫助所說的“重分析點”。檔案塊被另外儲存起來了。

轉載於:https://blog.51cto.com/haohu/1304991