1. 程式人生 > WINDOWS開發 >Windows伺服器的重複資料刪除功能

Windows伺服器的重複資料刪除功能

自從Windows server 2012開始,微軟在系統層面提供了重複資料刪除功能。重複資料刪除是為了檔案伺服器、虛擬化伺服器等設計的。其實只要是存放的檔案有大部分內容是相同的就可以發揮很好的效果。前不久裝的WSUS伺服器,已經使用了3.5T的儲存空間了,按這個速度,過不了幾個月就會耗盡空間的。因為目前的補丁都是累積更新,即使你一年不打補丁,也只需要安裝最新的就可以了。所以這些補丁中肯定有大量資料都是重複的,應該能節省不少空間。
https://www.cnblogs.com/qishine/p/12801699.html
重複資料刪除Data Deduplication是屬於檔案和儲存服務下的一個角色服務,系統預設不安裝,需要手動安裝。安裝之後可以在伺服器管理器的介面中方便的配置。選中磁碟後,可以選擇資料刪重的使用場景,包括檔案伺服器、桌面虛擬化VDI伺服器和虛擬化伺服器。這些場景中都是有大量檔案是重複的情況。因為Windows 重複資料刪除不是比對每個檔案是否相同,而是把檔案分塊,比較每個儲存塊是否相同。如果有相同的就只保留一份,其餘做成連結刪除資料。至於磁碟格式化的時候選用多大的塊block,需要和具體應用相匹配以達到較好的效果。

技術分享圖片
配置的時候可以選擇新的檔案經過幾天以後才開始刪重,以及刪除的具體時間和任務進行時間。第一次任務會消耗比較多的時間和系統資源。任務開始後可以使用powershell命令檢視狀態。可以看到任務進行的百分比和節省的空間。

Get-DedupJob -Volume d:

Get-DedupStatus -Volume d:
技術分享圖片

任務執行的時候還是非常消耗記憶體的。fsdmhost.exe會消耗大量的系統資源。所以建議在非工作時間來進行。
技術分享圖片
當任務完成後,可以看到檔案佔用的空間變成0了。對於WSUS的資料大概可以節約40%的空間。
技術分享圖片
更多規劃和使用資訊細節可以參考微軟的文章。Plan to Deploy Data Deduplication
https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/hh831700(v=ws.11)?redirectedfrom=MSDN