技術標籤：去重 list

分組

首先給出我們需要用到的物件，如下：

publicclassPerson
{
publicstringName{get;set;}
publicintAge{get;set;}
}

接下來我們新增100萬條資料到集合中，如下：

varlist=newList();for(inti=0;i1000000;i++)
{
list.Add(newPerson(){Age=18,Name="jeffcky"});
 
}

接下來我們對年齡和名稱進行分組，然後取第一條即可達到去重，如下：

list=list.GroupBy(d=>new{d.Age,d.Name})
.Select(d=>d.FirstOrDefault())
.ToList();

HashSet

我們知道在C#中HashSet對於重複元素會進行過濾篩選，所以我們寫下如下擴充套件方法，遍歷集合元素，最後利用HashSet進行過濾達到去重目的，如下：

publicstaticIEnumerableDistinct(thisIEnumerablesource,
FunckeySelector)
{varhashSet=newHashSet();foreach(TSourceelementinsource)
 
{if(hashSet.Add(keySelector(element)))
{yieldreturnelement;
}
}
}

最後呼叫上述擴充套件方法即可去重，如下：

list=list.Distinct(d=>new{d.Age,d.Name}).ToList();

IEqualityComparer

在實際專案中有很多通過具體實現類實現該介面，通過重寫Equals和HashCode比較屬性值來達到去重目的，因為對於每一個類都得實現對應比較器，所以並不通用，反而利用上述方式才是最佳，其實我們大可藉助該比較介面實現通用解決方案，對於每一個類都得實現一個比較器的原因在於，我們將屬性比較放在類該介面內部，如果我們將屬性比較放在外圍呢，這個時候就達到了通用解決方案，那麼我們怎麼實現呢，通過委託來實現，實現該介面的本質無非就是比較HashCode，然後通過Equals比較其值，當比較HashCode時，我們強制其值為一個常量(比如0)，當重寫Equals方法我們呼叫委託即可，如下：

publicstaticclassExtensions
{
publicstaticIEnumerableDistinct(thisIEnumerablesource,Funcbool>comparer)whereT:class
=>source.Distinct(newDynamicEqualityComparer(comparer));privatesealedclassDynamicEqualityComparer<T>:IEqualityComparer<T>whereT:class
{privatereadonlyFuncbool>_func;publicDynamicEqualityComparer(Funcbool>func)
{
_func=func;
}publicboolEquals(Tx,Ty)=>_func(x,y);publicintGetHashCode(Tobj)=>0;
}
}

最終通過指定屬性進行比較即可去重，如下：

list=list.Distinct((a,b)=>a.Age==b.Age&&a.Name==b.Name).ToList();

效能比較

以上3種常見方式我們已經介紹完畢了，當資料量比較小時，我們大可忽略對集合進行各種操作所帶來的效能，但是一旦資料量很大時，我們可能需要考慮效能，能節省一點時間或許有必要，於是乎，在上述100萬條資料前提下，我們來分析其耗時情況，如下：

varlist=newList();for(inti=0;i1000000;i++)
{
list.Add(newPerson(){Age=18,Name="jeffcky"});
}vartime1=Time(()=>
{
list.GroupBy(d=>new{d.Age,d.Name})
.Select(d=>d.FirstOrDefault())
.ToList();
});
Console.WriteLine($"分組耗時：{time1}");vartime2=Time(()=>
{
list.Distinct(d=>new{d.Age,d.Name}).ToList();
});
Console.WriteLine($"HashSet耗時：{time2}");vartime3=Time(()=>
{
list.Distinct((a,b)=>a.Age==b.Age&&a.Name==b.Name).ToList();
});
Console.WriteLine($"委託耗時：{time3}");staticlongTime(Actionaction)
{varstopwatch=newStopwatch();
stopwatch.Start();
action();
stopwatch.Stop();returnstopwatch.ElapsedMilliseconds;
}

結果：第一種方案耗時(252ms)，第二種方案耗時(147ms)，第三種方案耗時(63ms)

上述結果耗時大小比較理論應該不會出現逆轉的情況，只是多少的問題，資料量較少時理論上差異也很明顯，本文對於去重方式只是基於效能角度來分析，還是那句話大部分情況下，我們完全不需要考慮這些問題，不過，作為程式設計師的我們可能也想寫出高效能、高質量的程式碼吧，有時候多考慮考慮也無妨，對自身有個好的程式碼質量要求也未嘗不可，也還是那句話，孰好孰歹，自行判之。