如何在資料庫中查詢和消除重複的資料？
資料重複是困擾許多企業的問題，但是一旦你瞭解了它的特點，以及如何去處理它，就可以提前發現並預防。在識別和消除重複資料時，也有很多潛在的選擇，這樣就可以找到適合你的業務和需求的最佳方法。
但是如果你想解決這個問題，你怎麼開始呢？
下面是一些值得注意的最大問題：
記錄問題。第一個最明顯的問題是你的記錄的準確性和可靠性。例如，你無意中列出了同一業務在你的銷售記錄中有兩次；該公司的銷售數字將加倍，因此，導致你的收入預測不合理地激增。當檢視資料組時，你會更容易出現錯誤，並且在查詢特定例項時，你可能會遇到更大困難，跟蹤你需要的確切資料。
系統儲存和批量。重複資料也會增加你的表格負擔，從而阻塞你的系統，顯示不必要的資訊。在小規模上，這不是一個主要的資料來源，但是如果重複的資料存在於整個系統中，它可能會導致整個系統減速。
一般問題。很多人發現當查詢重要資訊時，重複資料集知道跟蹤“正確”條目是多麼煩人。例如，如果正在尋找“abc通訊”，但是有一些條目是“abc公司”，“abc”和“abc通訊”，它將花費你三倍或更長時間來獲得正確的記錄。這對於任何一個工作者來說都是個難題。
其他問題。重複資料也可能是其他原因的問題，具體而言，對於你資料表的應用而言。例如，如果你的網站上有太多重複的內容要索引，那麼它可能會危及百度搜索排名還有其他搜尋引擎，或者增加被索引的“錯誤”頁面的可能性。
那麼，你能做些什麼來主動識別和消除重複資料？
這是一些比較好的策略：
完美的資料錄入標準。每個組織都需要有一些所有工作人員應遵循的資料輸入標準無論您的系統多麼好，可能會有一些重複的資料點，除非所有的資料點都是一直遵循這些標準。制定嚴格、清晰的入門規則是一個好的第一步；除此之外，你用比較好的方法去教育你的員工，並確保他們理解這些規則，並要求他們遵守這些規則，這樣他們就會一直遵循這些規則。
演算法匹配非相同名稱。通過建立更好的自動化流程演算法可以自動匹配非相同名稱。從前面章節中的例子中，我們提到了“abc公司”、“abc”和“abc通訊”詞條。a演算法圍繞著識別和自動合併“模糊匹配”之類的構建，可以防止它們作為不同記錄儲存起來。幸運的是在sql中安裝主資料服務使建立乾淨、更合併列表變得非常容易。
自動化資料庫清理。如果你的資料庫已經在許多章節中遭受重複資料，或者過期檢查，你也可以執行自動檢查。你需要建立一個演算法來掃描記錄，以獲取重複條目的標誌，然後將資料合併到一個記錄中。這裡出錯的可能性很高，所以請注意在敏感表上使用它。
手動資料庫清理。作為備份，你還要執行手動資料庫清理，特別是對於小表。
這些策略無法嚴格保證你將來不會遇到重複資料問題，但它們將消除當前大多數問題。隨著資料標準的提高和資料庫的清潔，你的整個團隊都將能夠提高自己的公眾效率。
大資料週刊
電話:010-57524293
眾論大資料 引領大時代
長按二維碼關注