數據清洗
預處理階段
預處理階段主要做兩件事情：
一是將數據導入處理工具。通常來說，建議使用數據庫，單機跑數搭建MySQL環境即可。如果數據量大(千萬級以上)，可以使用文本文件存儲+Python操作的方式。
二是看數據。這裏包含兩個部分：一是看元數據，包括字段解釋、數據來源、代碼表等等一切描述數據的信息;二是抽取一部分數據，使用人工查看方式，對數據本身有一個直觀的了解，並且初步發現一些問題，為之後的處理做準備。
第一步：缺失值清洗
缺失值是最常見的數據問題，處理缺失值也有很多方法，我建議按照以下四個步驟進行：
1、確定缺失值範圍：對每個字段都計算其缺失值比例，然後按照缺失比例和字段重要性，分別制定策略，可用下圖表示：
2、去除不需要的字段：這一步很簡單，直接刪掉即可……但強烈建議清洗每做一步都備份一下，或者在小規模數據上試驗成功再處理全量數據，不然刪錯了會追悔莫及(多說一句，寫SQL的時候delete一定要配where!)。
3、填充缺失內容：某些缺失值可以進行填充，方法有以下三種：
- 以業務知識或經驗推測填充缺失值
- 以同一指標的計算結果(均值、中位數、眾數等)填充缺失值
- 以不同指標的計算結果填充缺失值
前兩種方法比較好理解。關於第三種方法，舉個最簡單的例子：年齡字段缺失，但是有屏蔽後六位的身份證號，so……
4、重新取數：如果某些指標非常重要又缺失率高，那就需要和取數人員或業務人員了解，是否有其他渠道可以取到相關數據。
以上，簡單的梳理了缺失值清洗的步驟，但其中有一些內容遠比我說的復雜，比如填充缺失值。很多講統計方法或統計工具的書籍會提到相關方法，有興趣的各位可以自行深入了解。
第二步：格式內容清洗
如果數據是由系統日誌而來，那麽通常在格式和內容方面，會與元數據的描述一致。而如果數據是由人工收集或用戶填寫而來，則有很大可能性在格式和內容上存在一些問題，簡單來說，格式內容問題有以下幾類：
1、時間、日期、數值、全半角等顯示格式不一致
這種問題通常與輸入端有關，在整合多來源數據時也有可能遇到，將其處理成一致的某種格式即可。
2、內容中有不該存在的字符
某些內容可能只包括一部分字符，比如身份證號是數字+字母，中國人姓名是漢字(趙C這種情況還是少數)。最典型的就是頭、尾、中間的空格，也可能出現姓名中存在數字符號、身份證號中出現漢字等問題。這種情況下，需要以半自動校驗半人工方式來找出可能存在的問題，並去除不需要的字符。
3、內容與該字段應有內容不符
姓名寫了性別，身份證號寫了手機號等等，均屬這種問題。 但該問題特殊性在於：並不能簡單的以刪除來處理，因為成因有可能是人工填寫錯誤，也有可能是前端沒有校驗，還有可能是導入數據時部分或全部存在列沒有對齊的問題，因此要詳細識別問題類型。
格式內容問題是比較細節的問題，但很多分析失誤都是栽在這個坑上，比如跨表關聯或VLOOKUP失敗(多個空格導致工具認為“陳丹奕”和“陳 丹奕”不是一個人)、統計值不全(數字裏摻個字母當然求和時結果有問題)、模型輸出失敗或效果不好(數據對錯列了，把日期和年齡混了，so……)。因此，請各位務必註意這部分清洗工作，尤其是在處理的數據是人工收集而來，或者你確定產品前端校驗設計不太好的時候……
第三步：邏輯錯誤清洗
這部分的工作是去掉一些使用簡單邏輯推理就可以直接發現問題的數據，防止分析結果走偏。主要包含以下幾個步驟：
1、去重
有的分析師喜歡把去重放在第一步，但我強烈建議把去重放在格式內容清洗之後，原因已經說過了(多個空格導致工具認為“陳丹奕”和“陳 丹奕”不是一個人，去重失敗)。而且，並不是所有的重復都能這麽簡單的去掉……
我曾經做過電話銷售相關的數據分析，發現銷售們為了搶單簡直無所不用其極……舉例，一家公司叫做“ABC管家有限公司“，在銷售A手裏，然後銷售B為了搶這個客戶，在系統裏錄入一個”ABC官家有限公司“。你看，不仔細看你都看不出兩者的區別，而且就算看出來了，你能保證沒有”ABC官家有限公司“這種東西的存在麽……這種時候，要麽去抱RD大腿要求人家給你寫模糊匹配算法，要麽肉眼看吧。
上邊這個還不是最狠的，請看下圖：
你用的系統裏很有可能兩條路都叫八裏莊路，敢直接去重不?(附送去重小tips：兩個八裏莊路的門牌號範圍不一樣)
當然，如果數據不是人工錄入的，那麽簡單去重即可。
2、去除不合理值
一句話就能說清楚：有人填表時候瞎填，年齡200歲，年收入100000萬(估計是沒看見”萬“字)，這種的就要麽刪掉，要麽按缺失值處理。這種值如何發現?提示：可用但不限於箱形圖(Box-plot).
3、修正矛盾內容
有些字段是可以互相驗證的，舉例：身份證號是1101031980XXXXXXXX，然後年齡填18歲，我們雖然理解人家永遠18歲的想法，但得知真實年齡可以給用戶提供更好的服務啊(又瞎扯……)。在這種時候，需要根據字段的數據來源，來判定哪個字段提供的信息更為可靠，去除或重構不可靠的字段。
邏輯錯誤除了以上列舉的情況，還有很多未列舉的情況，在實際操作中要酌情處理。另外，這一步驟在之後的數據分析建模過程中有可能重復，因為即使問題很簡單，也並非所有問題都能夠一次找出，我們能做的是使用工具和方法，盡量減少問題出現的可能性，使分析過程更為高效。
第四步：非需求數據清洗
這一步說起來非常簡單：把不要的字段刪了。
但實際操作起來，有很多問題，例如：
把看上去不需要但實際上對業務很重要的字段刪了;
某個字段覺得有用，但又沒想好怎麽用，不知道是否該刪;
一時看走眼，刪錯字段了。
前兩種情況我給的建議是：如果數據量沒有大到不刪字段就沒辦法處理的程度，那麽能不刪的字段盡量不刪。第三種情況，請勤備份數據……
第五步：關聯性驗證
如果你的數據有多個來源，那麽有必要進行關聯性驗證。例如，你有汽車的線下購買信息，也有電話客服問卷信息，兩者通過姓名和手機號關聯，那麽要看一下，同一個人線下登記的車輛信息和線上問卷問出來的車輛信息是不是同一輛，如果不是(別笑，業務流程設計不好是有可能出現這種問題的!)，那麽需要調整或去除數據。
嚴格意義上來說，這已經脫離數據清洗的範疇了，而且關聯數據變動在數據庫模型中就應該涉及。但我還是希望提醒大家，多個來源的數據整合是非常復雜的工作，一定要註意數據之間的關聯性，盡量在分析過程中不要出現數據之間互相矛盾，而你卻毫無察覺的情況。
作者：趙自友
鏈接：https://www.zhihu.com/question/22403549/answer/203043365
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
數據清洗