對於資料的測試

先看一個職位描述，

資深測試工程師

職位描述
1. 瞭解網際網路金融、電商、運營商等行業資料，通過大資料探勘技術研發高質量的使用者或者商戶相關的資料產品，能夠保證資料的質量和時效性；
2. 對資料採集、資料融合、資料質量、資料應用的整條鏈路有深入瞭解，能利用創新方法解決鏈路中的實際問題；
3. 熟悉資料資產的管理和應用，整合業務、產品等各渠道的資料，並能夠協同技術和資料倉庫團隊，完善和管理口碑資料資產；
4. 對資料資產管理、資料質量管理流程與環節進行分析與監控，及時找出其中潛在的漏洞與問題，並迅速解決。
5. 能夠保障資料應用的健壯可靠執行

職位要求
1. 本科及以上學歷，統計，數學，計算機，經濟等相關專業；
2. 三年及以上資料分析或資料質量保障經驗，具有較強的資料規範化與敏感性，有模型開發經驗者優先考慮；
3. 有應用測試和保障經驗，會自動化程式語言者優先考慮。
4. 良好的溝通協調能力和大局意識，能夠快速推動工作執行落地；
5. 有實時資料處理經驗者或風控平臺測試經驗者優先考慮。

高階資深測試工程師大資料

崗位職責：
1. 負責大資料部門相關資料的加工處理測試，負責加工邏輯的功能測試，白盒測試、自動化測試等
2、獨立設計和執行設計用例，進行缺陷跟蹤，制定測試計劃，與開發協作實現各階段的測試活動；
3. 開發測試工具或自動化解決方案，提高測試效率；
4. 對專案的測試進度進行把控、識別並預防測試風險、進行測試過程改進；
5 . 對測試中發現的問題能夠進行分析和定位，與開發人員、需求人員積極有效溝通，推動問題解決。

崗位要求：
1. 本科以上學歷，3年以上軟體開發或自動化測試框架開發經驗；
2. 熟悉hadoop、hive等大資料生態系統相關產品知識者優先；
3. 具有良好的抗壓能力，獨立解決問題能力，有資料倉庫，BI，大資料解決方案相關測試經驗者優先；
4. 具備良好的語言表達能力，良好的組織和協同能力；
5. 熟練操作Linux，至少熟悉Shell，Python，Java中一門語言，熟悉Selenium等測試框架者優先；
6. 熟悉Jenkins，Maven等持續構建工具者優先；
7. 熟悉資料庫理論，SQL熟練。

再看下沒有測試，只是資料工程師
資料工程師
要求精通 ：hive，ETL
工作經驗 :3年以上（包含3年）
熟練使用 ： MapReduce、Spark提供的API程式設計，具備海量資料加工處理（ETL）相關經驗；
要求熟悉 ：Hadoop生態環境，對Hadoop、Spark、Storm、HBase、等至少一個專案有著深入瞭解
熟悉Shell命令，進行簡單的Shell程式設計；熟悉Linux文字處理命令，VI、AWK、Sed等命令
熟練使用Hadoop或其他分散式平臺的一種，能使用java，Python或其他語言編寫MapReduce進行大資料處理優先；

我們公司，有專門的資料團隊，負責tableau報表生成，做得很炫；
會員積分計算，等級計算，因為這些涉及到業務邏輯，等等都是有開發和測試進行，然後上線；
部分客戶涉及多方則通過ETL，CLOVERETL在指定sftp上進行互動；

開發和測試，一般在dev和QA資料庫上進行
遇到生產上要跑出，比如下個月過生日的會員，邏輯年內有交易，則贈送一個蛋糕券的業務，又是由BI人員進行取數和新增到生產DB的業務表中
BI是沒有測試人員的，
然後經常出錯。。。。
然後叫測試輔助BI測試，測試於是什麼都做了，review程式碼，寫自動化測試指令碼，測試資料。。。並且一個專案只有一個測試，一個測試同時負責多個專案。

然後看看資料儲存過程，

需求就一句：Please remove 先生/小姐/女士/顧客/COACH/客人 in customer’s name in trigger. And these customers won’t receive our DM pack

整個程式碼特別亂，資料工程師會隨意地生成臨時的物理表，然後跨儲存過程呼叫

#temp臨時表的明明特別隨意， #a  #b都有  #111 都有

不加描述，問他們自己，也看暈了

繁瑣，不用最簡易的方式去實現，喜歡洋洋晒晒幾千行地寫

然後遇到新需求，因為我們是marketing時長部門，不是產品部門，我們會因為客戶的痛點，短時間一兩天內給出一個新的補丁之類的，

於是整個儲存過程越來越長，涉及的表也越來越多，

最終誰也不能用簡單的描述，說出這個儲存過程是在做什麼

怎麼辦？ 讓測試去測。。

(┬＿┬)