1. 程式人生 > >資料統計 任務的一點感想

資料統計 任務的一點感想

需求: 多張表(個數不定,需求不是非常明確,只有一個大致需求)根據業務需求統計出一些資料 (按天統計,資料有多條校驗規則)進行上傳。

  注意: 校驗資料是否正確是需要第三放來反饋的,而且第三方的測試環境是忽略校驗規則。

 

1. 由於需求欄位的來源本身就不是很明確, 加上我們庫裡的資料 本身就有錯誤,可能需要手動調整。加之第三發的測試環境是忽略規則校驗的,也就是說你沒法知道你寫的對不對,只能在

生產環境看反饋 。 所以如果你用程式去寫生成資料過程,多次修改bug 是基本上會發生的事情,而正式環境顯然沒法讓你來回多次發版(坑爹的三方)。所以建議優先考慮使用sql 直接寫(過程,函式。總之直接操作資料庫),

sql 比較難,用程式一定要多注意下面的幾個問題。

2. 資料不可能一次全部正確,那麼就要拍錯,這個時候必要的冗餘欄位就能幫你快速定位錯誤原因。 建議多冗餘一些表的主要欄位和關聯欄位。

  比如子表的no, 

3. 資料按天生成的,每天有很多資料,上報之前我並不知曉其有錯誤,上報後發現有幾條有小錯誤。 但是我們任務比較急,就先把錯誤的給刪掉了,把正確的先傳上去。

  刪除一時爽,但是這些錯誤資料後續還是要補上的,這就鬱悶了。我們是備份然後刪除,如何恢復?匯入 然後修改。 然後所有資料重新上傳(為什麼不只上傳錯誤的?錯誤的每天都有,而且匯入後也沒有特定錯誤標識,

  而且上傳也是程式按天上傳)。

  這裡有兩個問題: 1. 備份刪除匯入, 2. 重新 全部 上傳

  想到一個辦法: 就是表加個標識,標識未校驗通過, 校驗通過 ,已上傳, 沒有有錯誤的資料,我們sql 命令 處理為校驗通過,然後上傳後改為已上傳。 當然如果是錯誤很多還是全部上傳吧。。

  這個主要功能還是為了解決刪除備份的問題。