hive和hbase的區別

都是hadoop生態圈中的東西。hive是hadoop裡面的一個查詢工具，impala也是其中的一個查詢工具，但是hive對於大批量資料查詢的效能比較差，impala更適合處理實時的資料。kudu是hadoop生態圈裡更新資料的一個工具，同樣地，hbase也是，兩者都是分散式資料庫，區別在於前者不依賴於hdfs儲存，也不依賴於zookeeper。

大資料測試

是圍繞著資料質量和大資料工具展開的。

資料質量

資料質量主要是關注資料的完整性、一致性、準確性、唯一性、及時性、合理性六個方面展開的。

完整性包含的是實體、屬性、記錄、欄位的完整性。

一致性是

準確性是

唯一性主要就主鍵的唯一。

及時性就是生產、消費、抽取、查詢、更改、重新整理的及時。可以通過 時間戳的對比來測試。

合理性

功能測試

處理邏輯

儲存檢查

sql檔案

shell檔案

排程任務

效能測試

平臺設計

分為使用者互動層、排程層、執行層、基礎功能層、資料儲存層。