dremio 提供了幾個方便的sql 命令，可以管理虛擬資料集以及物理資料來源，還有就是進行資料集元資料的重新整理，反射資料的處理

建立虛擬資料集

CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY>

開啟資料反射

ALTER VDS <dataset> SET ENABLE_DEFAULT_REFLECTION = TRUE | FALSE

替換&修改虛擬資料集

CREATE OR REPLACE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY>
 

刪除虛擬資料集

DROP VDS <VIRTUAL-DATASET-PATH>

刪除資料集元資料

ALTER PDS <PHYSICAL-DATASET-PATH> FORGET METADATA

重新整理物理元資料資訊

ALTER PDS <PHYSICAL-DATASET-PATH> REFRESH METADATA

    [AVOID PROMOTION | AUTO PROMOTION]

    [FORCE UPDATE | LAZY UPDATE]
 

    [MAINTAIN WHEN MISSING | DELETE WHEN MISSING]

說明

建立修改虛擬資料集還有重新整理物理資料集元資料都是比較有用的，其中重新整理元資料以及自動提升資料格式很有用（比如我們整合spark的delta lake 可能需要自動提升以及重新整理元資料），參考命令(重新整理，提升，更新)

ALTER PDS "delta-lake"."delta-lake".dalongdemo4 REFRESH METADATA AUTO PROMOTION LAZY UPDATE 

同時不止是關於dremio 以及delta lake，整合檔案，或者資料來源變動的都是需要類似的處理的

參考資料

https://docs.dremio.com/sql-reference/sql-commands/datasets/
https://docs.dremio.com/sql-reference/sql-commands/acceleration/