2. 程式人生 > 其它 >dremio create table 幾個特殊的能力

dremio create table 幾個特殊的能力

阿新 • • 發佈：2021-09-06

dremio 是支援create table的，官方文件比較簡單，只說明瞭可以直接建立，但是dremio 的create table 其實是更加強大的
如果使用了dremio的ui 的話，資料下載匯出就是利用了這個能力，但是預設是在master中執行的，而且資料是放在一個固定的space中
__datasetDownload 同時基於jobid 動態的建立了一個表，然後去讀位元組流，之後包裝的http servlet 進行的處理

幾種支援的格式

txt (csv),json, parquet 而且支援比較多的配置選項

參考測試用例

當讓對於支援create table的是需要開啟CTAS的，同時有時看看原始碼，多瞭解下官方的機制還是很有用的,同時官方原始碼中的一個測試用例也是很不錯的學習
資料

package com.dremio.exec.sql;
import org.junit.Test;
import com.dremio.PlanTestBase;
public class TestCTASWithOptions extends PlanTestBase {
  @Test
  public void csv() throws Exception {
    try {
      test("CREATE TABLE dfs_test.testCsv " +
          "STORE AS (type => 'text', fieldDelimiter => ',') " +
 
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM TABLE(\"dfs_test\".\"testCsv\"" +
              "(type => 'text', fieldDelimiter => ',', extractHeader => true))")
          .unOrdered()
 
          .baselineColumns("region_id", "sales_city")
          .baselineValues("0", "None")
          .baselineValues("1", "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testCsv");
    }
  }
  @Test
  public void csvWithCustomExtension() throws Exception {
    try {
      test("CREATE TABLE dfs_test.csvWithCustomExtension " +
          "STORE AS (type => 'text', fieldDelimiter => ',', outputExtension => 'myparquet') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM TABLE(\"dfs_test\".\"csvWithCustomExtension\"" +
              "(type => 'text', fieldDelimiter => ',', extractHeader => true))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues("0", "None")
          .baselineValues("1", "San Francisco")
          .go();
    } finally {
      // DROP TABLE doesn't support custom extensions
      //test("DROP TABLE dfs_test.csvWithCustomExtension");
    }
  }
  @Test
  public void csvUnordered() throws Exception {
    try {
      // order the options differently
      test("CREATE TABLE dfs_test.testCsvUnordered " +
          "STORE AS (fieldDelimiter => ',', type => 'text') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM TABLE(\"dfs_test\".\"testCsvUnordered\"" +
              "(type => 'text', fieldDelimiter => ',', extractHeader => true))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues("0", "None")
          .baselineValues("1", "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testCsvUnordered");
    }
  }
  @Test
  public void csvTabRecordDelimiter() throws Exception {
    try {
      test("CREATE TABLE dfs_test.testCsvTabRecordDelimiter " +
          "STORE AS (type => 'text', fieldDelimiter => ',', lineDelimiter => '\t') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM " +
              "TABLE(\"dfs_test\".\"testCsvTabRecordDelimiter\"" +
              "(type => 'text', fieldDelimiter => ',', lineDelimiter => '\t', extractHeader => true))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues("0", "None")
          .baselineValues("1", "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testCsvTabRecordDelimiter");
    }
  }
  @Test
  public void tsv() throws Exception {
    try {
      test("CREATE TABLE dfs_test.testTsv STORE AS (type => 'teXt', fieldDelimiter => '\t') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM " +
              "TABLE(\"dfs_test\".\"testTsv\"(type => 'text', fieldDelimiter => '\t', extractHeader => true))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues("0", "None")
          .baselineValues("1", "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testTsv");
    }
  }
  @Test
  public void json() throws Exception {
    try {
      test("CREATE TABLE dfs_test.testJson " +
          "STORE AS (type => 'json') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM " +
              "TABLE(\"dfs_test\".\"testJson\"(type => 'json'))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues(0L, "None")
          .baselineValues(1L, "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testJson");
    }
  }
  @Test
  public void jsonWithCustomExtension() throws Exception {
    try {
      test("CREATE TABLE dfs_test.jsonWithCustomExtension " +
          "STORE AS (type => 'json', outputExtension => 'myjson') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM " +
              "TABLE(\"dfs_test\".\"jsonWithCustomExtension\"(type => 'json'))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues(0L, "None")
          .baselineValues(1L, "San Francisco")
          .go();
    } finally {
      // DROP TABLE doesn't support custom extensions
      //test("DROP TABLE dfs_test.jsonWithCustomExtension");
    }
  }
  @Test
  public void parquet() throws Exception {
    try {
      test("CREATE TABLE dfs_test.testParquet " +
          "STORE AS (type => 'parquet') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM " +
              "TABLE(\"dfs_test\".\"testParquet\"(type => 'parquet'))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues(0L, "None")
          .baselineValues(1L, "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testParquet");
    }
  }
  @Test
  public void parquetWithCustomExtension() throws Exception {
    try {
      test("CREATE TABLE dfs_test.parquetWithCustomExtension " +
          "STORE AS (type => 'parquet', outputExtension => 'myparquet') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT * FROM " +
              "TABLE(\"dfs_test\".\"parquetWithCustomExtension\"(type => 'parquet'))")
          .unOrdered()
          .baselineColumns("region_id", "sales_city")
          .baselineValues(0L, "None")
          .baselineValues(1L, "San Francisco")
          .go();
    } finally {
      // DROP TABLE doesn't support custom extensions
      //test("DROP TABLE dfs_test.parquetWithCustomExtension");
    }
  }
  @Test
  public void parquetWithPartition() throws Exception {
    try {
      test("CREATE TABLE dfs_test.testParquetWithPartition " +
          "PARTITION BY (region_id) " +
          "STORE AS (type => 'parquet') " +
          "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2");
      testBuilder()
          .sqlQuery("SELECT dir0, region_id, sales_city FROM TABLE(\"dfs_test\".\"testParquetWithPartition\"(type => 'parquet'))")
          .unOrdered()
          .baselineColumns("dir0", "region_id", "sales_city")
          .baselineValues("0_0", 0L, "None")
          .baselineValues("1_1", 1L, "San Francisco")
          .go();
    } finally {
      test("DROP TABLE dfs_test.testParquetWithPartition");
    }
  }
  @Test
  public void negativeCaseUnsupportedType() throws Exception {
    final String query = "CREATE TABLE dfs_test.negativeCaseUnsupportedType " +
        "STORE AS (type => 'unknownFormat') " +
        "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2";
    errorMsgTestHelper(query, "unknown type unknownFormat, expected one of");
  }
  @Test
  public void negativeCaseUnknownOption() throws Exception {
    final String query = "CREATE TABLE dfs_test.negativeCaseUnknownOptions " +
        "STORE AS (type => 'json', unknownOption => 'sd') " +
        "AS SELECT region_id, sales_city FROM cp.\"region.json\" ORDER BY region_id LIMIT 2";
    errorMsgTestHelper(query, "Unknown storage option(s): {unknownOption=sd}");
  }
  @Test
  public void csvWithSingleWriter() throws Exception {
    try {
      final String query = "CREATE TABLE dfs_test.csvWithSingleWriter " +
          "STORE AS (type => 'text', fieldDelimiter => ',') " +
          "WITH SINGLE WRITER " +
          "AS SELECT region_id, count(*) cnt FROM cp.\"region.json\" GROUP BY region_id ORDER BY region_id LIMIT 2";
      test(query);
      testBuilder()
          .sqlQuery("SELECT * FROM TABLE(\"dfs_test\".\"csvWithSingleWriter\"" +
              "(type => 'text', fieldDelimiter => ',', extractHeader => true))")
          .unOrdered()
          .baselineColumns("region_id", "cnt")
          .baselineValues("0", "1")
          .baselineValues("1", "1")
          .go();
    } finally {
      test("DROP TABLE dfs_test.csvWithSingleWriter");
    }
  }
}

說明

實際上我們也可以參考此玩法，使用s3開啟CTAS，將需要匯出的資料放到s3中，之後基於s3進行統一的資料匯出處理，好處是可以規避
ui 100萬資料匯出的一個限制，同時進行不同場景資料的優化處理，當然create還支援資料分片以及排序的。。。

參考資料

https://docs.dremio.com/sql-reference/sql-commands/tables/?parent=sql-commands

相關推薦

dremio create table 幾個特殊的能力

dremio 是支援create table的，官方文件比較簡單，只說明瞭可以直接建立，但是dremio 的create table 其實是更加強大的

mysql alter table修改表結構新增多個欄位的幾個寫法

本文介紹mysql中，add column新增多欄位的幾個寫法。 分開寫多個 alter table 聽起來好像是多此一舉的介紹，有時需要給相鄰欄位不同的修改，全都分開寫，也不失為不容易出錯的寫法。

dremio 幾個方便的命令

dremio 提供了幾個方便的sql 命令，可以管理虛擬資料集以及物理資料來源，還有就是進行資料集元資料的重新整理，反射資料的處理

ELEMENTUI的表格樹（樹型結構表格），很簡單方式，EL-TABLE只需要小小改動幾個地方

ELEMENTUI的表格樹（樹型結構表格），很簡單方式，EL-TABLE只需要小小改動幾個地方

《地獄僕從》全職業能力一覽 地獄僕從有幾個職業

《地獄僕從》一共有6種職業，分別為：阿斯蒙蒂斯、撒旦、巴爾、路西法、利維坦、別西卜。每個職業都有各自的特點，不同的技能樹，以及迥異的打法。下面就為大家帶來《地獄僕從》全職業全能力資料一覽，希望對各位玩家

dremio 幾個快取資料清理

dremio 大量使用了資料快取，元資料，查詢job result，加速資料快取，spill 本地磁碟快取

幾個iOS開發的小tips

clipsToBounds vs masksToBounds clipsToBounds clipsToBounds 決定子檢視的顯示範圍：設定為YES時，子檢視超出部分將被剪裁，不會顯示；設定為NO則不會剪裁。

不會Python的這幾個庫，我都不敢說會爬蟲

來源：JAVAandPython君 ☞ 分享：最全最新的Python學習大禮包 ☜ 很多朋友不知道Python爬蟲怎麼入門，怎麼學習，到底要學習哪些內容。今天我來給大家說說學習爬蟲，我們必須掌握的一些第三方庫。

總結一下Tomcat碰到的幾個問題

大概率是因為自己對Tomcat以及jvm不熟； 今天上午一直在碰到問題解決問題，把問題記錄一下，理解一下為什麼會出現這種問題。web專案啟動的時候：

Java併發程式設計（一）——不得不說的幾個概念

1.同步（Synchronous）和非同步（Asyncronous） 同步和非同步通常用來形容一次方法呼叫。同步呼叫一旦開始，呼叫者必須等到方法返回後才能進行後續操作；而非同步呼叫更像是一次訊息傳遞，呼叫的方法會立刻返回，呼叫

從零寫一個編譯器（三）：語法分析之幾個基礎資料結構

專案的完整程式碼在 C2j-Compiler 寫在前面 這個系列算作為我自己在學習寫一個編譯器的過程的一些記錄，演演算法之類的都沒有記錄原理性的東西，想知道原理的在龍書裡都寫得非常清楚，但是我自己一開始是不怎麼看得

3個Spring Boot核心註解，你知道幾個？

Spring Boot 核心註解講解 Spring Boot 最大的特點是無需 XML 配置檔案，能自動掃描包路徑裝載並注入物件，並能做到根據 classpath 下的 jar 包自動配置。

實現API管理系統的幾個重要關鍵詞

管理API的需求源自於Web API開展業務。從2006年開始，然後逐漸成熟，並在2016年之前進入市場。無論是通過代理現有API的管理閘道器、本身作為用於部署API本身的閘道器的一部分，還是作為連線層在程式碼中，API管理就是

6種微服務RPC框架，你知道幾個？

一、前言 開源 RPC 框架有哪些呢？ 一類是跟某種特定語言平臺繫結的，另一類是與語言無關即跨語言平臺的。

4個影響快取命中率的因素，你知道幾個？

一、快取命中率的介紹 命中：可以直接通過快取獲取到需要的資料。 不命中：無法直接通過快取獲取到想要的資料，需要再次查詢資料庫或者執行其它的操作。原因可能是由於快取中根本不存在，或者快取已經過期。

談談資料庫的欄位設計的幾個心得

資料庫的欄位設計有很多細節性的技巧，下面將過去在開發中體會到經驗整理出來，做個備忘。

redis禁止幾個危險命令的方法

這幾天客戶一直給我反映一個問題，那就是他的快取伺服器redis每天會清理庫，很納悶，我配置的redis一般保持的預設，不應該會每天去清理庫的，感覺應該還是他的程式上有點問題吧。

幾個比較重要的MySQL變數

MySQL變數很多，其中有一些MySQL變數非常值得我們注意，下面就為您介紹一些值得我們重點學習的MySQL變數，供您參考。

Go使用defer函式要注意的幾個點

概述 defer 函式大家肯定都用過，它在宣告時不會立刻去執行，而是在函式 return 後去執行的。

分享PyCharm的幾個使用技巧

PyCharm是個十分強大的Python編輯器，筆者在日常的工作中學到了很多該IDE的使用技巧，有的是從別人那裡學到的，有的是自己學習的。筆者深感自己的開發能力不足，因此希望能夠將這些使用技巧記錄下來，同時也把這些使