2. 程式人生 > 其它 >建立clickhouse 分散式表方式 及 分散式表資料增加、更新、刪除、查詢

建立clickhouse 分散式表方式 及 分散式表資料增加、更新、刪除、查詢

阿新 • • 發佈：2021-02-13

技術標籤：clickhouse 列式儲存大資料clickhouse

建立clickhouse 分散式表方式 及分散式表資料增加、更新、刪除、查詢

1、建表語句

（1）、本地表：分別在每個節點都建立本地表，或者使用 on cluster【在其中一個節點執行即可】

CREATE TABLE city_local on cluster ck_cluster_name (
`fdate` Int64,
`city_code` Int32,
`city_name` String,
`total_cnt` Int64
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/city_local', '{replica}')
PARTITION BY fdate
ORDER BY (fdate, city_code, city_name)
SETTINGS index_granularity = 8192, storage_policy = 'ssd_to_hdd';

說明：{} 裡邊表示配置檔案對應的變數

（2）、分散式表，本身不儲存資料，詳細瞭解請閱讀官方文件。在其中一個節點執行即可。

分散式表一般加_all，第一個引數是叢集名稱，第二個引數是資料庫名稱，第三個引數是對應的本地表，第四個引數是隨機分佈資料。

-- 推薦使用方式一，因為這樣只需要重新建立一個all與對應local表的對映關係即可

-- 方式一：

-- 示例1：

CREATE TABLE IF NOT EXISTS test_db.city_all ON CLUSTER ck_cluster_name AS test_db.city_local
ENGINE = Distributed(ck_cluster_name, test_db, city_local, fdate);

-- 示例2：

CREATE TABLE IF NOT EXISTS test_db.city_all ON CLUSTER ck_cluster_name AS test_db.city_local
ENGINE = Distributed(ck_cluster_name, test_db, city_local, rand());

-- 方式二：

CREATE TABLE city_all on cluster ck_cluster_name (
`fdate` Int64,
`city_code` Int32,
`city_name` String,
`total_cnt` Int64
) ENGINE = Distributed(ck_cluster_name, test_db, city_local, rand())

2、分散式表插入資料

insert into city_all (fdate, city_code, city_name, total_cnt) values (20210131, 4000, 'guangzhou', 420000);

insert into city_all (fdate, city_code, city_name, total_cnt) values (20210131, 5000, 'shenzhan', 55000);

insert into city_all (fdate, city_code, city_name, total_cnt) values (20210131, 6000, 'huizhou', 65000);

insert into city_all (fdate, city_code, city_name, total_cnt) values (20210131, 7000, 'huizhou', 75000);

3、分散式表查詢資料

-- 插入資料後，查詢資料

select * from city_all;

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │5000 │ shenzhan│55000 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │7000 │ huizhou│75000 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │6000 │ huizhou│65000 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │4000 │ guangzhou │420000 │

└──────────┴───────────┴───────────┴───────────┘

4、分散式表更新資料

-- 更新資料【生效】，通過local表來更新 同時指定上叢集名稱；如果通過all來更新則不支援會報錯

ALTER TABLE city_local ON CLUSTER ck_cluster_name UPDATE total_cnt = 2222 WHERE city_name = 'huizhou';

-- 通過all來更新會報錯，An error occurred before execution: Code: 371, e.displayText() = DB::Exception: Table 'city_all' isn't replicated, but shard #3 is replicated according to its cluster definition (version 20.2.1.2183 (official build))

-- ALTER TABLE city_all ON CLUSTER ck_cluster_name UPDATE total_cnt = 3333 WHERE city_name = 'huizhou';

SELECT * FROM city_all;

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │4000 │ guangzhou │420000 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │6000 │ huizhou│2222 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │7000 │ huizhou│2222 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │5000 │ shenzhan│55000 │

└──────────┴───────────┴───────────┴───────────┘

5、分散式表刪除資料

-- 刪除資料【生效】，通過local表來刪除 同時指定上叢集名稱；如果通過all來刪除則不支援會報錯

ALTER TABLE city_local ON CLUSTER ck_cluster_name DELETE WHERE city_name = 'huizhou';

-- An error occurred before execution: Code: 371, e.displayText() = DB::Exception: Table 'city_all' isn't replicated, but shard #3 is replicated according to its cluster definition (version 20.2.1.2183 (official build))

-- ALTER TABLE city_all ON CLUSTER ck_cluster_name DELETE WHERE city_name = 'huizhou';

SELECT * FROM city_all;

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │5000 │ shenzhan│55000 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │4000 │ guangzhou │420000 │

└──────────┴───────────┴───────────┴───────────┘

-- 插入資料後，查詢資料

SELECT * FROM city_all

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │5000 │ shenzhan│55000 │

└──────────┴───────────┴───────────┴───────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┐

│ 20210131 │4000 │ guangzhou │420000 │

└──────────┴───────────┴───────────┴───────────┘

6、分散式表新增欄位

-- 新增歷史欄位

-- mysql 新增欄位

-- ALTER TABLE test_table add age int DEFAULT NULL COMMENT '年齡' after name;

-- 生效

alter table city_local ON CLUSTER ck_cluster_name add column history Int32;

-- 同時支援指定在某個欄位後面新增欄位

alter table city_local ON CLUSTER ck_cluster_name add column history Int32 after city_code;

-- 不生效，報錯：An error occurred before execution: Code: 371, e.displayText() = DB::Exception: Table 'city_all' isn't replicated,

-- but shard #3 is replicated according to its cluster definition (version 20.2.1.2183 (official build)).

alter table city_all ON CLUSTER ck_cluster_name add column history Int32;

-- 嘗試將city_all 刪除重建

drop table test_db.city_all ON CLUSTER ck_cluster_name;

-- 重建all表，方式一：【可行】

CREATE TABLE IF NOT EXISTS test_db.city_all ON CLUSTER ck_cluster_name AS test_db.city_local
ENGINE = Distributed(ck_cluster, test_db, city_local, rand());
┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │5000 │ shenzhan│55000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │4000 │ guangzhou │420000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

-- 重建all表，方式二：【可行】

CREATE TABLE city_all on cluster ck_cluster_name (
`fdate` Int64,
`city_code` Int32,
`city_name` String,
`total_cnt` Int64,
`history` Int32
) ENGINE = Distributed(ck_cluster_name, test_db, city_local, rand())
┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │5000 │ shenzhan│55000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │4000 │ guangzhou │420000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

-- 查詢表的建立語句

show create table city_local;

show create table city_all;

-- 新增欄位後，查詢資料

select * from city_all;

7、分散式表新增欄位後，插入資料驗證

-- 新增欄位後，插入資料，並不對新欄位賦值，驗證可行。新增history欄位預設為0

insert into city_all (fdate, city_code, city_name, total_cnt) values (20210131, 7000, 'foshan', 75000);

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │7000 │ foshan│75000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │4000 │ guangzhou │420000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │5000 │ shenzhan│55000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

-- 新增欄位後，插入資料，對新欄位賦值

insert into city_all (fdate, city_code, city_name, total_cnt, history) values (20210131, 7000, 'dongguan', 85000, 2021);

-- 新增欄位後，查詢資料

select * from city_all;

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │4000 │ guangzhou │420000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │7000 │ dongguan│85000 │2021 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │5000 │ shenzhan│55000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │7000 │ foshan│75000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

-- 對分散式all表更新操作【不生效】An error occurred before execution: Code: 371, e.displayText() = DB::Exception: Table 'city_all' isn't replicated, but shard #1 is replicated according to its cluster definition (version 20.2.1.2183 (official build))

ALTER TABLE city_all ON CLUSTER ck_cluster_name UPDATE total_cnt = 3333 WHERE city_name = 'foshan';

-- 對分散式all表刪除資料【不生效】An error occurred before execution: Code: 371, e.displayText() = DB::Exception: Table 'city_all' isn't replicated, but shard #1 is replicated according to its cluster definition (version 20.2.1.2183 (official build))

ALTER TABLE city_all ON CLUSTER ck_cluster_name DELETE WHERE city_name = 'foshan'

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │5000 │ shenzhan│55000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │7000 │ dongguan│85000 │2021 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │7000 │ foshan│75000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

┌────fdate─┬─city_code─┬─city_name─┬─total_cnt─┬─history─┐

│ 20210131 │4000 │ guangzhou │420000 │0 │

└──────────┴───────────┴───────────┴───────────┴─────────┘

-- 刪除分散式表【生效】

drop table city_local on cluster ck_cluster_name;

drop table city_all on cluster ck_cluster_name;

文章最後，給大家推薦一些受歡迎的技術部落格連結：

  1. JAVA相關的深度技術部落格連結
  2. Flink 相關技術部落格連結
  3. Spark核心技術連結
  4. 設計模式 —— 深度技術部落格連結
  5. 機器學習 —— 深度技術部落格連結
  6. Hadoop相關技術部落格連結
  7. 超全乾貨--Flink思維導圖，花了3周左右編寫、校對
  8. 深入JAVA 的JVM核心原理解決線上各種故障【附案例】
  9. 請談談你對volatile的理解？--最近小李子與面試官的一場“硬核較量”
  10. 聊聊RPC通訊，經常被問到的一道面試題。原始碼+筆記，包懂
  11. 深入聊聊Java 垃圾回收機制【附原理圖及調優方法】

歡迎掃描下方的二維碼或 搜尋 公眾號“大資料高階架構師”，我們會有更多、且及時的資料推送給您，歡迎多多交流！

相關推薦

建立clickhouse 分散式表方式 及 分散式表資料增加、更新、刪除、查詢

技術標籤：clickhouse 列式儲存大資料clickhouse 建立clickhouse 分散式表方式 及分散式表資料增加、更新、刪除、查詢

ClickHouse的物化檢視及MySQL表引擎

MySQL表引擎可以與MySQL資料庫中的資料表簡歷對映，並通過SQL向其發起遠端查詢。

執行緒建立的三種方式及區別

執行緒建立的三種方式及區別 1.繼承Thread類 2.實現Runnable介面 3.實現Callable介面

SQL 建立、更新和刪除檢視的方法

檢視是視覺化的表。 本章講解如何建立、更新和刪除檢視。 SQL CREATE VIEW 語句 在 SQL 中，檢視是基於 SQL 語句的結果集的視覺化的表。

[ABP教程]第三章 建立、更新和刪除圖書

Web應用程式開發教程 - 第三章: 建立,更新和刪除圖書 //[doc-params] { \"UI\": [\"MVC\",\"NG\"],

Mysql臨時表原理及建立方法解析

這篇文章主要介紹了Mysql臨時表原理及建立方法解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

詳細解讀分散式鎖原理及三種實現方式

目前幾乎很多大型網站及應用都是分散式部署的，分散式場景中的資料一致性問題一直是一個比較重要的話題。分散式的CAP理論告訴我們“任何一個分散式系統都無法同時滿足一致性（Consistency）、可用性（Availability）

基於SERVEROUTPUT Oracle建立表空間及使用者

SET SERVEROUTPUT ON; DECLARE --SAVE DATA_FILE folder varchar2(100) := \'/data/oracle/oradata/orcl/\'; --SET USERNAME

分散式鎖三種實現方式及對比

分散式鎖三種實現方式： 1. 基於資料庫實現分散式鎖； 2. 基於快取（Redis等）實現分散式鎖；

Redis分散式鎖實現方式及超時問題解決

一 前言 redis在分散式應用十分廣泛，本篇文章也是網際網路面試的重點內容，讀者至少需要知道為什麼需要分散式鎖，分散式鎖的實現原理，分散式鎖的應用場景，在使用分散式鎖時遇到哪些問題?你是如何解決的，如果

使用python建立Excel工作簿及工作表過程圖解

1 配置資訊： 建立 excel 工作簿之前的路徑 2 建立工作簿 建立工作簿之後的路徑

Linux命令方式在oracle中匯入匯出表結構及資料

1、切到oracle使用者（su oracle） 2、oracle匯出表結構 2.1、方式一：在oracle使用者有許可權的目錄下執行匯出命令（如在/home/oracle目錄下）：exp 使用者名稱/密碼@orcl

第三篇：Django建立表關係及部分講解

第三篇：Django建立表關係及部分講解 目錄第三篇：Django建立表關係及部分講解一、Django中orm建立表關係一、資料庫中的表關係二、建立表二、Django請求生命週期流程圖三、Django分佈講解一、路由層(urls.py)1、路由

java分散式套路之分庫分表漫談

java分散式套路之分庫分表漫談 既然是“漫談分庫分表”，那麼我們需要確定我們要談什麼，不談什麼。

專案依賴模組解決、二次封裝Response、後臺資料庫配置、user模組user表設計、前臺建立及配置

今日內容概要 二次封裝Response 後臺資料庫配置 user模組user表設計 前臺建立及配置

Java多執行緒及分散式爬蟲架構原理解析

這是 Java 爬蟲系列博文的第五篇，在上一篇Java 爬蟲伺服器被遮蔽的解決方案中，我們簡單的聊反爬蟲策略和反反爬蟲方法，主要針對的是 IP 被封及其對應辦法。前面幾篇文章我們把爬蟲相關的基本知識都講的差不多啦。這

django連線mysql資料庫及建表操作例項詳解

本文例項講述了django連線mysql資料庫及建表操作。分享給大家供大家參考，具體如下：

通過例項學習MySQL分割槽表原理及常用操作

1、分割槽表含義 分割槽表定義指根據可以設定為任意大小的規則，跨檔案系統分配單個表的多個部分。實際上，表的不同部分在不同的位置被儲存為單獨的表。使用者所選擇的、實現資料分割的規則被稱為分割槽函式，這在My

MySQL中Update、select聯用操作單表、多表，及檢視與臨時表的區別

一、MySQL中使用從表A中取出資料來更新表B的內容 例如：要update表data中的一些列屬性，但是修改屬性的內容來源是來自表chanpin。SQL語言中不要顯示的出現select關鍵字

SQL提取資料庫表名及欄位名等資訊程式碼示例

本文向大家介紹了使用SQL語句提取資料庫所有表的表名、欄位名的例項程式碼，在SQLserver 中進行了測試，具體內容如下：