ClickHouse 是 Yandex（俄羅斯最大的搜尋引擎）開源的一個用於實時資料分析的基於列儲存的資料庫，其處理資料的速度比傳統方法快 100-1000 倍。ClickHouse 的效能超過了目前市場上可比的面向列的 DBMS，每秒鐘每臺伺服器每秒處理數億至十億多行和數十千兆位元組的資料。

ClickHouse 是什麼？

ClickHouse 是一個用於聯機分析（OLAP）的列式資料庫管理系統（DBMS）。

我們首先理清一些基礎概念：

• OLTP：是傳統的關係型資料庫，主要操作增刪改查，強調事務一致性，比如銀行系統、電商系統。

• OLAP：是倉庫型資料庫，主要是讀取資料，做複雜資料分析，側重技術決策支援，提供直觀簡單的結果。

接著我們用圖示，來理解一下列式資料庫和行式資料庫區別，在傳統的行式資料庫系統中（MySQL、Postgres 和 MS SQL Server），資料按如下順序儲存：

在列式資料庫系統中（ClickHouse），資料按如下的順序儲存：

兩者在儲存方式上對比：

以上是 ClickHouse 基本介紹，更多可以查閱官方手冊：

https://clickhouse.tech/docs/zh/

業務問題

業務端現有儲存在 MySQL 中，5000 萬資料量的大表及兩個輔表，單次聯表查詢開銷在 3min+，執行效率極低。

經過索引優化、水平分表、邏輯優化，成效較低，因此決定藉助 ClickHouse 來解決此問題。

最終通過優化，查詢時間降低至 1s 內，查詢效率提升 200 倍！希望通過本文，可以幫助大家快速掌握這一利器，並能在實踐中少走彎路。

ClickHouse 實踐

①Mac 下的 Clickhouse 安裝

我是通過 Docker 安裝，也可以下載 CK 編譯安裝，相對麻煩一些。參考連結：

https://blog.csdn.net/qq_24993831/article/details/103715194

②資料遷移：從 MySQL 到 ClickHouse

ClickHouse 支援 MySQL 大多數語法，遷移成本低，目前有五種遷移方案：

• create table engin mysql，對映方案資料還是在 MySQL。

• insert into select from，先建表，在匯入。

• create table as select from，建表同時匯入。

• csv 離線匯入。

• streamsets。

參考連結：

https://anjia0532.github.io/2019/07/17/mysql-to-clickhouse/

選擇第三種方案做資料遷移：

CREATETABLE[IFNOTEXISTS][db.]table_nameENGINE=MergetreeASSELECT*FROMmysql('host:port','db','database','user','password')

③效能測試對比

效能測試對比如下圖：

④資料同步方案

臨時表如下：

圖片來源：攜程

新建 Temp 中間表，將 MySQL 資料全量同步到 ClickHouse 內 Temp 表，再替換原 ClickHouse 中的表，適用資料量適度，增量和變數頻繁的場景。

開源的同步軟體推薦 Synch，如下圖：

Synch 原理是通過 MySQL 的 Binlog 日誌，獲取 SQL 語句，再通過訊息佇列消費 Task。

⑤ClickHouse 為什麼快？

有如下幾點：

• 只需要讀取要計算的列資料，而非行式的整行資料讀取，降低 IO cost。

• 同列同類型，有十倍壓縮提升，進一步降低 IO。

• Clickhouse 根據不同儲存場景，做個性化搜尋演算法。

遇到的坑

①ClickHouse 與 MySQL 資料型別差異性

用 MySQL 的語句查詢，發現報錯：

解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉一下，統一無符號型別關聯

②刪除或更新是非同步執行，只保證最終一致性

查詢 CK 手冊發現，即便對資料一致性支援最好的 Mergetree，也只是保證最終一致性：

如果對資料一致性要求較高，推薦大家做全量同步來解決。

總結

通過 ClickHouse 實踐，完美的解決了 MySQL 查詢瓶頸，20 億行以下資料量級查詢，90% 都可以在 1s 內給到結果，隨著資料量增加，ClickHouse 同樣也支援叢集，大家如果感興趣，可以積極嘗試！參考資料：

• ClickHouse官方手冊 CK

• ClickHouse在攜程酒店應用 蔡嶽毅

• ClickHouse引擎怎麼選 Roin123

轉載自https://mp.weixin.qq.com/s/lWxvvKMoWYCFWhPe9ONJgQ