2. 程式人生 > 實用技巧 >使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS構建資料湖

使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS構建資料湖

阿新 • • 發佈：2020-11-05

1. 引入

資料湖使組織能夠在更短的時間內利用多個源的資料，而不同角色使用者可以以不同的方式協作和分析資料，從而實現更好、更快的決策。Amazon Simple Storage Service（amazon S3）是針對結構化和非結構化資料的高效能物件儲存服務，可以用來作為資料湖底層的儲存服務。

然而許多用例，如從上游關係資料庫執行變更資料捕獲（CDC）到基於Amazon S3的資料湖，都需要在記錄級別處理資料，執行諸如從資料集中插入、更新和刪除單條記錄的操作需要處理引擎讀取所有物件（檔案），進行更改，並將整個資料集重寫為新檔案。此外為使資料湖中的資料以近乎實時的方式被訪問，通常會導致資料被分割成許多小檔案，從而導致查詢效能較差。Apache Hudi是一個開源的資料管理框架，它使您能夠在Amazon S3 資料湖中以記錄級別管理資料，從而簡化了CDC管道的構建，並使流資料攝取變得高效，Hudi管理的資料集使用開放儲存格式儲存在Amazon S3中，通過與Presto、Apache Hive、Apache Spark和AWS Glue資料目錄的整合，您可以使用熟悉的工具近乎實時地訪問更新的資料。Amazon EMR已經內建Hudi，在部署EMR叢集時選擇Spark、Hive或Presto時自動安裝Hudi。

本篇文章將展示如何構建一個CDC管道，該管道使用AWS資料庫遷移服務（AWS DMS）從Amazon關係資料庫服務（Amazon RDS）for MySQL資料庫中捕獲資料，並將這些更改應用到Amazon S3中的一個數據集上。Apache Hudi包含了HoodieDeltaStreamer實用程式，它提供了一種從許多源（如分散式檔案系統DFS或Kafka）攝取資料的簡單方法，它可以自己管理檢查點、回滾和恢復，因此不需要跟蹤從源讀取和處理了哪些資料，這使得使用更改資料變得很容易，同時還可以在接收資料時對資料進行基於SQL的輕量級轉換，有關詳細資訊，請參見寫Hudi表。ApacheHudi版本0.5.2提供了對帶有HoodieDeltaStreamer的AWS DMS支援，並在Amazon EMR 5.30.x和6.1.0上可用。

2. 架構

下圖展示了構建CDC管道而部署的體系結構。

在該架構中，我們在Amazon RDS上有一個MySQL例項，AWS-DMS將完整的增量資料（使用AWS-DMS的CDC特性）以Parquet格式存入S3中，EMR叢集上的HoodieDeltaStreamer用於處理全量和增量資料，以建立Hudi資料集，當更新MySQL資料庫中的資料後，AWS-DMS任務將獲取這些更改並將它們變更到原始的S3儲存桶中。HoodieDeltastreamer作業可以在EMR叢集上以特定的頻率或連續模式執行，以將這些更改應用於Amazon S3資料湖中的Hudi資料集，然後可以使用SparkSQL、Presto、執行在EMR叢集上的Apache Hive和Amazon Athena等工具查詢這些資料。

3. 部署解決方案資源

使用AWS CloudFormation在AWS帳戶中部署這些元件，選擇一個AWS區域部署以下服務：

  • Amazon EMR
  • AWS DMS
  • Amazon S3
  • Amazon RDS
  • AWS Glue
  • AWS Systems Manager

在部署CloudFormation模板之前需要先滿足如下條件：

  • 擁有一個至少有兩個公共子網的專有網路（VPC）。
  • 有一個S3儲存桶來從EMR叢集收集日誌，需要在同一個AWS區域。
  • 具有AWS身份和訪問管理（IAM）角色DMS VPC角色dms-vpc-role。
  • 如果要使用AWS Lake Formation許可權模型在帳戶中部署，請驗證以下設定：
    • 用於部署技術棧的IAM使用者需要被新增為Lake Formation下的data lake administrator，或者用於部署堆疊的IAM使用者具有在AWS Glue data Catalog中建立資料庫的IAM許可權。
    • Lake Formation下的資料目錄（Data Catalog）設定配置為僅對新資料庫和新資料庫中的新表使用IAM訪問控制，這將確保僅使用IAM許可權控制對資料目錄（Data Catalog）中新建立的資料庫和表的所有訪問許可權。

  • IAMAllowedPrincipals在Lake Formation database creators頁面上被授予資料庫建立者許可權。

如果此許可權不存在，請通過選擇授予並選擇授予建立資料庫許可權。

這些設定是必需的，以便僅使用IAM控制對資料目錄物件的所有許可權。

4. 啟動CloudFormation

要啟動CloudFormation棧，請完成以下步驟

  • 選擇啟動CloudFormation棧

  • 在Parameters部分提供必需的引數，包括一個用於儲存Amazon EMR日誌的S3 Bucket和一個您想要訪問Amazon RDS for MySQL的CIDR IP範圍。

  • 遵循CloudFormation建立嚮導，保持其餘預設值不變。

  • 在最後一個頁面上，選擇允許AWS CloudFormation可能會使用自定義名稱建立IAM資源。

  • 選擇建立。

  • 當建立完成後，在CloudFormation堆疊的Outputs選項卡上記錄S3 Bucket、EMR叢集和Amazon RDS for MySQL的詳細資訊。

CloudFormation模板為EMR叢集使用m5.xlarge和m5.2xlarge例項，如果這些例項型別在你選擇用於部署的區域或可用性區域中不可用，那麼CloudFormation將會建立失敗。如果發生這種情況，請選擇例項型別可用的區域或子網。

CloudFormation還使用必要的連線屬性（如dataFormat、timestampColumnName和parquetTimestampInMillisecond）建立和配置AWS DMS端點和任務。

作為CloudFormation棧的一部分部署的資料庫例項已經被建立，其中包含AWS-DMS在資料庫的CDC模式下工作所需的設定。

  • binlog_format=ROW
  • binlog_checksum=NONE

另外在RDS DB例項上啟用自動備份，這是AWS-DMS進行CDC所必需的屬性。

5. 執行端到端資料流

CloudFormation部署好後就可以執行資料流，將MySQL中的完整和增量資料放入資料湖中的Hudi資料集。

  1. 作為最佳實踐，請將binlog保留至少24小時。使用SQL客戶端登入Amazon RDS for MySQL資料庫並執行以下命令：
call mysql.rds_set_configuration('binlog retention hours', 24)
  1. 在dev資料庫中建立表：
create table dev.retail_transactions(
tran_id INT,
tran_date DATE,
store_id INT,
store_city varchar(50),
store_state char(2),
item_code varchar(50),
quantity INT,
total FLOAT);
  1. 建立表時，將一些測試資料插入資料庫：
insert into dev.retail_transactions values(1,'2019-03-17',1,'CHICAGO','IL','XXXXXX',5,106.25);
insert into dev.retail_transactions values(2,'2019-03-16',2,'NEW YORK','NY','XXXXXX',6,116.25);
insert into dev.retail_transactions values(3,'2019-03-15',3,'SPRINGFIELD','IL','XXXXXX',7,126.25);
insert into dev.retail_transactions values(4,'2019-03-17',4,'SAN FRANCISCO','CA','XXXXXX',8,136.25);
insert into dev.retail_transactions values(5,'2019-03-11',1,'CHICAGO','IL','XXXXXX',9,146.25);
insert into dev.retail_transactions values(6,'2019-03-18',1,'CHICAGO','IL','XXXXXX',10,156.25);
insert into dev.retail_transactions values(7,'2019-03-14',2,'NEW YORK','NY','XXXXXX',11,166.25);
insert into dev.retail_transactions values(8,'2019-03-11',1,'CHICAGO','IL','XXXXXX',12,176.25);
insert into dev.retail_transactions values(9,'2019-03-10',4,'SAN FRANCISCO','CA','XXXXXX',13,186.25);
insert into dev.retail_transactions values(10,'2019-03-13',1,'CHICAGO','IL','XXXXXX',14,196.25);
insert into dev.retail_transactions values(11,'2019-03-14',5,'CHICAGO','IL','XXXXXX',15,106.25);
insert into dev.retail_transactions values(12,'2019-03-15',6,'CHICAGO','IL','XXXXXX',16,116.25);
insert into dev.retail_transactions values(13,'2019-03-16',7,'CHICAGO','IL','XXXXXX',17,126.25);
insert into dev.retail_transactions values(14,'2019-03-16',7,'CHICAGO','IL','XXXXXX',17,126.25);

現在使用AWS DMS將這些資料推送到Amazon S3。

  1. 在AWS DMS控制檯上，執行hudiblogload任務。

此任務將表的全量資料載入到Amazon S3，然後開始寫增量資料。

如果第一次啟動AWS-DMS任務時系統提示測試AWS-DMS端點，那麼可以先進行測試，在第一次啟動AWS-DMS任務之前測試源和目標端點通常是一個好的實踐。

幾分鐘後，任務的狀態將變更為"載入完成"、"複製正在進行"，這意味著已完成全量載入，並且正在進行的複製已開始，可以轉到由CloudFormation建立的S3 Bucket，應該會在S3 Bucket的dmsdata/dev/retail_transactions資料夾下看到一個.parquet檔案。

  1. 在EMR叢集的Hardware選項卡上，選擇主例項組並記錄主例項的EC2例項ID。

  2. 在Systems Manager控制檯上，選擇會話管理器。

  3. 選擇"啟動會話"以啟動與群集主節點的會話。

  4. 通過執行以下命令將使用者切換到Hadoop

    sudo su hadoop

在實際用例中，AWS DMS任務在全量載入完成後開始向相同的Amazon S3位置寫入增量檔案，區分全量載入和增量載入檔案的方法是，完全載入檔案的名稱以load開頭，而CDC檔名具有日期時間戳，如在後面步驟所示。從處理的角度來看，我們希望將全部負載處理到Hudi資料集中，然後開始增量資料處理。為此，我們將滿載檔案移動到同一S3儲存桶下的另一個S3資料夾中，並在開始處理增量檔案之前處理這些檔案。

  1. 在EMR叢集的主節點上執行以下命令（將<s3-bucket-name>替換為實際的bucket name）：

    aws s3 mv s3://<s3-bucket-name>/dmsdata/dev/retail_transactions/ s3://<s3-bucket-name>/dmsdata/data-full/dev/retail_transactions/  --exclude "*" --include "LOAD*.parquet" --recursive

有了datafull資料夾中的全量表轉儲，接著使用EMR叢集上的HoodieDeltaStreamer實用程式來向Amazon S3上寫入Hudi資料集。

  1. 執行以下命令將Hudi資料集填充到同一個S3 bucket中的Hudi資料夾中（將<S3 bucket name>替換為CloudFormation建立的S3 bucket的名稱）：
spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer  \
  --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.5.2-incubating,org.apache.spark:spark-avro_2.11:2.4.5 \
  --master yarn --deploy-mode cluster \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.sql.hive.convertMetastoreParquet=false \
/usr/lib/hudi/hudi-utilities-bundle_2.11-0.5.2-incubating.jar \
  --table-type COPY_ON_WRITE \
  --source-ordering-field dms_received_ts \
  --props s3://<s3-bucket-name>/properties/dfs-source-retail-transactions-full.properties \
  --source-class org.apache.hudi.utilities.sources.ParquetDFSSource \
  --target-base-path s3://<s3-bucket-name>/hudi/retail_transactions --target-table hudiblogdb.retail_transactions \
  --transformer-class org.apache.hudi.utilities.transform.SqlQueryBasedTransformer \
    --payload-class org.apache.hudi.payload.AWSDmsAvroPayload \
--schemaprovider-class org.apache.hudi.utilities.schema.FilebasedSchemaProvider \
  --enable-hive-sync

前面的命令執行一個執行HoodieDeltaStreamer實用程式的Spark作業。有關此命令中使用的引數的詳細資訊，請參閱編寫Hudi表。

當Spark作業完成後，可以導航到AWS Glue控制檯，找到在hudiblogdb資料庫下建立的名為retail_transactions的表，表的input format是org.apache.hudi.hadoop.HoodieParquetInputFormat.

接下來查詢資料並檢視目錄中retail_transactions表的資料。

  1. 在先前建立的Systems Manager會話中，執行以下命令（確保已完成post的所有先前條件，包括在Lake Formation中將IAMAllowedPrincipals新增為資料庫建立者）：

    spark-shell --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" --conf "spark.sql.hive.convertMetastoreParquet=false" \
--packages org.apache.hudi:hudi-spark-bundle_2.11:0.5.2-incubating,org.apache.spark:spark-avro_2.11:2.4.5 \
--jars /usr/lib/hudi/hudi-spark-bundle_2.11-0.5.2-incubating.jar,/usr/lib/spark/external/lib/spark-avro.jar

  2. 對retail_transactions表執行以下查詢：

    spark.sql("select * from hudiblogdb.retail_transactions order by tran_id").show()

接著可以在表中看到與MySQL資料庫相同的資料，其中有幾個列是由HoodieDeltaStreamer自動新增Hudi元資料。

現在在MySQL資料庫上執行一些DML語句，並將這些更改傳遞到Hudi資料集。

  1. 在MySQL資料庫上執行以下DML語句
insert into dev.retail_transactions values(15,'2019-03-16',7,'CHICAGO','IL','XXXXXX',17,126.25);
update dev.retail_transactions set store_city='SPRINGFIELD' where tran_id=12;
delete from dev.retail_transactions where tran_id=2;

幾分鐘後將看到在S3儲存桶中的dmsdata/dev/retail_transactions資料夾下建立了一個新的.parquet檔案。

  1. 在EMR叢集上執行以下命令，將增量資料獲取到Hudi資料集（將<s3 bucket name>替換為CloudFormation模板建立的s3 bucket的名稱）：

    spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer  \
  --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.5.2-incubating,org.apache.spark:spark-avro_2.11:2.4.5 \
  --master yarn --deploy-mode cluster \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.sql.hive.convertMetastoreParquet=false \
/usr/lib/hudi/hudi-utilities-bundle_2.11-0.5.2-incubating.jar \
  --table-type COPY_ON_WRITE \
  --source-ordering-field dms_received_ts \
  --props s3://<s3-bucket-name>/properties/dfs-source-retail-transactions-incremental.properties \
  --source-class org.apache.hudi.utilities.sources.ParquetDFSSource \
  --target-base-path s3://<s3-bucket-name>/hudi/retail_transactions --target-table hudiblogdb.retail_transactions \
  --transformer-class org.apache.hudi.utilities.transform.SqlQueryBasedTransformer \
    --payload-class org.apache.hudi.payload.AWSDmsAvroPayload \
--schemaprovider-class org.apache.hudi.utilities.schema.FilebasedSchemaProvider \
  --enable-hive-sync \
--checkpoint 0

    此命令與上一個命令之間的關鍵區別在於屬性檔案，該檔案包含–-props和--checkpoint引數，對於先前執行全量載入的命令，我們使用dfs-source-retail-transactions-full.properties進行全量載入、dfs-source-retail-transactions-incremental.properties進行增量載入，這兩個屬性檔案之間的區別是：

    • 源資料的位置在AmazonS3中的全量資料和增量資料之間發生變化。
    • SQL transformer查詢包含了一個全量任務的Op欄位，因為AWS DMS首次全量載入不包括parquet資料集的Op欄位，Op欄位可有I、U和D值，表示插入、更新和刪除。

本文後面的"部署到生產環境時的注意事項"部分討論--checkpoint引數的詳細資訊。

  1. 作業完成後，在spark shell中執行相同的查詢。

將會看到這些更新應用於Hudi資料集。

另外還可以使用Hudi Cli來管理Hudi資料集，以檢視有關提交、檔案系統、統計資訊等的資訊。

  1. 為此在Systems Manager會話中，執行以下命令

    /usr/lib/hudi/cli/bin/hudi-cli.sh

  2. 在Hudi Cli中，執行以下命令（將<s3 bucket name>替換為CloudFormation模板建立的s3 bucket的名稱）：

    connect --path s3://<s3-bucket-name>/hudi/retail_transactions

  3. 要檢查Hudi資料集上的提交（commit），請執行以下命令

    commits show


還可以從Hudi資料集查詢增量資料，這對於希望將增量資料用於下游處理（如聚合）時非常有用，Hudi提供了多種增量提取資料的方法，Hudi快速入門指南中提供瞭如何使用此功能的示例。

6. 部署到生產環境時的注意事項

前面展示了一個如何從關係資料庫到基於Amazon S3的資料湖構建CDC管道的示例，但如果要將此解決方案用於生產，則應考慮以下事項：

  • 為了確保高可用性，可以在多AZ配置中設定AWS-DMS例項。
  • CloudFormation將deltastreamer實用程式所需的屬性檔案部署到S3://<s3bucket name>/properties/處的S3 bucket中，你可以根據需求定製修改，其中有幾個引數需要注意
    • deltastreamer.transformer.sql – 此屬性是Deltastreamer實用程式的一個非常強大的特性：它使您能夠在資料被攝取並儲存在Hudi資料集中時動態地轉換資料，在本文中，我們展示了一個基本的轉換，它將tran_date列強制轉換為字串，但是您可以將任何轉換作為此查詢的一部分應用。
    • parquet.small.file.limit– 此欄位以位元組為單位，是一個關鍵儲存配置，指定Hudi如何處理Amazon S3上的小檔案，由於每個分割槽的每個插入操作中要處理的記錄數，可能會出現小檔案，設定此值允許Hudi繼續將特定分割槽中的插入視為對現有檔案的更新，從而使檔案的大小小於此值small.file.limit被重寫。
    • parquet.max.file.size – 這是Hudi資料集中單個parquet檔案的最大檔案大小，之後將建立一個新檔案來儲存更多資料。對於Amazon S3的儲存和資料查詢需求，我們可以將其保持在256MB-1GB（256x1024x1024=268435456）。
    • [Insert|Upsert|bulkinsert].shuffle.parallelism。本篇文章中我們只處理了少量記錄的小資料集。然而，在實際情況下可能希望在第一次載入時引入數億條記錄，然後增量CDC資料達百萬，當希望對每個Hudi資料集分割槽中的檔案數量進行非常可預測的控制時，需要設定一個非常重要的引數，這也需要確保在處理大量資料時，不會達到Apache Spark對資料shuffle的2GB限制。例如，如果計劃在第一次載入時載入200 GB的資料，並希望檔案大小保持在大約256 MB，則將此資料集的shuffle parallelism引數設定為800（200×1024/256）。有關詳細資訊，請參閱調優指南。
  • 在增量載入deltastreamer命令中，我們使用了一個附加引數：--checkpoint 0。當Deltastreamer寫Hudi資料集時，它將檢查點資訊儲存在.hoodie資料夾下的.commit檔案中，它在隨後的執行中使用這些資訊，並且只從Amazon S3讀取資料，後者是在這個檢查點時間之後建立的，在生產場景中，在啟動AWS-DMS任務之後，只要完成全量載入，該任務就會繼續向目標S3資料夾寫入增量資料。在接下來的步驟中，我們在EMR叢集上運行了一個命令，將全量檔案手動移動到另一個資料夾中，並從那裡處理資料。當我們這樣做時，與S3物件相關聯的時間戳將更改為最新的時間戳，如果在沒有checkpoint引數的情況下執行增量載入，deltastreamer在手動移動滿載檔案之前不會提取任何寫入Amazon S3的增量資料，要確保Deltastreamer第一次處理所有增量資料，請將檢查點設定為0，這將使它處理資料夾中的所有增量資料。但是，只對第一次增量載入使用此引數，並讓Deltastreamer從該點開始使用自己的檢查點方法。
  • 對於本文，我們手動執行Spark submit命令，但是在生產叢集中可以執行這一步驟。
  • 可以使用排程或編排工具安排增量資料載入命令以固定間隔執行，也可以通過向spark submit命令傳遞附加引數--min-sync-interval-seconds *XX* –continuous，以特定的頻率以連續方式執行它，其中XX是資料拉取每次執行之間的秒數。例如，如果要每5分鐘執行一次處理，請將XX替換為300。

7. 清理

當完成對解決方案的探索後，請完成以下步驟以清理CloudFormation部署的資源

  • 清空CloudFormation堆疊建立的S3 bucket
  • 刪除在s3://<EMR-Logs-s3-Bucket>/HudiBlogEMRLogs/下生成的任何Amazon EMR日誌檔案。
  • 停止AWS DMS任務Hudiblogload。
  • 刪除CloudFormation。
  • 刪除CloudFormation模板後保留的所有Amazon RDS for MySQL資料庫快照。

8. 結束

越來越多的資料湖構建在Amazon S3，當對資料湖的資料進行變更時，使用傳統方法處理資料刪除和更新涉及到許多繁重的工作，在這篇文章中，我們看到了如何在Amazon EMR上使用AWS DMS和HoodieDeltaStreamer輕鬆構建解決方案。我們還研究了在將資料整合到資料湖時如何執行輕量級的記錄級轉換，以及如何將這些資料用於聚合等下游流程。我們還討論了使用的重要設定和命令列選項，以及如何修改它們以滿足個性化的需求。

相關推薦

使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS構建資料湖

1. 引入 資料湖使組織能夠在更短的時間內利用多個源的資料，而不同角色使用者可以以不同的方式協作和分析資料，從而實現更好、更快的決策。Amazon Simple Storage Service（amazon S3）是針對結構化和非結構化資料的

基於MRS-Hudi構建資料湖的典型應用場景介紹

一、傳統資料湖存在的問題與挑戰 傳統資料湖解決方案中，常用Hive來構建T+1級別的資料倉庫，通過HDFS儲存實現海量資料的儲存與水平擴容，通過Hive實現元資料的管理以及資料操作的SQL化。雖然能夠在海量批處理場景中取

Apache Hudi + AWS S3 + Athena實戰

Apache Hudi在阿里巴巴集團、EMIS Health，LinkNovate，Tathastu.AI，騰訊，Uber內使用，並且由Amazon AWS EMR和Google雲平臺支援，最近Amazon Athena支援了在Amazon S3上查詢Apache Hudi資料集的能力，本部落格將測

官宣！AWS Athena正式可查詢Apache Hudi資料集

1. 引入 Apache Hudi是一個開源的增量資料處理框架，提供了行級insert、update、upsert、delete的細粒度處理能力（Upsert表示如果資料集中存在記錄就更新；否則插入）。

使用Apache Hudi構建大規模、事務性資料湖

一個近期由Hudi PMC & Uber Senior Engineering Manager Nishith Agarwal分享的Talk 關於Nishith Agarwal更詳細的介紹，主要從事資料方面的工作，包括攝取標準化，資料湖原語等。

Apache Hudi重磅特性解讀之全域性索引

1. 摘要 Hudi表允許多種型別操作，包括非常常用的upsert，當然為支援upsert，Hudi依賴索引機制來定位記錄在哪些檔案中。

Apache Hudi重磅特性解讀之存量表高效遷移機制

1. 摘要 隨著Apache Hudi變得越來越流行，一個挑戰就是使用者如何將存量的歷史表遷移到Apache Hudi，Apache Hudi維護了記錄級別的元資料以便提供upserts和增量拉取的核心能力。為利用Hudi的upsert和增量拉取能力，使

生態 | Apache Hudi整合Alluxio實踐

原文連結：https://mp.weixin.qq.com/s/sT2-KK23tvPY2oziEH11Kw 1. 什麼是Alluxio Alluxio為資料驅動型應用和儲存系統構建了橋樑, 將資料從儲存層移動到距離資料驅動型應用更近的位置從而能夠更容易被訪問。這還使得

Apache Hudi表自動同步至阿里雲資料湖分析DLA

1. 引入 Hudi 0.6.0版本之前只支援將Hudi表同步到Hive或者相容Hive的MetaStore中，對於雲上其他使用與Hive不同SQL語法MetaStore則無法支援，為解決這個問題，近期社群對原先的同步模組hudi-hive-sync進行了抽象改造，

Apache Hudi非同步Compaction方式彙總

本篇文章對執行非同步Compaction的不同部署模型一探究竟。 1. Compaction 對於Merge-On-Read表，資料使用列式Parquet檔案和行式Avro檔案儲存，更新被記錄到增量檔案，然後進行同步/非同步compaction生成新版本的列式

Apache Hudi使用簡介

Apache Hudi使用簡介 目錄Apache Hudi使用簡介資料實時處理和實時的資料業務場景和技術選型Apache hudi簡介使用Aapche Hudi整體思路Hudi表資料結構資料檔案.hoodie檔案Hudi記錄IdCOW和MORCopy On Write TableMerge O

觸寶科技基於Apache Hudi的流批一體架構實踐

1. 前言 當前公司的大資料實時鏈路如下圖，資料來源是MySQL資料庫，然後通過Binlog Query的方式消費或者直接客戶端採集到Kafka，最終通過基於Spark/Flink實現的批流一體計算引擎處理，最後輸出到下游對應的儲存。

Apache Hudi 介紹與應用

Apache Hudi Apache Hudi 在基於 HDFS/S3 資料儲存之上，提供了兩種流原語： 插入更新

Apache Hudi 在 B 站構建實時資料湖的實踐

​簡介：B 站選擇 Flink + Hudi 的資料湖技術方案，以及針對其做出的優化。 本文作者喻兆靖，介紹了為什麼 B 站選擇 Flink + Hudi 的資料湖技術方案，以及針對其做出的優化。主要內容為：

基於Apache Hudi 的CDC資料入湖

作者：李少鋒 文章目錄： 一、CDC背景介紹 二、CDC資料入湖 三、Hudi核心設計 四、Hudi未來規劃

Apache Hudi在華米科技的應用-湖倉一體化改造

徐昱 Apache Hudi Contributor；華米高階大資料開發工程師 巨東東 華米大資料開發工程師

從訊息到資料湖：看 Apache RocketMQ、Hudi、Kyuubi 最新進展

上海的開發者小夥伴們，12 月 18 號，Apache RocketMQ & Apache Hudi & Apache Kyuubi （Incubating）三社群 Meetup 來了，打造最強訊息傳輸、實時計算、資料入湖一體化解決方案專場。

Apache Hudi 與 Hive 整合手冊

1. Hudi表對應的Hive外部表介紹 Hudi源表對應一份HDFS資料，可以通過Spark，Flink 元件或者Hudi客戶端將Hudi表的資料對映為Hive外部表，基於該外部表， Hive可以方便的進行實時檢視，讀優化檢視以及增量檢視的查詢。

基於Apache Hudi + Flink的億級資料入湖實踐

本次分享分為5個部分介紹Apache Hudi的應用與實踐 實時資料落地需求演進 基於Spark+Hudi的實時資料落地應用實踐

查詢效能提升3倍！Apache Hudi 查詢優化了解下？

從 Hudi 0.10.0版本開始，我們很高興推出在資料庫領域中稱為 Z-Order 和 Hilbert 空間填充曲線的高階資料佈局優化技術的支援。