本文主要介紹了Amazon Redshift新一代企業級雲平臺數據倉庫服務，並結合實際的客戶使用案例與場景描述瞭如何基於Amazon Redshift構建高可靠，效能優化，並且成本節約的資料倉庫系統。因為Amazon Redshift優異的計算效率與效能，基於Amazon Redshift的BI系統被廣泛地應用於網際網路資料分析類場景，例如電商中產品維度報表的計算生成，社交類應用中使用者畫像計算與分析，或者用於替代傳統的資料倉庫的解決方案。

Amazon Redshift是效能優異並且完全託管的PB級別資料倉庫服務。Amazon Redshift提供了標準SQL資料庫訪問介面，並且可以十分方便地與現有的主流商業智慧資料分析工具整合，構建企業級資料倉庫。

Amazon Redshift高效能硬體架構

Amazon Redshift底層硬體是基於高度定製化的高效能硬體節點，整個叢集是由頭節點（leader node，又稱領導節點）與計算節點（compute node）的架構組成，如圖1所示。其中，頭節點負責與所有的客戶端程式（標準SQL相容的客戶端，或者通過JDBC/ODBC訪問的客戶端應用）進行通訊，並把對應的SQL命令進行編譯後分發給底層的計算節點。同時，頭節點還負責儲存所有的資料倉庫元資料（metadata）。需要注意的是，所有的計算節點同時也是儲存節點（單個節點最大支援2TB的儲存量）。每個計算節點上配置有定製化的高效能CPU、記憶體及直接連線硬碟的儲存介質。當用戶資料倉庫的資料量增加的時候，可以通過動態地增加計算節點的數目，以及升級對應計算節點的硬體配置提升叢集的儲存容量與計算能力。同時，節點與節點的通訊是基於AWS定製化的高速內網頻寬，減少了因為資料傳輸帶來的時延，提高了計算效率。

圖1 Amazon Redshift架構示意圖

目前，Amazon Redshift主要支援兩大類計算節點型別——DS1/DS2與DC1。其中DS型別節點是為大資料量的工作複雜優化而設計，而且DS2是DS1的硬體升級版本。DC1主要應用於資料計算要求相對更高但是資料總量相對較小的場景。

從應用的角度結合上述架構看，Amazon Redshift的頭節點負責基本的SQL編譯，查詢計劃的優化，以及資料倉庫原資料的儲存。所有的使用者資料會以列式儲存的方式存放與計算節點之上。因為大部分資料倉庫的應用計算圍繞於具體的屬性列做查詢篩選，所以列式儲存的計算方式大大提高了資料倉庫的計算效率。同時，以MPP的架構組織資料為例，Amazon Redshift也從表設計的角度為使用者提供了資料在計算節點的存放方式，使用者可以根據具體的SQL表中的鍵值做分散式存放，或者對某些常用維度表做所有計算節點的全分佈存放，從而大大減少資料在節點之間的傳輸，以提高整體的計算效率。從圖1還可以看到，計算節點以MPP的方式並行的從Amazon S3、Amazon DynamoDB、SSH及Amazon EMR併發的實現資料快速載入。另外，Amazon Redshift的整體設計實現了資料的多份冗餘存放（對使用者使用量透明）——計算節點之間冗餘存放，同時定期對資料以增量快照的方式存放於高持久度的Amazon S3之上。

基於Amazon Redshift的BI大資料分析架構

Amazon Redshift針對資料倉庫提供了優異的計算與儲存效率，利用Amazon Redshift託管服務可以十分方便地構建智慧資料倉庫系統。同時，因為AWS雲端計算平臺提供了一整套完整的資料分析套件與工具，利用這些元件與Amazon Redshift相結合，可以十分輕鬆地實現效能優化、成本經濟、可靠性強、安全度高的大資料分析架構。圖2為一個典型的資料分析平臺的基礎資料架構。

圖2 基於AWS資料分析元件的資料架構

圖2中的架構是基於AWS的典型的實時與批量疊加的大資料分析架構。其中Amazon Kinesis是託管的高速實時流分析服務，可以從前端的應用伺服器（例如Web伺服器）或者移動的客戶端（手機等移動裝置或者IoT裝置）直接注入流式資料，資料可以通過EMR進行流式處理和計算（例如基於Spark Stream的EMR計算框架），並將資料儲存於Amazon DynamoDB或者物件儲存S3之上。其中，Amazon DynamoDB是託管的高效能NoSQL資料庫，可以承載100TB資料量級別而響應時間低於10毫秒。S3作為高可靠（11個9的持久度）的物件儲存，在大量的AWS應用場景中，被作為典型的資料湖（data lake）的應用。利用Amazon EMR對S3上的原始資料進行基本的ETL或者結構化操作之後，可以直接從S3以SQL的“copy”命令複製到Amazon Redshift資料倉庫中進行SQL的維度計算。另外，可以利用AWS整合的BI分析工具（Quick Sight）或者已有的商業套件直接實現對Amazon Redshift上的資料進行分析與展示。

在實際的業務場景中，資料庫的來源包含Amazon DynamoDB或者Amazon RDS這類業務資料庫，以及使用者活動日誌或者行為日誌等Web前端日誌。這些資料需要以增量的方式匯聚於AWS S3及ETL之後進入到Amazon Redshift之中。常用的做法，可以利用AWS的Data Pipeline服務直接定義對應的原端資料來源及對應的後端資料目標，自定義採集週期，一次性配置之後就可以直接進行資料通路的增量拷貝。

小紅書電商基於Amazon Redshift的使用者資料分析

小紅書是新一代的社群電商，它將海外購物分享社群與跨境電商相結合，精準捕捉85後和90後的消費升級需求，迅速發展成為極具影響力的全球購物分享社群。目前小紅書的註冊使用者數量已超過1800萬，其中近90%是女性、超過50%是90後。作為新一代消費人群，這些使用者有著共同的價值觀，更注重感覺和體驗，對優質商品和生活充滿嚮往。“社群＋電商”的模式推動了小紅書的快速發展，在電商平臺成立的半年內，其銷售額就達到7億人民幣。

與小紅書自身高速發展的業務模式一樣，小紅書的資料架構與資料分析團隊也經歷了從基本日誌伺服器指令碼分析到目前利用Amazon Redshift作為資料倉庫與資料分析核心工具的演化。圖3是目前小紅書資料分析的主要架構。

圖3 小紅書資料架構示意圖

NoSQL DB（主要是MongoDB）小紅書的業務資料庫資料，其中的資料庫業務日誌通過Fluentd的流式客戶端經過Amazon Kinesis的方式進入到AWS中國北京區域。之後，Amazon Kinesis的流式資料會寫入S3作為整個原始資料儲存。當然，Amazon S3還會作為資料湖匯聚其他的前段web伺服器的日誌，或者其他的資料來源。其中，構建於AmazonEMR的Spark叢集對S3中的日誌進行批量和實時的ETL。之後，結構化的資料從S3通過並行的拷貝直接進入Amazon Redshift進行資料分析師與工程師的業務分析。整個資料分析鏈條與分析架構實現了端到端的實時分析。其中，資料通路上的各個元件，Amazon Kinesis、Amazon S3、Amazon EMR與Amazon Redshift可以十分簡單與方便地實現水平擴充套件以提高計算與處理能力。因為S3作為整個資料架構的資料湖，並且基於S3自身分散式無限制的容量大小的設計，小紅書的架構系統可以十分方便的實現資料容量的誇張和升級。同時，因為EMR利用EMRFS實現了儲存S3（類似於傳統的Hadoop叢集的HDFS）與計算（EMR計算例項）的分離，從而從架構上解決了資料系統ETL彈性與增長的需求。小紅書又利用Amazon Kinesis來實時地解析同步使用者行為日誌，並開發了銷售實時監控系統。使用AWS使小紅書在兩個方面獲益匪淺：其一是大幅度縮短了資料處理系統上線的時間；其二是改變了整個公司的業務模式。目前，小紅書資料團隊正在持續優化其資料處理架構，包括提供更直觀的展示平臺、提升處理速度等，同時包括Spark在內的離線計算系統也開始投入使用。目前，業務資料的增量以每個月3~5TB的存量增加，並且隨著業務增加還有快速遞增的趨勢。

小紅書的實際使用經驗也已經被更多的電商使用者及資料分析團隊所採用。

綜上所述，Amazon Redshift作為一款AWS資料倉庫的明星產品，因為其優異的計算效能（10億條記錄TPC-H測試個位數秒級別）被越來越多的使用者熟悉和使用，並且結合Amazon天然的高可擴充套件的雲平臺被廣泛地應用於各個行業應用和資料分析中。

作者介紹

肖凌，AWS解決方案架構師，負責基於AWS的雲端計算方案架構的諮詢和設計，同時致力於AWS雲服務在國內和全球的應用和推廣，在大規模併發後臺架構、跨境電商應用、社交媒體分享 、Hadoop大資料架構以及資料倉庫等方面有著廣泛的設計和實踐經驗。在加入AWS之前曾長期從事移動端嵌入式系統開發，IBM伺服器開發工程師。並負責IBM亞太地區企業級高階儲存產品支援團隊，對基於企業儲存應用的高可用儲存架構和方案有深入的研究。