Apache Kafka是一個分散式的、分割槽的、多複本的日誌提交服務，使用Scala編寫，以可水平擴充套件和高吞吐率而被廣泛使用。Kafka最初是由LinkedIn開發，並於2011年初開源，目標是為實時資料處理提供一個統一、高通量、低等待的平臺。目前，越來越多的開源分散式處理系統如Cloudera、Apache Storm、Spark都支援與Kafka整合。

Kafka拓撲結構

Kafka的設計可以幫助使用者解決很多架構上的問題，其具備的高效能、低耦合、高可靠性、資料不丟失等特性，結合實際的應用系統使用場景，能夠非常滿足使用者的需求。

8月28日，Kafka Summit大會在舊金山召開，同一天Confluent宣佈Kafka新的里程碑：KSQL——用於Apache Kafka的流資料SQL引擎。KSQL（）是分散式、可擴充套件、可靠的和實時的，支援多種流式操作，包括聚合（aggregate）、連線（join）、時間視窗（window）、會話（session）等等。它為Kafka的流處理提供了一個簡單而完整的SQL介面，而不需要再用程式語言（如Java或Python）編寫程式碼。

KSQL的兩個核心概念是流（Stream）和表（Table），整合流和表，允許將代表當前狀態的表與代表當前發生事件的流連線在一起。

KSQL專案架構

事實上，KSQL與關係型資料庫中的SQL還是有很大不同的。傳統的SQL都是即時的一次性操作，不管是查詢還是更新都是在當前的資料集上進行。KSQL的查詢和更新是持續進行的，而且資料集可以源源不斷地增加。簡言之，KSQL所做的其實是轉換操作，也就是流式處理。

雖然專案基於Apache 2.0協議開源，但目前還處於開發者預覽階段，不建議用於生產叢集中。在可預料的條件下，KSQL在實時監控、安全檢測、線上資料整合、應用開發等場景擁有極大的潛力。

• 實時監控：通過KSQL自定義業務層面的度量指標，可以實時獲得。底層的度量指標無法告訴使用者應用程式的實際行為，所以基於應用程式生成的原始事件來自定義度量指標可以更好地瞭解應用程式的執行狀況。另外，可以通過KSQL為應用程式定義某種標準，用於檢查應用程式在生產環境中的行為是否達到預期；
• 安全檢測：KSQL把事件流轉換成包含數值的時間序列資料，通過視覺化工具把這些資料展示在UI上，可以檢測到很多威脅安全的行為，比如欺詐、入侵等等；
• 線上資料整合：大部分的資料處理都會經歷ETL過程，而這樣的系統通常都是通過定時的批次作業來完成資料處理的，但批次作業所帶來的延時在很多時候是無法被接受的。通過使用KSQL和Kafka聯結器，可以將批次資料整合轉變成線上資料整合；
• 應用開發：對於複雜應用來說，使用Kafka的原生Streams API或許更合適。不過對於簡單應用，或者對於不喜歡Java程式設計的人來說，KSQL會是更好的選擇。

未來，專案計劃增加更多的特性，包括支援更豐富的SQL語法，讓KSQL成為生產就緒的系統。相信KSQL為處理Kafka資料而提供的簡單完整的可互動式SQL介面，能夠降低流式處理的門檻。

資料為上，方得始終。更多精彩，歡迎關注CSDN大資料公眾號！