大資料的應用開發過於偏向底層，具有學習難度大，涉及技術面廣的問題，這制約了大資料的普及。現在需要一種技術，把大資料開發中一些通用的，重複使用的基礎程式碼、演算法封裝為類庫，降低大資料的學習門檻，降低開發難度，提高大資料專案的開發效率。

大資料在工作中的應用有三種：與業務相關，比如使用者畫像、風險控制等；

與決策相關，資料科學的領域，瞭解統計學、演算法，這是資料科學家的範疇；與工程相關，如何實施、如何實現、解決什麼業務問題，這是資料工程師的工作。

資料來源的特點決定資料採集與資料儲存的技術選型，我根據資料來源的特點將其分為四大類：

第一類：從來源來看分為內部資料和外部資料；

第二類：從結構來看分為非結構化資料和結構化資料；

第三類：從可變性來看分為不可變可新增資料和可修改刪除資料；

第四類，從規模來看分為大量資料和小量資料。

大資料平臺第一個要素就是資料來源，我們要處理的資料來源往往是在業務系統上，資料分析的時候可能不會直接對業務的資料來源進行處理，而是先經過資料採集、資料儲存，之後才是資料分析和資料處理。

從整個大的生態圈可以看出，要完成資料工程需要大量的資源；資料量很大需要叢集；要控制和協調這些資源需要監控和協調分派；面對大規模的資料怎樣部署更方便更容易；還牽扯到日誌、安全、還可能要和雲端結合起來，這些都是大資料圈的邊緣，同樣都很重要。

大快大資料平臺（DKH）,是大快公司為了打通大資料生態系統與傳統非大資料公司之間的通道而設計的一站式搜尋引擎級，大資料通用計算平臺。傳統公司通過使用

DKH，有效的集成了整個HADOOP生態系統的全部元件，並深度優化，重新編譯為一個完整的更高效能的大資料通用計算平臺，實現了各部件的有機協調。因此DKH相比開源的大資料平臺，在計算效能上有了高達5倍（最大）的效能提升。

DKH，更是通過大快獨有的中介軟體技術，將複雜的大資料叢集配置簡化至三種節點（主節點、管理節點、計算節點），極大的簡化了叢集的管理運維，增強了叢集的高可用性、高可維護性、高穩定性。

DKH，雖然進行了高度的整合，但是仍然保持了開源系統的全部優點，並與開源系統100%相容，基於開源平臺開發的大資料應用，無需經過任何改動，即可在DKH上高效執行，並且效能會有最高5倍的提升。

DKH，更是集成了大快的大資料一體化開發框架（FreeRCH）, FreeRCH開發框架提供了大資料、搜尋、自然語言處理和人工智慧開發中常用的二十多個類，通過總計一百餘種方法，實現了10倍以上的開發效率的提升。

DKH的SQL版本，還提供了分散式MySQL的整合，傳統的資訊系統，可無縫的實現面向大資料和分散式的跨越。

DKH標準平臺技術構架圖