1. 程式人生 > >hbase-來源分析

hbase-來源分析

隨著網際網路的發展,網路服務領域得到了高速發展。同時資料資產也是爆炸性的增長,這是資料的型別主要是非結構化和半結構化為主,在大資料時代如何低成本高效率的處理這些PB甚至EB量級的資料就成為了一個很大的挑戰
於是,Google公司就提出了MapReduce程式設計框架、GFS檔案系統和BigTable儲存系統作為大資料的處理技術
源於這三項技術的Apache Hadoop開源專案則成為了大資料事實標準,迅速推廣和發展
面對不同的需求,基於Hadoop的資料處理工具也應運而生
Hive,pig等就能很好的解決大規模離線批處理資料問題,但是Hadoop的HDFS 適合儲存非結構資料,且受限於MapReduce的高延遲資料處理機制,Hadoop就不能滿足實時處理應用的需求
傳統的資訊系統和web應用一般選擇LAMP的開源架構構建,系統中這種關係型資料庫(儲存結構化和半結構化資料)無法應對資料量急劇增長的系統擴充套件和效能問題,產生了許多針對這兩個問題的新系統,文件儲存系統、類BigTable系統等。他們統稱NoSQL

HBase這事其中成熟系統之一,它的成功源於以下
思想來源於BigTable(權威)
Apache社群的支援
國內外大公司的實踐,提供了穩定性和實用性
作為SQL的補充(擴充套件和效能問題,儲存資料型別),實用於線上式資料處理系統中