1. 程式人生 > >常用大資料工具彙總

常用大資料工具彙總

常用的大資料工具按主題分類為:

  • 語言
  • web框架
  • 應用伺服器
  • SQL資料訪問工具
  • SQL資料庫
  • 大資料
  • 構建工具
  • 雲提供商

現在讓我們來討論一下儲存/處理資料用的不同的非SQL工具——NoSQL資料庫,記憶體快取,全文搜尋引擎,實時流,圖形資料庫,等等。

MongoDB—— 一種流行的,跨平臺的面向文件的資料庫。

Elasticsearch——專為雲而構建的分散式REST風格搜尋引擎。

Cassandra——一個開源的分散式資料庫管理系統,最初由Facebook開發,被設計用來處理橫跨多個商用伺服器的大量資料,提供了無單點故障的高度可用性。

Redis—— 一個開源的(BSD許可),記憶體資料結構儲存,作為資料庫、快取和訊息代理使用。


Hazelcast——基於Java的開源記憶體資料網格。

EHCache——一種被廣泛使用的開源Java分散式快取,用於通用快取、Java EE和輕量級容器。Ehcache相關介紹

Hadoop——用Java編寫的一個開源軟體框架,用於分散式儲存和對在計算機叢集上的超大型資料集的分散式處理。

Solr——一個開源的企業搜尋平臺,用Java編寫的,來自於Apache 專案。

Spark——Apache Software Foundation中最活躍的專案,一個開源的叢集計算框架。

Memcached—— 一個通用的分散式記憶體快取系統。

Apache Hive——提供了Hadoop之上類似於SQL的層。

Akka

—— 一個工具包和執行時,用於在JVM上構建高度並行的、分散式的、有彈性的訊息驅動的應用程式。

HBase—— 一個開源的,非關係型的,分散式資料庫,在谷歌的BigTable後建模,用Java編寫,並執行在HDFS上。

Neo4j——用Java實現的開源圖形資料庫。

CouchBase——一個開源的、面向文件的分散式NoSQL資料庫,特別為了互動式應用而優化。

CouchDB——使用JSON來儲存資料的面向文件的開源NoSQL資料庫。

Oracle Coherence—— 一個記憶體的資料網格解決方案,通過提供快速訪問常用資料的渠道,使得企業可預測地擴充套件關鍵任務應用程式。

Titan—— 一個可擴充套件的圖形資料庫,優化的目的在於儲存和查詢包含數千億頂點和邊的圖形,分佈在多機叢集。


Amazon DynamoDB——一個快速、靈活、完全管理的NoSQL資料庫服務,用於在任何規模需要一致的、個位數毫秒延遲的所有應用程式。

Datomic—— 一個用Clojure寫的完全事務式的,支援雲的,分散式資料庫。

原文:http://developer.51cto.com/art/201601/504910.htm