1. 程式人生 > >推薦大資料分析的八大工具

推薦大資料分析的八大工具

去年,IBM宣佈以17億美元收購資料分析公司Netezza;EMC繼收購資料倉庫軟體廠商Greenplum後再次收購叢集NAS廠商Isilon;Teradata收購了Aster Data 公司;隨後,惠普收購實時分析平臺Vertica等,這些收購事件指向的是同一個目標市場——大資料。是的,大資料時代已經來臨,大家都在摩拳擦掌,搶佔市場先機。

而在這裡面,最耀眼的明星是hadoop,Hadoop已被公認為是新一代的大資料處理平臺,EMC、IBM、Informatica、Microsoft以及Oracle都紛紛投入了Hadoop的懷抱。對於大資料來說,最重要的還是對於資料的分析,從裡面尋找有價值的資料幫助企業作出更好的商業決策。下面,我們就來看以下八大關於大資料分析的利器。

EMC—Greenplum:迎戰大資料
EMC Greenplum統一分析平臺(UAP)
Greenplum在2010年被EMC收購了其EMC Greenplum統一分析平臺(UAP)是一款單一軟體平臺,資料團隊和分析團隊可以在該平臺上無縫地共享資訊、協作分析,沒必要在不同的孤島上工作,或者在不同的孤島之間轉移資料。正因為如此,UAP包括ECM Greenplum關係資料庫、EMC Greenplum HD Hadoop發行版和EMC Greenplum Chorus。
【討論】

EMC為大資料開發的硬體是模組化的EMC資料計算裝置(DCA),它能夠在一個裝置裡面執行並擴充套件Greenplum關係資料庫和Greenplum HD節點。DCA提供了一個共享的指揮中心(Command Center)介面,讓管理員可以監控、管理和配置Greenplum資料庫和Hadoop系統性能及容量。隨著Hadoop平臺日趨成熟,預計分析功能會急劇增加。【詳細】





IBM打組合拳 提供BigInsights和BigCloud
IBM發新產品應對大資料
幾年前,IBM開始在其實驗室嘗試使用Hadoop,但是它在去年將相關產品和服務納入到商業版IBM在去年5月推出了InfoSphere BigI雲版本的 InfoSphere BigInsights使組織內的任何使用者都可以做大資料分析。雲上的BigInsights軟體可以分析資料庫裡的結構化資料和非結構化資料,使決策者能夠迅速將洞察轉化為行動。

 IBM隨後又在10月通過其智慧雲企業(SmartCloud Enterprise)基礎架構,將BigInsights和BigSheets作為一項服務來提供。這項服務分基礎版和企業版;一大賣點就是客戶不必購買支援性硬體,也不需要IT專門知識,就可以學習和試用大資料處理和分析功能。據IBM聲稱,客戶用不了30分鐘就能搭建起Hadoop叢集,並將資料轉移到叢集裡面,資料處理費用是每個叢集每小時60美分起價。【詳細】





Informatica 9.1:將大資料的挑戰轉化為大機遇
Informatica提供首款Hadoop編譯器HParser
Informatica公司在去年10月則更深入一步,當時它推出了HParser,這是一種針對Hadoop而優化的資料轉換環境。據Informatica聲稱,軟體支援靈活高效地處理Hadoop裡面的任何檔案格式,為Hadoop開發人員提供了即開即用的解析功能,以便處理複雜而多樣的資料來源,包括日誌、文件、二進位制資料或層次式資料,以及眾多行業標準格式(如銀行業的NACHA、支付業的SWIFT、金融資料業的FIX和保險業的ACORD)。正如資料庫內處理技術加快了各種分析方法,Informatica同樣將解析程式碼新增到Hadoop裡面,以便充分利用所有這些處理功能,不久會新增其他的資料處理程式碼。

Informatica HParser是Informatica B2B Data Exchange家族產品及Informatica平臺的最新補充,旨在滿足從海量無結構資料中提取商業價值的日益增長的需求。去年, Informatica成功地推出了創新的Informatica 9.1 for Big Data,是全球第一個專門為大資料而構建的統一資料整合平臺。【詳細】




惠普——Vertica資料分析平臺
惠普釋出Vertica 5.0 大資料分析領域站穩腳跟
被惠普收購的Vertica,是能提供高效資料儲存和快速查詢的列儲存資料庫實時分析平臺。該資料庫還支援大規模並行處理(MPP)。在收購之後,惠普隨即推出了基於x86硬體的HP Vertica。通過MPP的擴充套件性可以讓Vertica為高階數字營銷、電子商務客戶(比如AOL、Twitter、 Groupon)分析處理的資料達到PB級。惠普展示了一款Vertica裝置——Vertica Analytics Appliance,和小冰箱差不多大小。它是惠普融合基礎架構中的一款全整合技術棧。通過這款新裝置“惠普可以真正開啟這個市場,尤其是將分析作為一項服務的市場”。

惠普Vertica實時分析平臺 其實,早在惠普收購之前,Vertica就推出有包括記憶體、快閃記憶體快速分析等一系列創新產品。它是首個新增Hadoop連結支援客戶管理關係型資料的產品之一,也是首個基於雲部署風險的產品平臺之一。目前,Vertica支援惠普的雲服務自動化解決方案。【詳細】





甲骨文大資料機——Oracle Big Data Appliance
詳解:甲骨文大資料機
甲骨文的Big Data Appliance整合系統包括Cloudera的Hadoop系統管理軟體和支援服務Apache Hadoop 和Cloudera Manager。甲骨文視Big Data Appliance為包括Exadata、 Exalogic和 Exalytics In-Memory Machine的“建造系統”。Oracle大資料機(Oracle Big Data Appliance),是一個軟、硬體整合系統,在系統中融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R。該大資料機採用Oracle Linux作業系統,並配備Oracle NoSQL資料庫社群版本和Oracle HotSpot Java虛擬機器。Big Data Appliance為全架構產品,每個架構864GB儲存,216個CPU核心,648TBRAW儲存,每秒40GB的InifiniBand連線。Big Data Appliance售價45萬美元,每年硬軟體支援費用為12%。

甲骨文Big Data Appliance與EMC Data Computing Appliance匹敵,IBM也曾推出資料分析軟體平臺InfoSphere BigInsights,微軟也宣佈在2012年釋出Hadoop架構的SQL Server 2012大型資料處理平臺。 【詳細】




微軟進入這個市場
微軟SQL Server新增PDW功能 引大資料處理能力
微軟進入這一市場實屬“姍姍來遲”,而且在一定程度上說,資料倉庫分析和記憶體分析計算市場落下了後腿。2011年初微軟釋出的SQL Server R2 Parallel Data Warehouse(PDW,並行資料倉庫),PDW使用了大規模並行處理來支援高擴充套件性,它可以幫助客戶擴充套件部署數百TB級別資料的分析解決方案。微軟目前已經開始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社群技術預覽版本的聯結器。該聯結器是雙向的,你可以在Hadoop和微軟資料庫伺服器之間向前或者向後遷移資料。

微軟在去年推出了基於Azure雲平臺的測試版Hadoop服務,今年它承諾會推出與Windows相容的基於Hadoop的大資料解決方案(Big Data Solution),這是微軟SQL Server 2012版本(首發日期還不知道)的一部分,現在也不清楚微軟是否會與其他硬體合作伙伴或者相關大資料裝置廠商合作。【詳細】




亞馬遜對於大資料的先見之明
亞馬遜將MapReduce作為一項服務
亞馬遜早在2009年就推出了亞馬遜彈性MapReduce(Amazon Elastic MapReduce),亞馬遜對Hadoop的需求和應用可謂瞭若指掌,無論是中小型企業還是大型組織。彈性MapReduce是一項能夠迅速擴充套件的Web服務,執行在亞馬遜彈性計算雲(Amazon EC2)和亞馬遜簡單儲存服務(Amazon S3)上。這可是貨真價實的雲:面對資料密集型任務,比如網際網路索引、資料探勘、日誌檔案分析、機器學習、金融分析、科學模擬和生物資訊學研究,使用者需要多大容量,立即就能配置到多大容量。

除了資料處理外,使用者還可以使用Karmasphere Analyst的基於服務的版本,Karmasphere Analyst是一種視覺化工作區,用於在亞馬遜彈性MapReduce上分析資料。使用者還可以提取結果檔案,以便在資料庫或者微軟Excel或Tableau等工具中使用。




Teradata跨入大規模分析領域
Teradata收購Aster Data 擴張大資料市場
Teradata是企業級資料倉庫(EDW)的領導者,在資料庫分析領域不斷推陳出新,但在結構化資料、半結構化資料和大部分非結構化資料領域幾乎沒有很大成果。這也就是為什麼該公司要收購Aster Data——一家提供SQL-MapReduce框架的公司。Teradata日前宣佈了一項Aster Data MapReduce產品的計劃,它建立在以往產品同樣的硬體平臺之上,而且在Teradata和Aster Data之間新增了兩種整合方法。

Aster Data 是高階分析和管理各種非結構化資料領域的市場領導者和開拓者。Aster Data為Teradata 帶來了大資料分析市場商,加之收購 Aprimo 所獲得的整合營銷管理 (Integrated Marketing Management)能力,以及不斷加大的核心資料倉庫業務投資力度,將為 Teradata 的未來發展注入強勁動能。【詳細】

相關推薦

推薦資料分析八大工具

去年,IBM宣佈以17億美元收購資料分析公司Netezza;EMC繼收購資料倉庫軟體廠商Greenplum後再次收購叢集NAS廠商Isilon;Teradata收購了Aster Data 公司;隨後,惠普收購實時分析平臺Vertica等,這些收購事件指向的是同一個目標市場—

R語言資料分析工具的安裝與應用

實驗名稱 R語言大資料分析工具的安裝與應用 專  業 軟體工程 姓    名      學  

資料分析工具都有哪些?

大資料分析的前瞻性使得很多公司以及企業都開始使用大資料分析對公司的決策做出幫助,而大資料分析是去分析海量的資料,所以就不得不借助一些工具去分析大資料,那麼大資料分析的工具都有哪些呢?大資料分析的工具有很多很多,一般來說,資料分析工作中都是有很多層次的,這些層次分別是資料儲存層、資料報表層、資料分析層、資料

資料領域的12工具,市面上主要的資料分析工具都在這了!

大資料工具讓企業能夠從資料倉庫獲得洞察力,從而在資料驅動的業務環境中提供重要的競爭優勢。 為了滿足旺盛需求,大資料工具在迅速遍地開花。在大資料這一概念和業務戰略出現以來的十年間,市面上出現了成千上萬執行各種任務和流程的工具,它們都承諾可為你節省時間和資金,發掘業務洞察力從而

資料分析處理必備工具

大資料技術,就是從各種型別的資料中快速獲得有價值資訊的技術。大資料領域已經湧現出了大量新的技術,它們成為大資料採集、儲存、處理和展現的有力武器。 一、大資料接入   1、大資料接入       已有資料接入、實時資料接入、檔案資料接入、訊息記錄資料接入、文字資料接

Python金融資料分析——第9章 數學工具 筆記

第9章 數學工具 9.1 逼近法 在給定區間內通過迴歸和差值求取該函式的近似值。 首先,我們生成該函式的圖形, 更好地觀察逼近法所實現的結果。我們感興趣的區間是[-2π,2π]。下圖顯示了該函式在通過linspace函式定義的固定區間上的影象。

資料分析常用的工具有哪些(二)

在上篇文章中,筆者為大家介紹了幾種常用的大資料使用工具,而除了那些之外,還有一些在大資料中經常會用到的工具。接下來,就讓筆者繼續為大家介紹一下吧。 第三類,資料探勘類。 1.RapidMiner 這款工具主要就是用來對資料進行預測和分析的,其視覺化的介面,讓使用者不必再自行

資料分析常用的工具有哪些(一)

眾所周知,現在大資料行業發展得十分火熱,而大資料也確實為我們的生活帶來了許多的便利。隨著大資料的不斷髮展,需求的不斷增多和提升,大資料的使用工具也變得更為重要,它們能讓大家節省更多的時間和金錢。 在大資料這一概念提出到現在的這十年間,市面上出現了各類的大資料使用工具,讓我們從中遴選

10款超好用的開源資料分析工具

現如今,整個網際網路已經進入大資料時代,“大資料”一詞的重點現也已經不僅在於資料規模的定義,它更代表著資訊科技發展進入了一個新的里程,代表著爆炸性的資料資訊給傳統的計算技術和資訊科技帶來的技術挑戰和困難,代表著大資料處理所需的新的技術和方法,也代表著大資料分析和應用所帶來的

BI軟體_資料視覺化工具_資料分析工具_資料整合軟體

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

Amazon EMR 資料處理_資料分析工具

Amazon EMR 提供的託管 Hadoop 框架可以讓您快速、輕鬆、經濟高效地在多個動態可擴充套件的 Amazon EC2 例項中處理大量資料。您還可以執行其他常用的分散式框架(例如 Amazon EMR 中的 Apache Spark、HBase、Presto 和 Flink),以及

AWS 零售雲資料分析服務_資料分析工具

AWS 為零售商提供一系列資料分析工具,它們能夠以較低的成本快速分析海量客戶、業務和交易資料。您可以快速擴充套件任何大資料應用程式,以將來自 POS 系統、補充與實現模型、忠誠度計劃和客戶資料庫的資料轉化為切實可行的業務和客戶見解,幫助推動您業務的發展。

案例分析|鏈家網資料平臺樞紐——工具

非常感謝分享,學習了。 文 | 呂毅,鏈家網平臺架構師   鏈家網於2015年成立大資料部門,開始構建基於Hadoop的技術體系,初期大資料部門以運營資料報表需求、公司核心指標需求為主。隨著2015年鏈家網發力線上業務,toB與toC業務齊頭並進,資料需求量激增的情況也

資料分析工具(下)

查詢引擎 一、Phoenix 簡介:這是一個Java中間層,可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫,程式碼位於GitHub上,並且提供了一個客戶端可嵌入的JDBC驅動。 Phoenix查詢引擎會將SQL查詢轉換為

系統架構設計/自動化運維/資料分析處理/持續整合/程式設計規範/常用工具/軟體工程

查了很多資料,按網上很多教程搭建最終都只能實現無金鑰驗證。按下面步驟安裝才真正實現金鑰驗證登陸。windows7, iphone,mac book環境:騰訊vps +centos7步驟1.  wget  https://raw.githubusercontent.com/hw

這大概是今年最值得推薦的“資料分析工具

前言 "資料視覺化工具,可愛者甚番。分析師獨愛R,自Python以來,世人盛愛matplotlib。餘獨愛BI之出分析而不拖沓,做視覺化還算酷炫......."。 BI是什麼? BI全稱商業智慧(Business Intelligence),在傳統企業中,它是一套完整的解決方案。將企業的資料有效整合,快速製作

企業資料化轉型,資料分析,業務中臺,不可缺少的資料視覺化工具

全球經濟發展進入了數字化轉型時期。每個企業都希望趕上這趟轉型的列車。為什麼大家都如此看重數字化轉型?因為這是一個生存問題,企業必須

令人驚歎的百度Echarts,資料分析的必備工具,文末有原始碼提供

學習目錄 1.視覺化面板介紹     1.1技術要點     1.2案例適配方案     1.3頁面主體佈局2.Echarts(重點)     2.1echarts介紹  &nbs

如何選擇適合的資料分析軟體

  KNIME.com、 Microsoft、 Oracle、 RapidMiner、SAP、 SAS 和 Teradata,其中有的廠商提供的工具不止一個。這些廠商分別代表著大資料分析市場的不同方面。我們將結合之前文章中提到的特點,對這些產品進行對比,看這些產品是如

資料分析學習之路

一、大資料分析的五個基本方面  二、如何選擇適合的資料分析工具 三、如何區分三個大資料熱門職業  四、從菜鳥成為資料科學家的 9步養成方案 五、從入門到精通——快速學會大資料分析   推薦下小編的大資料學習群;