1. 程式人生 > >Apache Beam正式成為Apache的頂級專案

Apache Beam正式成為Apache的頂級專案

這裡寫圖片描述

目前Apache Beam的最新版本是0.4.0,可以在下載頁面進行下載。

Beam是一個開源的、為資料處理框架提供統一的程式設計模型的SDK,即Beam SDK。目前支援Java SDK,python SDK目前處於開發當中。其社群由Google主導開發。Google自從決定開源其SDK專案,就標誌著其在大資料處理領域要往開源這條路上發力。

Beam僅僅是一個SDK,是一個應用頂層的API,那麼它下層支援的資料處理框架(官方叫做Apache Beam Pipeline Runners)主要包括Apache Apex,Apache Flink,Apache Spark以及它自己的Google Cloud Dataflow。

關於Beam的具體介紹,可以檢視其官方文件

因為沒有實際用過Apache Beam,因此沒有太多的內容可說。只是覺得Flink在流計算的道路上,應該把它的價值淋漓盡致的體現出來,讓更多的公司有決心嘗試和使用Flink框架,這也許需要一段時間的積累以及類似阿里這樣的企業的推廣。

參考

相關推薦

Apache Beam正式成為Apache頂級專案

目前Apache Beam的最新版本是0.4.0,可以在下載頁面進行下載。 Beam是一個開源的、為資料處理框架提供統一的程式設計模型的SDK,即Beam SDK。目前支援Java SDK,python SDK目前處於開發當中。其社群由Google主導

Apache Beam系列】Apache Beam Pipeline設計

微信公眾號(SZBigdata-Club):後續部落格的文件都會轉到微信公眾號中。  1、公眾號會持續給大家推送技術文件、學習視訊、技術書籍、資料集等。  2、接受大家投稿支援。  3、對於各公司hr招聘的,可以私下聯絡我,把招聘資訊發給我我會在公眾號中進行推送。  技術

Apache 基金會正式宣佈 Griffin 畢業成為頂級專案

   Apache 軟體基金會12月12日正式宣佈 Apache Griffin 畢業成為 Apache 頂級專案。 Apache Griffin 是一個強大的開源大資料質量解決方案,適用於任意規模的分散式資料系統。它提供了一個統一的流程,可以從不同的角度來

官宣!ASF官方正式宣佈Apache Hudi成為頂級專案

馬薩諸塞州韋克菲爾德(Wakefield,MA)- 2020年6月 - Apache軟體基金會(ASF)、350多個開源專案和全職開發人員、管理人員和孵化器宣佈:Apache Hudi正式成為Apache頂級專案(TLP)。在投票表決Hudi畢業時,Hudi總共獲得了19票binding(其中包括**ASF聯

Apache 基金會宣佈 Apache Airflow 畢業成為頂級專案

   Apache 軟體基金會宣佈,Apache Airflow 已經成功地從孵化畢業,成為基金會的一個新的頂級專案。 Apache Airflow 是一個靈活、可擴充套件的工作流自動化和排程系統,可編集和管理數百 PB 的資料流。專案可輕鬆編排複雜的計算工作流,通過智慧排程、

Ambari成為Apache頂級專案

Hortonworks上週五宣佈,基於Web的開源Hadoop叢集管理工具Ambari正式從Apache孵化器畢業,成為頂級專案。 Apache Ambari能夠對Apache Hadoop叢集進行供應、管理和監控,已支援HDFS, MapReduce,

【Storm歷史篇】Storm是如何成為Apache頂級專案

Apache Storm是一個免費、開源的分散式實時計算系統,不久前剛剛升級為Apache頂級專案。近日,該專案建立者Nathan Marz撰文回顧了Storm的發展歷史以及相關的經驗教訓。他認為,任何專案要想取得成功必須具備如下兩個條件: 1、解決了某一類需求; 2、專案

Apache孵化器主席Justin Mclean:如何成為Apache頂級開源項目

挑戰 深入學習 image 實用 透明 擔心 討論 導師 list 摘要: 近日,Apache孵化器主席、Apache基金會成員、Dubbo & RocketMQ等開源項目的導師Justin Mclean來到阿裏巴巴西溪園區,與眾多開發者分享了如何打造一個Apach

Dubbo下一站:Apache頂級專案

導讀: 近日,在Apache Dubbo開發者沙龍杭州站的活動中,阿里巴巴中介軟體技術專家曹勝利(展圖)向開發者們分享了Dubbo2.7版本的規劃。 本文將為你探祕 Dubbo 2.7背後的思考和實現方式。 作者:(按姓氏拼音排序,排名不分先後) 曹勝利(展圖):A

Dubbo即將畢業,晉升為Apache頂級專案

2018年2月9日,Apache 基金會的郵件列表上發起了討論是否接納阿里的 Dubbo 專案進入 Apache 孵化器的投票。 2018年2月15日,郵件列表顯示,Dubbo 獲得了 14 張贊成票,在無棄權和反對票的情況下,正式通過投票,順利成為 Apache 基金會孵化專案。 近日,有

Apache頂級專案8-Geode原始碼深度分析

Apache頂級專案介紹之Geode。Apache頂級專案介紹之8,我們重新恢復Apache頂級專案系列,較之前介紹系列,我們本文直入程式碼分析,原因有二,Geode即上文我們分析的Gemfire的開源版本,其二被逼無奈,閱讀原始碼查詢問題。 1. Geode

Apache頂級專案介紹6 - Spark

火花四溢,熱情洋溢。極客朋友麼知道,我們翹首以盼的Spark來了。 提及Spark, 這幾年如日中天,談到大資料如果不提及Spark, Hadoop,就好比這年代帶耳機不是2B的,你都不好意思帶。Spark最初由加州大學伯克利分校(太屌的大學,出了多少名人,名作啊)

Apache基金會頂級專案(二)

OpenNLP:The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text. It supports the most common NLP task

Apache頂級專案介紹4 - Hadoop

大象起舞,天下太平,極客們應該知道我們的重量級人物Hadoop登場了。 提到Hadoop, 正所謂飲水思源,我們不得不提及一下Hadoop之父,其對技術界的影響,在近10年可謂重大, 他就是Doug Cutting, 其傳奇人生及其大作這裡不贅述了,大家可以Goo

Apache頂級專案介紹5 - Kylin

Apache頂級專案介紹5,我們迎來的中國自己的開源,來自本土eBay的頂級專案Kylin。神馬?沒聽過? 別急,放心,Apache的頂級專案各個都身負絕技。 有人問,為什麼突然介紹Kylin,呃,有小夥伴熱情的提及的Kylin,希望來一篇介紹,本人之前有關注瞭解

對於學習apache軟體基金會頂級專案原始碼的一點思路

ASF的開源專案,為軟體行業貢獻了太多好的產品和軟體思維。學習ASF的專案原始碼能很大的提升自身的能力。程式執行在伺服器上的流程;執行啟動指令碼(start.sh) -> 指向程式的主方法 -&

盤點 35 個 Apache 頂級專案,我拜服了…

## Apache 軟體基金會 Apache 軟體基金會,全稱:**Apache Software Foundation**,簡稱:**ASF**,成立於 1999 年 7 月,是目前世界上最大的最受歡迎的開源軟體基金會,也是一個專門為支援開源專案而生的非盈利性組織。 ![](https://img202

我給 Apache 頂級專案提了個 Bug

![](https://oscimg.oschina.net/oscnet/up-f55a6b89d9a92ef3122de2956c562f2f0c8.png) 這篇文章記錄了給 Apache 頂級專案 - 分庫分表中介軟體 ShardingSphere 提交 Bug 的歷程。 說實話,這是一次比較曲折

我給Apache頂級專案貢獻了點原始碼。

這是why技術的第 91 篇原創文章 這篇文章其實並沒有什麼技術性的分享,從我的角度而言,更多是記錄和思考。 把我對於原始碼和之前寫的部分文章反哺給我的一些東西,帶來的一點點思考分享給大家。 一行原始碼 我很長時間沒開啟我的 Outlook 郵箱了。 前兩天開啟的時候發現我之前給 Dubbo 提交的 pr

apache beam

mps ide src net systems ng- world har scene https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102 http://mp.weixin.qq.com/s