2. 程式人生 > >spark aggregateByKey使用java版

spark aggregateByKey使用java版

阿新 • • 發佈：2019-02-11

RDDaggregateByKey操作官方api：

aggregateByKey(U zeroValue, Function2<U,V,U> seqFunc, Function2<U,U,U> combFunc)

U zeroValue為定義初始資料；

Function2<U,V,U> seqFunc中第一個U是初始資料的U，v是傳入資料，第二個U是返回資料；

Function2<U,U,U> combFunc，第一個U是累計資料，第二個U是傳入資料，第三個U是返回資料。

（個人理解，不對請指正。）

同時計算sum和count的樣例程式碼如下：

JavaPairRDD<String, String> allMsg= 。。。

      JavaPairRDD<String,Tuple2<Double,Integer>> result = allMsg.aggregateByKey(new Tuple2<Double,Integer>(0.0d,0),new Function2<Tuple2<Double,Integer>, String, Tuple2<Double,Integer>>(){@Overridepublic Tuple2 call(Tuple2<Double,Integer> v1, String v2) {return new
 Tuple2<>(v1._1() + Double.parseDouble(v2) , v1._2() + 1);                }           }, new Function2<Tuple2<Double,Integer>, Tuple2<Double,Integer>, Tuple2<Double,Integer>>(){@Overridepublic Tuple2<Double,Integer> call(Tuple2<Double,Integer> v1, Tuple2<Double,Integer>
 v2) {return new Tuple2<>( v1._1() + v2._1() , v1._2() + v2._2());                }        });

相關推薦

在windows 7中安裝部署spark(python版)

一、搭建的環境 windows7 spark-2.3.2 python-3.6.5 Java8 二、安裝部署 1、安裝Java/Jdk 下載jdk-8u152-windows-x64.exe，根據安裝指南進行安裝，配置環境變數JAVA_HOME，在Path中新增%JAVA

Spark (Python版) 零基礎學習筆記（一）—— 快速入門

由於Scala才剛剛開始學習，還是對python更為熟悉，因此在這記錄一下自己的學習過程，主要內容來自於spark的官方幫助文件，這一節的地址為： 文章主要是翻譯了文件的內容，但也在裡邊加入了一些自己在實際操作中遇到的問題及解決的方案，和一些補充的小知識，一起學習。 環境

在windows中搭建spark單機版

雖然要學習spark，選擇linux的版本更合適，之前在臺式機上配置了centos的虛擬機器並安裝了hadoop和spark，可是無奈筆記本效能不行，如果安裝虛擬機器會很卡，所以只能在windows中安裝spark加以練習 1.1、jdk安裝 安裝Oracle下的jdk，

Spark Java版 windows本地開發環境

安裝IntelliJ IDEA 選擇Community版本安裝 安裝好後啟動,我這裡選擇UI主題 預設Plugins. 安裝scala外掛. 配置hadoop環境變

Spark (Python版) 零基礎學習筆記（五）—— Spark RDDs程式設計

RDD基礎概念 建立RDD 建立RDD的方法： 1.載入外部資料集 2.分佈一個物件的集合 前邊幾次的筆記已經提到過多次了，因此，這裡只列出幾個注意事項： 1.利用sc.parallelize建立RDD一般只適用於在測試的時候使用，因為這需要我們將整

Centos系統安裝spark單機版

1， 配置JAVA_HOME通過yum等方式，可以安裝最新的java版本（yum install java）。安裝完java後，我們需要配置JAVA_HOME，首先要確定jdk安裝的位置：[[email protected] marshall]# which jav

Spark (Python版) 零基礎學習筆記（四）—— Spark概覽

結合了《Learning Spark: Lightning-Fast Big Data Analysis》和官方2.02版本的Spark Document總結了關於Spark概念性的一些知識。幫助大家對Spark有一個總體上的認知 一、Spark的兩個核心概念

spark單機版計算測試

import math from pyspark import SparkConf,SparkContext #from pyspark.sql import SQlContext from pyspark.sql import SQLContext fr

Centos下Spark單機版（python）安裝配置

如果上面都成功了，那說明我們就基本安裝成功了，可以用scala或者python來開發相關程式了。但是如果我們希望能夠在一個很清新的IDE中開發程式怎麼辦？那麼這裡強烈推薦一款互動式的開發工具-jupyter notebook。接下來我們就來配置該工具，以保證能連線上sprak。

Spark (Python版) 零基礎學習筆記（二）—— Spark Transformations總結及舉例

1. map(func) 將func函式作用到資料集的每個元素，生成一個新的分散式的資料集並返回 >>> a = sc.parallelize(('a', 'b', 'c')) >>> a.map(lambda x:

spark HelloWorld程序（scala版）

special hide dst tproxy top targe 提取 main read 使用本地模式，不需要安裝spark，引入相關JAR包即可： <dependency> <groupId>or

【Spark MLlib速成寶典】模型篇04樸素貝葉斯【Naive Bayes】（Python版）

width pla evaluate 特征 mem order 一個數 ble same 目錄 　　樸素貝葉斯原理 　　樸素貝葉斯代碼(Spark Python) 樸素貝葉斯原理 　　詳見博文：http://www.cnblogs.com/itmor

【Spark MLlib速成寶典】模型篇05決策樹【Decision Tree】（Python版）

back filter oms sse mlu eval ffffff size red 目錄 　　決策樹原理 　　決策樹代碼(Spark Python) 決策樹原理 　　詳見博文：http://www.cnblogs.com/itmorn/p/79

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記三之銘文升級版

聚集 配置文件 ssi path fig rect 擴展 str 控制臺 銘文一級： Flume概述Flume is a distributed, reliable, and available service for efficiently collecting(收集),

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記五之銘文升級版

環境變量 local server 節點數 replicas conn 配置環境 park 所有 銘文一級： 單節點單broker的部署及使用 $KAFKA_HOME/config/server.propertiesbroker.id=0listenershost.name

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記九之銘文升級版

file sin ssi 右上角 result map tap 核心 內容 銘文一級： 核心概念：StreamingContext def this(sparkContext: SparkContext, batchDuration: Duration) = { th

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記十之銘文升級版

state 分鐘 mooc 系統數據 使用 連接 var style stream 銘文一級： 第八章：Spark Streaming進階與案例實戰 updateStateByKey算子需求：統計到目前為止累積出現的單詞的個數(需要保持住以前的狀態) java.lang.I

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記十五之銘文升級版

spa for 序列 html art mat div pre paths 銘文一級：[木有筆記] 銘文二級： 第12章 Spark Streaming項目實戰 行為日誌分析： 1.訪問量的統計 2.網站黏性 3.推薦 Python實時產生數據 訪問URL->IP

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記十六之銘文升級版

.so zook orm 3.1 date nta highlight org 結果 銘文一級： linux crontab 網站：http://tool.lu/crontab 每一分鐘執行一次的crontab表達式： */1 * * * * crontab -e */1

【慕課網實戰】Spark Streaming實時流處理項目實戰筆記十七之銘文升級版

eid 實時 root 現在 ava == oop urn 啟動 銘文一級： 功能1：今天到現在為止 實戰課程 的訪問量 yyyyMMdd courseid 使用數據庫來進行存儲我們的統計結果 Spark Streaming把統計結果寫入到數據庫裏面 可視化前端根據：yyy