1. 程式人生 > >編寫第一個Spark程式WordCount

編寫第一個Spark程式WordCount

這裡使用IDEA建立專案,其次,在setting-plugins中查詢並安裝外掛Scala

開始建立專案

這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

配置sbt

name := "spark01"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.0.2"
)

編寫程式碼ObWorCount

import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by
Y.S.K on 2017/8/30 in spark01. */ object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("wordcount") val sc = new SparkContext(conf) val input = sc.textFile("/home/briup/helloSpark.txt") val lines = input.flatMap(line => line.split(" ")) val count = lines.map(word => (word, 1
))
.reduceByKey { case (x, y) =>
x + y } val output = count.saveAsTextle("/home/briup/he lloSparkRes") } }

編譯

這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

相關推薦

編寫一個Spark程式WordCount

這裡使用IDEA建立專案,其次,在setting-plugins中查詢並安裝外掛Scala 開始建立專案 配置sbt name := "spark01" version := "1.0" scalaVersion := "2

Spark 執行一個Scala程式WordCount

安裝 首先去官網下載Spark。注意Spark和Hadoop之間版本對應關係,我自己裝的Hadoop 2.7.5版本,按照下面方式下載即可。 下載完成後,解壓安裝包至路徑/usr/local tar -zxf ./spark-2.3.0-bin-had

執行一個Spark程式

我們這裡使用官方的Spark自帶的一個程式來體驗一下Spark的執行 Spark自帶的例子是利用蒙特·卡羅演算法求PI 在Spark目錄下執行下面命令 bin/spark-submit \ >--master spark://cdh0:7077 \ >--class org.

1、編寫一個java程式--Hello—World

1、下載JDK8.0檔案 下載網址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 關於系統配置環境變數,問度娘吧! 2、下載編譯器 編譯器有很多種,包括:Editplus、Ult

spark本地環境的搭建到執行一個spark程式

搭建spark本地環境 搭建Java環境 (1)到官網下載JDK 官網連結:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (2)解壓縮到指定的目錄 >sudo t

idea開發一個spark程式---統計文字單詞數

在建立專案之前確保自己本地安裝好了scala環境和java環境,因為spark是scala編寫的,scala和java一樣都是需要編譯成位元組碼,然後在JVM裡面執行。我本地的scala版本是2.11.0版本,hadoop是2.7.6版本 第一步:開啟idea,然後建立一個

C++編寫一個CGI程式

環境: wamp3.1.0 64bit VS2015 cmake 3.12.0 一、CGI簡介 1、在進行互動式的WWW訪問時,伺服器上需要有相應的程式對輸入的資訊進行處理,這些程式就是CGI程式。 2、cgi-bin目錄:用於存放CGI程式的特殊

C#程式設計基礎第一課:C#和.NET框架、VS軟體基本使用、編寫一個C#程式

1、.NET平臺和C#語言 .NET 是微軟公司推出的平臺開發環境 C#(C Sharp)是一種強大的、面向物件的程式開發語言,是專為 .NET 開發而設計出的語言。 2002年微軟釋出了.NET框架的第一個版本,是一種比MFC和COM程式設計技術更一致面向物件的環境。

Java菜鳥學習編寫一個java程式HelloWorld

不管學哪門語言,第一個HelloWorld程式成功執行起來的時候,代表著你的學習已經跨進了一小步。做這個java實驗之前,讀者最少要在自己的電腦上安裝好JDK(包括配置好環境變數)。 第一:編寫並儲存程式碼。開啟記事本編寫如圖1所示程式碼,圖1程式碼為(注意輸入程式碼時輸入法一定切換到英

go語言基礎知識-環境搭建以及編寫一個demo程式

Go語言是谷歌2009年推出的一種全新的程式語言,可以在不損失應用程式效能的情況下降低程式碼的複雜性。Google對Go寄予厚望。其設計是讓軟體充分發揮多核心處理器同步多工的優點,並可解決面向物件程式設計的麻煩。它具有現代的程式語言特色,如垃圾回收,幫助程式設計師處理瑣碎但重

EJB環境配置(jboss-as-7.1.1+jdk1.8+eclipse)並編寫一個EJB程式

文章目錄 一、環境配置 寫在前面 下載jboss-as-7.1.1.final並配置環境變數 如果你是jdk1.8,那麼安裝jdk1.7並修改standlone.bat 在eclipse中安裝JBoss Tools開發外掛

IDEA+Maven開發一個Hadoop程式WordCount

IDEA+Maven開發第一個Hadoop程式WordCount   1. 新建一個maven專案選擇JDK版本。   2.設定GroupId和ArtifactId       3.設定專案名稱 &

Java 使用記事本編寫一個java程式

一、新建記事本 輸入如下 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World");

Scala基礎入門:使用Eclipse IDE編寫一個Scala程式

Scala 開發環境 Scala 是 類Java 語言, 可以在命令列執行程式碼; C:\Users\Administrator>scala -version Scala code runner version 2.12.3 -- Copyright 2002-2017, LA

IDEA 中開發一個Spark 程式

1. 建立一個Maven 專案 2. 新增SCALA依賴庫 ****注意scala 的版本 相對於spark2.4 ,scala 的版本必須是2.11.x 修改POM.xml 檔案 加入 hadoop-client 和spark-core_2.11 的庫依賴

12、ffmpeg筆記-使用Android Studio編寫一個ffmpeg程式

所需材料 1、android studio 2.3 2、android-ndk-r13 3、ffmpeg編譯結果(include,libs)     本文例項中需要使用到上次編譯的ffmpeg標頭檔案和靜態庫,如果沒有的話,請參看上一篇文章。     本文使用Android

簡單使用Eclipse編寫一個Java程式

eclipse是很常用的java ide,至少我們學校教java都是用這個。下載就不多說了,同學們直接從老師那裡下載eclipse.rar,隨便解壓就可以使用了,不過為了方便,還是建議大家將eclipse.exe建立一個快捷方式放到桌面上。 第一次開啟eclipse它會讓你

第一課,編寫一個OpenGL程式

說起程式設計作圖,大概還有很多人想起TC的#include <graphics.h>吧?但是各位是否想過,那些畫面絢麗的PC遊戲是如何編寫出來的?就靠TC那可憐的640*480解析度、16色來做嗎?顯然是不行的。本帖的目的是讓大家放棄TC的老舊圖形介面,讓大家接

一個Hadoop程式——WordCount

概述:   通過前面兩篇部落格的學習,我們學習了Hadoop的偽分散式部署和完全分散式部署。這一篇文章就來介紹一下Hadoop的第一個程式WordCount。以及在執行程式碼的過程中遇到的問題。 筆

從零開始學MFC(2)——編寫一個MFC程式

 MFC是把Windows SDK API封裝成幾百個類,提高了開發效率。  程式碼編寫步驟: 1、和之前建立Win32專案的流程一樣,不過要把main.c換成main.cpp. 2、包含標頭檔案afxwin.h 3、應用程式類,繼承CWinApp類 4、重寫CWinApp類