編寫第一個Spark程式WordCount
這裡使用IDEA建立專案,其次,在setting-plugins中查詢並安裝外掛Scala
開始建立專案
配置sbt
name := "spark01"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.2"
)
編寫程式碼ObWorCount
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by Y.S.K on 2017/8/30 in spark01.
*/
object WordCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("wordcount")
val sc = new SparkContext(conf)
val input = sc.textFile("/home/briup/helloSpark.txt")
val lines = input.flatMap(line => line.split(" "))
val count = lines.map(word => (word, 1 )).reduceByKey { case (x, y) => x + y }
val output = count.saveAsTextle("/home/briup/he
lloSparkRes")
}
}
編譯
相關推薦
編寫第一個Spark程式WordCount
這裡使用IDEA建立專案,其次,在setting-plugins中查詢並安裝外掛Scala 開始建立專案 配置sbt name := "spark01" version := "1.0" scalaVersion := "2
Spark 執行第一個Scala程式WordCount
安裝 首先去官網下載Spark。注意Spark和Hadoop之間版本對應關係,我自己裝的Hadoop 2.7.5版本,按照下面方式下載即可。 下載完成後,解壓安裝包至路徑/usr/local tar -zxf ./spark-2.3.0-bin-had
執行第一個Spark程式
我們這裡使用官方的Spark自帶的一個程式來體驗一下Spark的執行 Spark自帶的例子是利用蒙特·卡羅演算法求PI 在Spark目錄下執行下面命令 bin/spark-submit \ >--master spark://cdh0:7077 \ >--class org.
1、編寫第一個java程式--Hello—World
1、下載JDK8.0檔案 下載網址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 關於系統配置環境變數,問度娘吧! 2、下載編譯器 編譯器有很多種,包括:Editplus、Ult
spark本地環境的搭建到執行第一個spark程式
搭建spark本地環境 搭建Java環境 (1)到官網下載JDK 官網連結:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (2)解壓縮到指定的目錄 >sudo t
idea開發第一個spark程式---統計文字單詞數
在建立專案之前確保自己本地安裝好了scala環境和java環境,因為spark是scala編寫的,scala和java一樣都是需要編譯成位元組碼,然後在JVM裡面執行。我本地的scala版本是2.11.0版本,hadoop是2.7.6版本 第一步:開啟idea,然後建立一個
C++編寫第一個CGI程式
環境: wamp3.1.0 64bit VS2015 cmake 3.12.0 一、CGI簡介 1、在進行互動式的WWW訪問時,伺服器上需要有相應的程式對輸入的資訊進行處理,這些程式就是CGI程式。 2、cgi-bin目錄:用於存放CGI程式的特殊
C#程式設計基礎第一課:C#和.NET框架、VS軟體基本使用、編寫第一個C#程式
1、.NET平臺和C#語言 .NET 是微軟公司推出的平臺開發環境 C#(C Sharp)是一種強大的、面向物件的程式開發語言,是專為 .NET 開發而設計出的語言。 2002年微軟釋出了.NET框架的第一個版本,是一種比MFC和COM程式設計技術更一致面向物件的環境。
Java菜鳥學習編寫第一個java程式HelloWorld
不管學哪門語言,第一個HelloWorld程式成功執行起來的時候,代表著你的學習已經跨進了一小步。做這個java實驗之前,讀者最少要在自己的電腦上安裝好JDK(包括配置好環境變數)。 第一:編寫並儲存程式碼。開啟記事本編寫如圖1所示程式碼,圖1程式碼為(注意輸入程式碼時輸入法一定切換到英
go語言基礎知識-環境搭建以及編寫第一個demo程式
Go語言是谷歌2009年推出的一種全新的程式語言,可以在不損失應用程式效能的情況下降低程式碼的複雜性。Google對Go寄予厚望。其設計是讓軟體充分發揮多核心處理器同步多工的優點,並可解決面向物件程式設計的麻煩。它具有現代的程式語言特色,如垃圾回收,幫助程式設計師處理瑣碎但重
EJB環境配置(jboss-as-7.1.1+jdk1.8+eclipse)並編寫第一個EJB程式
文章目錄 一、環境配置 寫在前面 下載jboss-as-7.1.1.final並配置環境變數 如果你是jdk1.8,那麼安裝jdk1.7並修改standlone.bat 在eclipse中安裝JBoss Tools開發外掛
IDEA+Maven開發第一個Hadoop程式WordCount
IDEA+Maven開發第一個Hadoop程式WordCount 1. 新建一個maven專案選擇JDK版本。 2.設定GroupId和ArtifactId 3.設定專案名稱 &
Java 使用記事本編寫第一個java程式
一、新建記事本 輸入如下 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World");
Scala基礎入門:使用Eclipse IDE編寫第一個Scala程式
Scala 開發環境 Scala 是 類Java 語言, 可以在命令列執行程式碼; C:\Users\Administrator>scala -version Scala code runner version 2.12.3 -- Copyright 2002-2017, LA
IDEA 中開發第一個Spark 程式
1. 建立一個Maven 專案 2. 新增SCALA依賴庫 ****注意scala 的版本 相對於spark2.4 ,scala 的版本必須是2.11.x 修改POM.xml 檔案 加入 hadoop-client 和spark-core_2.11 的庫依賴
12、ffmpeg筆記-使用Android Studio編寫第一個ffmpeg程式
所需材料 1、android studio 2.3 2、android-ndk-r13 3、ffmpeg編譯結果(include,libs) 本文例項中需要使用到上次編譯的ffmpeg標頭檔案和靜態庫,如果沒有的話,請參看上一篇文章。 本文使用Android
簡單使用Eclipse編寫第一個Java程式
eclipse是很常用的java ide,至少我們學校教java都是用這個。下載就不多說了,同學們直接從老師那裡下載eclipse.rar,隨便解壓就可以使用了,不過為了方便,還是建議大家將eclipse.exe建立一個快捷方式放到桌面上。 第一次開啟eclipse它會讓你
第一課,編寫第一個OpenGL程式
說起程式設計作圖,大概還有很多人想起TC的#include <graphics.h>吧?但是各位是否想過,那些畫面絢麗的PC遊戲是如何編寫出來的?就靠TC那可憐的640*480解析度、16色來做嗎?顯然是不行的。本帖的目的是讓大家放棄TC的老舊圖形介面,讓大家接
第一個Hadoop程式——WordCount
概述: 通過前面兩篇部落格的學習,我們學習了Hadoop的偽分散式部署和完全分散式部署。這一篇文章就來介紹一下Hadoop的第一個程式WordCount。以及在執行程式碼的過程中遇到的問題。 筆
從零開始學MFC(2)——編寫第一個MFC程式
MFC是把Windows SDK API封裝成幾百個類,提高了開發效率。 程式碼編寫步驟: 1、和之前建立Win32專案的流程一樣,不過要把main.c換成main.cpp. 2、包含標頭檔案afxwin.h 3、應用程式類,繼承CWinApp類 4、重寫CWinApp類