linux中安裝Sbt、編譯scala程式
sbt是一個程式碼編譯工具,是scala界的mvn,可以編譯scala,java等,需要java1.6以上。
sbt專案環境建立
sbt編譯需要固定的目錄格式,並且需要聯網,sbt會將依賴的jar包下載到使用者home的.ivy2下面,目錄結構如下:
- |--build.sbt
- |--lib
- |--project
- |--src
- | |--main
- | | |--scala
- | |--test
- | |--scala
- |--sbt
- |--target
- mkdir -p ~/spark_wordcount/lib
- mkdir -p ~/spark_wordcount/project
- mkdir -p ~/spark_wordcount/src/main/scala
- mkdir -p ~/spark_wordcount/src/test/scala
- mkdir -p ~/spark_wordcount/target
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp
{
def main(args: Array[String])
{
val logFile = "/usr/local/spark-1.5.2/README.md"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
9、在PROJECT_HOME/下編輯simple.sbt name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.2"
resolvers += "Akka Repository" at "http://repo.akka.io/releases/"
10、編譯打包 在PROJECT_HOME目錄下執行: sbt package 11、提交執行 SPARK_HOME/bin/spark-submit --class "SimpleApp" --master local[4] /PROJECT_HOME/target/scala-2.10/simple-project_2.10-1.0.jar
相關推薦
linux中安裝Sbt、編譯scala程式
sbt介紹sbt是一個程式碼編譯工具,是scala界的mvn,可以編譯scala,java等,需要java1.6以上。sbt專案環境建立sbt編譯需要固定的目錄格式,並且需要聯網,sbt會將依賴的jar包下載到使用者home的.ivy2下面,目錄結構如下: |--buil
linux中安裝QQ、微信(親測可行)
對於使用Linux系統的同志們來說,沒有qq真的是太不習慣了,今天來解決這個問題! 有兩種方法 # sudo chmod +x TIM-X86_64.AppImage # ./TIM-X86_64.AppImage 經測試可行,但是無法記住密碼,其他
Linux中 cmake-3.x 編譯安裝以及man page添加
pypi --help edit 互聯 gui 一個 源代碼 beta alt 首先回顧一下 cmake-2.x 的編譯安裝。 ================ cmake-2.x編譯安裝說明 ================編譯安裝的命令: ./bootstrap --
Linux中安裝、解除安裝FTP服務
FTP 是File Transfer Protocol(檔案傳輸協議)的英文簡稱,而中文簡稱為“文傳協議”。用於Internet上的控制檔案的雙向傳輸。同時,它也是一個應用程式(Application)。基於不同的作業系統有不同的FTP應用程式,而所有這些應用程式都遵守同一種協議以傳輸檔
在Linux 中安裝不了程式?教你一招解決!
CrossOver Linux 一款可以幫助我們在Linux作業系統中 執行Windows應用程式的軟體 不必購買 Windows 授權! 不必重啟系統! 不必使用虛擬機器! 如果安裝程式檔案在下載期間損壞 (可能由於網路錯誤,下載伺服器問題或計算機上的防病毒軟體而發生) 則Cros
如何在 Linux 中安裝 Rust 程式語言
Rust 通常被稱為 rust-lang。Rust 是一個由 Mozilla Research 贊助的通用的、多正規化、現代的、跨平臺和開源系統程式語言。 它旨在實現安全性、速度和併發性等目標。 Rust 在語法上與 C++ 相似,但它的設計者希望它在保持效能的同時提供更好的記憶體安全性。 Rust 目
linux中安裝wine執行windows程式
Wine的介紹 Wine是Wine Is Not an Emulator(Wine不是模擬器)的縮寫,其實是一個轉換層(或程式裝入器),能夠在Linux及與POSIX相容的其他類似作業系統上執行Windows應用程式。Wine在Linux上無法模擬Windows應用程式,而
在Linux中使用VS Code編譯除錯C++專案(gcc/g++、Makefile入門、vs code)
最近專案需求,需要在Linux下開發C++相關專案,經過一番摸索,簡單總結了一下如何通過VS Code進行編譯除錯的一些注意事項。 關於VS Code在Linux下的安裝這裡就不提了,不管是CentOS還是Ubuntu,如果不懂且搜Q足夠的情況下,你會解決的。 一. 前置知識——gcc/g++的編譯連結過程
Java學習筆記4. 在Linux Fedora 27中安裝Eclipse並編譯第一個源程式
1. 在Linux Fedora中安裝Eclipse比較簡單,直接在bash裡輸入:# sudo dnf install -y eclipse2. 然後等待完成,完成後輸入eclipse啟動程式,現在的版本是Oxyen23. 啟動程式後首先選擇工作目錄,這裡預設不動,單擊 L
linux中安裝和配置 jdk
jdk1 png images 下載 配置環境變量 ftp 當前 bsp 官網 01.去官網下載指定的jdk 02.使用xftp把下載好的文件 傳遞到 linux指定文件夾中03.進入指定的文件夾輸入tar -zxvf 文件名稱04.發現文件 05.進入文件c
在 Linux 中安裝最新的 Thunderbird 郵件客戶端
添加 說明 ppa 郵件客戶端 enum www font 訪問 targe 摘要: Thunderbird是一個開源自由的跨平臺的基於 web 的電子郵件、新聞和聊天客戶端應用程序,其旨在用於管理多個電子郵件帳戶和新聞源。 在 2016 年 12 月 28 日,Mozil
Linux中ctrl+z 、ctrl+c、 ctrl+d差別
font 命令 暫停 簡單的 div order 而是 color 發送 ctrl+c,ctrl+d,ctrl+z在linux程序中意義和差別 ctrl+c和ctrl+z都是中斷命令,可是他們的作用卻不一樣.
linux中安裝mysql
mage xftp sta 下載 解決 mysql 設置密碼 內容 刪除文件夾 01.搜索 mysql linux 02.把下載好的mysql 使用 xftp傳到 linux中 software 文件夾下 03.切換到指定的目錄 之後 拆包! 04
linux中安裝eclipse--CnetOS6.5
xftp 命令 ips cli bsp 官網 分享 http 文件夾 01.去官網下載指定的eclipse安裝包 02.使用xftp把下載的eclipse安裝包放入到linux系統的指定位置03.到指定的目錄下!使用命令解壓下載的文件tar -zxvf
Linux中安裝MongoDB出現的問題記錄
狀態 fail align linu operation 出現 ted 啟動 mongodb mongoDB安裝完成後,運行sudo service mongod start 查看程序狀態:ps ajx | grep mongod ,啟動失敗 查看失敗信息提示,終端命令
Redis在Linux中安裝使用
local /usr 保存 -- com errors red 出現 bsp 一、安裝$ wget http://download.redis.io/releases/redis-x.x.x.tar.gz $ tar xzf redis-x.x.x.tar.gz $ c
Linux中安裝jdk
linux .tar.gz 目錄 lib 立即生效 oracle官網 文件 scp path 1、登錄oracle官網,找對應的下載版本。 2、下載包。我這裏下載 jdk-8u101-linux-x64.tar.gz 。你也可以下載其他版本。 3、上傳jdk包
linux 中安裝mysql8.0
password mys 存儲 轉載 安裝 mysql gre brep 隨機 lan 轉載自:http://www.linuxidc.com/Linux/2016-11/137608.htm 可能有人會驚奇MySQL為何從5.x一下跳躍到了8.0。事實上,MySQL 5.
在virtualenv中安裝NumPy、 SciPy、 scikit-learn、 matplotlib
size http tps port pbo virt 安裝包 -i https 首先要進入對應的虛擬環境 然後安裝包 安裝numpy包 pip install numpy -i https://pypi.douban.com/simple 安裝scip
Linux中安裝JDK8
Linux Java1.首先去Oracle網站下載最新版本的JDK ,這裏貼出下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ,如下圖所示,一定要選擇“Accept License