1. 程式人生 > >2017.10最新Spark、IDEA、Scala環境搭建

2017.10最新Spark、IDEA、Scala環境搭建

作者:[email protected]

2017版IDEA相對以前版本在細節上有比較大的變化,經過一些嘗試,我將使用過程中遇到的一些要點簡要記錄下來
這裡寫圖片描述

在這個版本的IDEA中,新建Scala專案的方式如下
1. 新建Project -> Scala -> IDEA (從字面上怎麼也看不出是新建Scala專案)
這裡寫圖片描述
2.由於Spark2.2並沒有提供一個獨立的可引用的jar包,因此我使用Spark官網推薦的Maven來引入專案
這裡寫圖片描述

右鍵點選專案,通過Add Framework Support可以新增Maven支援
這裡寫圖片描述

之後按照官網推薦的方式編寫pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.study.wordcount</groupId
>
<artifactId>WordCount3</artifactId> <version>1.0-SNAPSHOT</version> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version
>
2.2.0</version> </dependency> </dependencies> </project>

系統會自動引入非常多的關聯類庫
這裡寫圖片描述

提示:IDEA有個非常實用的功能,在右下角,可以配置Maven,並可下載jar包關聯的原始碼,非常實用
這裡寫圖片描述

這裡寫圖片描述
3.下圖所示具有特定顏色的目錄,是IDE可識別的目錄,在這裡右鍵可以新建Scala Class package等
這裡寫圖片描述

接下來就可以使用Scala編寫Spark程式了