spark sql scala 開發環境搭建 以及必要jar包匯入
1. scala 環境安裝及安裝 (官網下載)
2.檢驗 scala 是否安裝成功
3.安裝 scala 整合開發環境 IDEA (官網自行下載安裝)
4.在 IDEA 上 安裝 scala 外掛
5.在 IDEA 上建立 scala 工程
4.5步詳細過程 參見博文
IDEA 上 安裝 scala 外掛及建立 scala 工程
6.在scala工程 匯入必要 spark sql 必要的 jar 包
①.按照如上步驟 已建立 名為 sql_test 的scala工程,如下圖:
②.按照 以下順序 匯入 spark_sql 必要的jar 包(spark_core_2.11-2.10,spark_sql_2.11-2.10)
file –> project structure –>
務必保證 下圖 兩 spark sql 必須jar包 已匯入到工程當中
相關推薦
spark sql scala 開發環境搭建 以及必要jar包匯入
1. scala 環境安裝及安裝 (官網下載) 2.檢驗 scala 是否安裝成功 3.安裝 scala 整合開發環境 IDEA (官網自行下載安裝) 4.在 IDEA 上 安裝 scal
Spark SQL 本地開發環境搭建和案例分析
1_Spark APIs 的演變 Spark SQL,作為Apache Spark大資料框架的一部分,主要用於結構化資料處理和對Spark資料執行類SQL的查詢。通過Spark SQL,可以實現多種大針資料業務,比如對PG/TG級別的資料分析、分析預測並推薦、
學習大資料的第一步-搭建Scala開發環境,以及使用Intellij IDEA開發Scala程式
1、為什麼要學習Scala語言? 結合Spark處理大資料 這是Scala的一個主要應用,而且Spark也是那Scala寫的。 Java的指令碼語言版 可以直接寫Scala的指令碼,也可以在.sh直接使用Scala。 代替Java Sca
【scala程式設計】學習大資料的第一步-搭建Scala開發環境,以及使用Intellij IDEA開發Scala程式
1、為什麼要學習Scala語言?結合Spark處理大資料 這是Scala的一個主要應用,而且Spark也是那Scala寫的。Java的指令碼語言版 可以直接寫Scala的指令碼,也可以在.sh直接使用Scala。代替Java Scala的程式設計風格更簡潔,當然也很可能降低可
vue.js開發環境搭建以及創建一個vue實例
init 技術分享 自動 安裝失敗 das 命令行 環境搭建 項目 向上 Vue.js 是一套構建用戶界面的漸進式框架。Vue 只關註視圖層, 采用自底向上增量開發的設計。Vue 的目標是通過盡可能簡單的 API 實現響應的數據綁定和組合的視圖組件。 在使用 vue.js
Java操作HDFS開發環境搭建以及HDFS的讀寫流程
Hadoop CDH HDFS Java操作HDFS 大數據 Java操作HDFS開發環境搭建 在之前我們已經介紹了如何在Linux上進行HDFS偽分布式環境的搭建,也介紹了hdfs中一些常用的命令。但是要如何在代碼層面進行操作呢?這是本節將要介紹的內容: 1.首先使用IDEA創建一個ma
Linux系統下吉林快-三平臺開發環境搭建以及關於變量的基本操作
end 進行 相關操作 and 之前 超級用戶 oss 這樣的 常見 有問題聯系Q1446595067吉林快-三平臺開發, 是一種面向對象的解釋型計算機程序設計語言,由荷蘭人Guido van Rossum於1989年發明,第一個公開發行版發行於1991年。 Python是
Ubuntu 16.04下Spark安裝與開發環境搭建
https://blog.csdn.net/lengconglin/article/details/77847623 一、Spark執行環境 Spark是Scala寫的,執行在JVM上,所以執行環境Java7+,如果使用Python
ubuntu下zephyr開發環境搭建以及移植到iMX.7S的M4核心的過程
zephyr開發環境搭建 首先介紹如何在ubuntu16.04 Desktop環境下搭建Zephyr開發環境。構建Zephyr開發環境除了需要正確獲取Zephyr原始碼和Zephyr SDK,還需要正確安裝python3、cmake和git等工具。 更新軟體源 sudo apt-get
ubuntu 16.04 go語言開發環境搭建以及helloworld執行
下載安裝golang 烏班圖的話下載安裝golang的過程比較容易。使用以下命令: sudo apt-get install golang 執行以上命令需要輸入使用者密碼。然後等著安裝完就可以了。 可以使用以下命令來確定安裝成功。 go version 配置環境變
go 語言開發環境搭建以及Hello World
環境搭建 安裝包下載https://golang.org/dl/,如下圖,選擇你想要的版本。 預設目錄為 C:\Go,配置環境變數 path,新增 C:\Go\bin。 命令列輸入go versio
Intellij IDEA 14.1.4 Scala開發環境搭建
主要內容 Intellij IDEA開發環境簡介 Intellij IDEA Scala開發環境搭建 Intellij IDEA常見問題及解決方案 Intellij IDEA常用快捷鍵 1. Intellij IDEA開發環境簡介 Intell
Spark部署與開發環境搭建jjar執行
http://www.cnblogs.com/datahunter/p/4002331.html 1. 安裝JDK 解壓jdk安裝包到/usr/lib目錄: 1 sudo cp jdk-7u67-linux-x64.gz /usr/lib 2 cd /usr/l
Spark Idea Maven 開發環境搭建
一、安裝jdk jdk版本最好是1.7以上,設定好環境變數,安裝過程,略。 二、安裝Maven 我選擇的Maven版本是3.3.3,安裝過程,略。 編輯Maven安裝目錄conf/settings.xml檔案, ? 1 2 <!-- 修改Maven 庫存放目錄--> <loc
JRtplib開發筆記(四):JRtplib的VS開發環境搭建以及Demo
原博主部落格地址:https://blog.csdn.net/qq21497936 本文章部落格地址:https://blog.csdn.net/qq21497936/article/details/84957708 《JRtplib開發筆記(一):JRtplib簡介、JThread庫編譯》
OpenCV學習第一篇:開發環境搭建以及顯示電腦中的圖片
第一步:我們下載好了opencv安裝在檔案內,位置自選,我的是這樣的,這一步最簡單 第二步:我的電腦右鍵屬性-高階系統設定-環境變數-系統變數-Path 加上;D:\opencv\build\x64
Web前端開發環境搭建以及公司私服搭建
web前端開發基礎 http://www.cnblogs.com/samwu/p/5003809.html 1. 安裝nodejs 安裝完成後,進入dos環境輸入node –v 顯示版本號,即安裝成功。 2.
Angular入門到精通系列教程(4)- 開發環境搭建以及入手專案
- [1. 本地開發環境搭建](#1-本地開發環境搭建) - [1.1. node.js](#11-nodejs) - [1.2. Angular CLI](#12-angular-cli) - [2. 開發工具 - Visual Studio Code](#2-開發工具---visual-studi
IDEA搭建scala開發環境開發spark應用程序
編寫 運行程序 通過 https apach import input inf 搭建 一、idea社區版安裝scala插件 因為idea默認不支持scala開發環境,所以當需要使用idea搭建scala開發環境時,首先需要安裝scala插件,具體安裝辦法如下。 1、
Spark Scala IntelliJ IDEA開發環境搭建(入門)
一、下載安裝IntelliJ IDEA 二、安裝Scala外掛 三、建立Maven工程 填寫完GroupId,ArtifactId後填寫工程名稱,一直下一步,直到工程建立完成。 建立完成後目錄結構如下圖 在main目錄下面建立sca