安裝Scala

https://www.runoob.com/scala/scala-install.html

有個坑，scala這個語言的相容性極差。

一定要和對應的spark版本相容，不然就會報錯！

這裡我用的是2.12版本的scala

spark版本為最新的

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.10.4</version>
        </dependency>
 </dependencies>
 

新建專案

https://blog.csdn.net/u012834750/article/details/81014997

maven依賴如上，如果用windows而且不是HDFS環境就不要匯入下面這個

        <!--<dependency>-->
            <!--<groupId>org.apache.hadoop</groupId>-->
            <!--<artifactId>hadoop-client</artifactId>-->
            <!--<version>2.6.0</version>-->
        <!--</dependency>-->
 

這在spark的官網有寫

https://spark.apache.org/docs/latest/rdd-programming-guide.html

hadoop.ddl

寫完程式碼以後直接跑，會報錯

java.io.IOException: (null) entry in command string: null chmod 0644 C:\Users\admin\Desktop\大資料分析\ass1\result

解決方法：

下載hadoop.dll檔案，拷貝到c:\windows\system32目錄中即可
hadoop.dll可以在github上下載：https://github.com/4ttty/winutils

百度網盤
連結：https://pan.baidu.com/s/12-MMoz0LYSbEYl_GMiwb3A
提取碼：rkxq

demo

https://github.com/Cpaulyz/BigDataAnalysis