分散式機器學習：如何快速從Python棧過渡到Scala棧
阿新 • • 發佈：2020-10-20
首先介紹下我的情況和需求，如果你跟我類似，那麼這篇文章將很有幫助；
我之前的技術棧主要是**Java**、**Python**，機器學習方面主要用到是**pandas**、**numpy**、**sklearn**、**scipy**、**matplotlib**等等，因為工作需要使用spark，所以理所應當的開始學習**pyspark**；
之後一方面團隊其他成員基本都是用scala，同時在Spark API更新上，pyspark也要慢於scala的，而且對於叢集維護的同事來說，也不想再維護一套python環境，基於此，開始將技術棧轉到**scala**+**spark**；
如果你的情況也大致如上，那麼這篇文章可以作為一個很實用的參考，快速的將一個之前用pyspark完成的專案轉移到scala上；
正文開始。。。。
## 專案介紹
基於300w使用者的上億出行資料的聚類分析專案，最早使用Python棧完成，主要是pandas+sklearn+seaborn等庫的使用，後需要使用spark叢集，因此轉移到pyspark；
現在的需求是功能等不動的前提下轉移到Scala下實現，也就是通過Scala+SparkAPI實現整個機器學習流程以及結果解釋分析；
根據需求分解任務如下：
1. 學習scala基本語法、資料結構、IO等；
2. 搭建Idea+scala+spark的本地開發環境；
3. 以上述兩點為基礎移植前Python專案；
## Scala基礎學習
Scala是一門多正規化語言，函數語言程式設計語言，這一點主要體現在於針對問題的處理方式上於面向物件的語言略有不同，函式式+惰性求值+多執行緒支援等方面的優勢使得它被Spark選擇為開發語言；
上述是一些**概念性**的東西，屬於熟悉了Scala之後需要去多多瞭解的，不過對於工作中現學的同學來說更重要的是如何快速上手，那就從最最**緊迫**的部分開始吧；
一般來說一門語言最快掌握的方法是**與其他語言對比**進行學習，因此下面每一部分都與java、python兩門最多人用的語言做對比者進行，指出一些明顯差異的點和類似的點；
參考連結：https://www.cnblogs.com/qingyunzong/p/8858234.html
### Hello World
Scala語言是運行於JVM的，沒錯，就是java虛擬機器，因此它的編譯、執行過程與java非常類似，或者說我們就認為是一樣也是可以的，java通過`javac`編譯得到位元組碼檔案，通過`java`執行，Scala則是通過`scalac`編譯，通過`scala`執行，而且由於二者底層是一致的，因此Scala中可以直接匯入java的庫來使用，這有助於利用java中很多久經考驗的第三方庫；
開發工具選擇Idea，Idea支援Scala外掛，下載後可以直接新建Scala專案，還是很方便的，Idea搭建Scala環境參考連結：https://www.cnblogs.com/skyell/p/9939535.html
Hello World:
```scala
object Demo {
def hello(): Unit = {
println("Hello Scala!!!")
}
def main(args: Array[String]): Unit = {
hello()
}
}
```
對比Java、Python等，看看它的特點：
1. 首先整體程式碼組成結構上與java一致，需要一個類為執行主體，main函式為入口；
2. 在方法定義上使用`def`關鍵字，同時是先指定入參，再指定出參，注意`Unit`表示函式沒有返回值；
3. 每行程式碼末尾的`;`可有可無，這與Python一致；
### 語言基礎
語言基礎主要由**基本資料型別**、**IF-ELSE**、**迴圈**、**函式**組成，這也是每個語言的基礎，基本上這部分統一了大部分程式碼都能看懂；
#### 基本資料型別
```scala
val byte:Byte = 127 // -128 ~ 127
val short:Short = 32767 // -32768 ~ 32767
val int:Int = 123456
val long:Long = 1234567890
val float:Float = 123.45f
val double:Double = 123.45d
val char:Char = 'a'
val string:String = "abc"
val bool:Boolean = true
val unit:Unit = () // unit一般用於函式不返回值時，也就是java的void
val nil:Null = null // 空值
// Nothing是所有其他類的子類 Any是所有其他類的超類 AnyRef是所有引用類的基類
var name = "helong"
name = "nemo" // var才能賦值，val賦值會報錯，可以不指定型別，會自動推斷
println(byte,short,int,long,float,double,char,string,bool,unit,nil,name)
```
資料型別上看Scala的特點有：
1. 與java類似支援的資料型別比較多，比如單、雙精度浮點型都支援，不像Python只有雙精度；
2. 區分`Char`和`String`，意味著單引號、雙引號不能隨便混用；
3. `Unit`型別用於函式沒有返回值時；
4. `Null`表示空值；
5. `val`定義的變數為常量，其值不能改變，而`var`定義的則是變數，值可以隨便改，這裡主要關注型別為集合時，可變與不可變如何理解，這點放到後面集合時再細說；
#### IF-ELSE
```scala
val x = 1
println(if(x>0) x else 0) // 條件表示式類似三元運算子
println(if(x>1) x) // 預設else就等價於else ()
println(if(x>1) x else if(x==1) "x:1" else ()) // 支援if、else if、else
// 塊表示式類似把條件表示式拉直
// 注意到當我們不指定型別時，就可以返回多種格式讓編譯器做執行時處理
val y = {
if(x==0)
"x=0"
else if(x==1)
x
else
0
}
println(y)
```
條件判斷語句上看差異：
1. 獨特的三目運算子格式：`if(條件) 滿足返回A else 不滿足返回B`；
2. Scala的三目運算子其實是條件表示式的一種特定格式；
3. 條件表示式的各個條件下返回值型別可以不一致；
4. 可以通過寫成塊狀來提高可讀性，外層用`{}`包住；
#### 迴圈
while:
````scala
// while迴圈
var n = 10
while(n>0) {
println(n)
n-=1
}
````
while迴圈看起來沒什麼特別的，實際使用也確實比較少。。。。
for:
```scala
println(1 to 10)
println(1 until 10)
for (i <- 1 to 10)
print(i+"\t")
println()
for (i <- 1 until 10)
print(i+"\t")
println()
// 遍歷陣列中的元素，類似java的增強for
// 可以看到陣列中元素可以不同型別
for (arr <- Array('n',1,3.45,true,"nemo"))
print(arr+"\t")
println()
// for迴圈高階技巧：單個for中有多個變數，每個生成器都帶過濾條件
// 效果就是巢狀for迴圈
for (i <- 1 to 10 if i%2==0; j <- Array("n","e","m","o") if j!="e")
print(i+":"+j+"\t")
println()
// for推導式，迴圈體以yield開始會構建一個集合返回
val vec = for (i <- 1 to 10) yield i*10
println(vec)
for (i <- vec)
print(i+"\t")
println()
```
for迴圈時Scala比較有特點的一部分：
1. 支援`n to m`和`n until m`兩種方式，區別是使用`until`時迴圈不包含m，算是很貼心的小改動，可讀性比java和python都強一些；
2. for迴圈支援生成器、集合、range等型別中遍歷，類似java的普通迴圈和增強for迴圈的結合，`for (item <- 1 to 10)`、`for (item <- Array('a','b','c'))`；
3. 高階for迴圈技巧：每層迴圈帶過濾條件，巢狀迴圈寫在一個for內；
4. Scala的for迴圈也支援類似python列表推導式的方法：`for (1 <- 1 to 10) yield i*10`；
#### 函式
準確的說，在Scala中**函式**和**方法**不完全等價，所謂的**方法**是類的一部分，而**函式**則是一個物件，可以賦值給一個變數，這裡就不糾結啦；
```scala
// 函式：一行函式，返回值型別可以不寫，此時自動推斷
def func(x:Int, y:Int): Int = x+y
println(func(2,3))
// 但是遞迴函式的返回值型別必須手動指定
def fib(f:Int): Int = if(f==0) 0 else if(f==1) 1 else if(f==2) 2 else fib(f-2)+fib(f-1)
println(fib(1),fib(2),fib(3),fib(4),fib(5))
// 在scala中，函式也是一種變數型別，因此也同樣可以賦值為某個常量或者當作另一個函式的引數
val f = (x:Int) =>