1. 程式人生 > 其它 >從零開始學Spark(一)

從零開始學Spark(一)

點選關注強哥,還有100多G的面試資料等你來拿

哈嘍,大家好,我是強哥。

前情提要

沒錯,從今天開始,強哥將開一個Spark入門系列推文,都讓其他推文也還是會繼續發。

為什麼要學Spark,沒有別的,強哥就是覺得這框架牛逼而且熱門,現在學大資料,不學Spark你就等於孫悟空飛到如來佛祖的手上沒刻“到此一遊”並拉上一炮尿一樣少了點味道。所以,有興趣的,就跟著我一起學學,沒興趣的,以後看到我發類似推文標題的自動忽略即可。

邁出第一步

首先,要學Spark,你如果連它是個什麼都不懂這個說不過去吧。這裡你就需要先了解兩點:

  • 它是做大資料計算的
  • 它是用Scala開發的

為什麼要了解這兩點呢?第一點自然不用多說了。為什麼要懂第二點,因為要學Spark,你得先去學學Scala的基本語法吧,不然別人是Scala寫的,你Scala不會,到時候讓你看原始碼你咋辦。

學Scala也不算難,花一早上,隨便找個菜鳥教程學習一下就行了。然後就繼續回來和我一起學Spark。

當然了,學Scala的時候,本地安下試試。怎麼安?別到處百度,下載這個包那個包的,直接去官網看:

https://docs.scala-lang.org/getting-started/index.html

Mac的話直接一條命令搞定(不是Mac的話就按官網的說明來,我就不多介紹了,多看看官網沒壞處):

$ brew install coursier/formulas/coursier && cs setup

coursier會判斷我們機子的環境是否安了Java、Scala,沒有的話就會幫我們安上(對了,中間可能需要訪問到GitHub下東西,最近GitHub被牆的厲害,可能要科學sw,花幾塊錢吧,別特麼匯出找免費的浪費時間了。不懂可以公眾號後臺私聊我)。

按完後,終端開啟,輸入命令

scala

看看是不是成功安上了,如果找不到這個命令,恭喜你,環境變數沒配上,怎麼辦?輸入下面命令

cs install scala3

這裡正常來說之前的第一條命令其實已經安上Scala了,這裡這麼輸入,只是為了它給我們提示要怎麼配環境變數。輸入命令後,結果如下:

https://repo1.maven.org/maven2/io/get-coursier/apps/maven-metadata.xml
  No new update since 2022-03-31 00:39:24
https://repo1.maven.org/maven2/org/scala-lang/scala3-compiler_3/maven-metadata.…
  No new update since 2022-04-13 01:10:41
Wrote scala3
Warning: /Users/xxx/Library/Application Support/Coursier/bin is not in your PATH
To fix that, add the following line to ~/.zshrc

看的懂英文的話,直接根據Warning的提示,把環境變數配置到~/.zshrc下面就可以了。不要忘了讓環境變數生效:

source .zshrc

這樣,再輸入scala就正常了:

安完然後就可以滾去學Scala語法了,不需要太深入,基本的語法能看出和Java大概有什麼區別就行。

所以今天也就這樣了。下篇推文再見,當然,如果想後面一邊學Spark一邊學Scala也不是不可以,只是第一步還是希望大家邁的穩一點。

點選關注強哥,還有100多G的面試資料等你來拿