1. 程式人生 > >免安裝免配置 還免費的Spark 叢集 --Databrickes Spark Clould

免安裝免配置 還免費的Spark 叢集 --Databrickes Spark Clould

摘要:本文帶你暢遊Databrickes Spark Clould雲服務。小白迅速上手大資料Spark開發環境,從此告別叢集Bug的煩惱,徹底解放物理機負擔讓你隨時隨地想RunRun��。

目錄:

  1. Databrickes是個啥?
  2. Databrickes註冊
  3. Databrickes快速入門
  4. 其他進階神操作

Databrickes是個啥?

YouTube簡介,自備雲梯
Databricks 屬於 Spark 的商業化公司,由美國伯克利大學 AMP 實驗室著名的 Spark 大資料處理系統多位創始人聯合創立。Databricks 致力於提供基於 Spark 的雲服務,可用於資料整合,資料管道等任務。
Databricks 公司的雲解決方案由三部分組成:Databricks 平臺、Spark 和 Databricks 工作區。該產品背後的理念是提供處理資料的單獨空間,不受託管環境和 Hadoop 叢集管理的影響,整個過程在雲中完成。該產品有幾個核心概念:由 Notebooks 提供一種與資料互動並構建圖形的方法,當用戶瞭解了顯示資料的方式時,就可以開始構建主控面板以監視某些型別的資料。最後,使用者可以通過該平臺的任務啟動器來規劃 Apache Spark 的執行時間。

說白了就是Databricks撈錢的,老是開源spark 也不收你錢,大家也要吃飯不是,乾脆搞個 spark on cloud,服務懶人或小公司,你既不用搭建叢集也不用維護,交點兒錢直接用他們提供的線上叢集。當然還有一個作用,推廣普及spark ,所以也就有了Community版,即免費版

Databricks相當於給你了一個線上spark 叢集,即:Spark online(聽著怎麼這麼像網遊 (⊙﹏⊙)b),我等尚處spark初級階段的小白們剛好可以用他們提供的免費版來學習,省去了搭建和維護配置的過程,用來學習或溫習Spark API真是完美!
(筆者比較懶,下面Databricks Spark Cloud

都用DSC代替��)
話不多說,開搞!!!

註冊Databricks

官網直達


Do you want to TRY DATACRICKS FREE?
Yeah, click here!

下面就是註冊頁面,不再囉嗦。注意的是左下角要進行人際身份驗證,網路不好的童鞋請自備雲梯��。然後驗證郵箱,點選連結到登入介面:

��If you don't want to pay for money, pelese click here!

搭建雲上Spark叢集環境

入門指南

這貨長這樣~介面清爽顏值高,功能齊全效率高。

基本使用流程:

  1. 建立叢集

沒辦法,筆者已經有一個叢集在運行了,作為免費使用者只能擁有一個活動叢集,或者升級高階使用者

��

2.建立nootebook
選擇叢集,選擇語言,新建專案,凱擼~

建立筆記、載入依賴資源、建立資料夾

3.建立Table
上傳本地資料,速度有點慢,耐心等待一會~��

任務流程視覺化、資料視覺化


自動生成任務階段流程,生成DAG。


豐富的畫圖工具,只需點點點即可完成高顏值圖表。

其他操作:

下面是重點!!
下面是重點!!
下面是重點!!


這裡提供了豐富的適合不同場景的訓練資料、原始碼及簡介。
只需找到

即可快速匯入到工作臺。只可惜自己英文太爛,啃的很慢������

DSC不僅提供了方便高可用的雲集群服務,而且提供了豐富的學習資料,對像我等來說簡直是完美的產品。感謝各位大佬給我們提供瞭如此便捷的學習環境和資源,Life is short,只爭朝夕!
油管視訊自備雲梯