1. 程式人生 > >Apache Zeppelin使用入門指南:程式設計

Apache Zeppelin使用入門指南:程式設計

  編譯和啟動完相關的程序之後,我們就可以來使用了。我們進入到http://www.iteblog.com:8080頁面,我們可以在頁面上直接操作Zeppelin,依次選擇Notebook->Create new note,然後會彈出一個對話方塊,我們在Note Name裡面隨便輸入一個名字,這裡我輸入iteblog,然後點選Create Note就可以建立一個新的Notebook了。我們可以在新建的Notebook裡面輸入相關的程式碼進行測試:

1 sc.version
2 sqlc
3
4 res26: String = 1.5.2
5 res27: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@48806d6c

  和Spark Shell一樣,Zeppelin會初始化好SparkContextSQLContext物件,分別命名為scsqlc,我們可以直接在裡面使用到它。接下來我們來在Zeppelin裡面載入HDFS上面的資料,如下:

2
3 res29: Long = 200
4 Took 0 seconds (outdated)

  我們再來使用sqlc物件讀取上面的json檔案來建立一個DataFrame:

02 val profileDF=profilesJsonRdd.toDF()
03 val iteblog = profileDF.selectExpr(

相關推薦

Apache Zeppelin使用入門指南程式設計

  編譯和啟動完相關的程序之後,我們就可以來使用了。我們進入到http://www.iteblog.com:8080頁面,我們可以在頁面上直接操作Zeppelin,依次選擇Notebook->Create new note,然後會彈出一個對話方塊,我

Apache Kafka程式設計入門指南設定分割槽數和複製因子

我們學習瞭如何編寫簡單的Kafka Producer程式。在那個例子中,在如果需要傳送的topic不存在,Producer將會建立它。我們都知道(假設你知道),每個topic都是有分割槽數和複製因子的,但是我們無法通過Producer相關的API設定分割槽數和複製因子的,

【python】入門指南控制語句

pan else pre 循環 clas python continue break for 條件控制 if,if-else,if-elseif-else #!/bin/python a = ‘test‘ if a == ‘test‘: print

【python】入門指南常用資料結構

Python內建了三種高階資料結構:list,tuple,dict list:陣列,相同型別的元素組成的陣列 tuple:元組,相同型別的元素組成的陣列,但是這裡有限定條件(長度是固定的,並且值也是固定的,不能被改變) dict:字典,k-v結構的   list陣列 1,初始化和遍歷li

Maven入門指南倉庫

轉載https://blog.csdn.net/a258831020/article/details/49965803 1 . 倉庫簡介 沒有 Maven 時,專案用到的 .jar 檔案通常需要拷貝到 /lib 目錄,專案多了,拷貝的檔案副本就多了,佔用磁碟空間,且難於管理。Maven 使用

Spark DataFrames入門指南建立和操作DataFrame

一、從csv檔案建立DataFrame   本文將介紹如何從csv檔案建立DataFrame。 如何做?   從csv檔案建立DataFrame主要包括以下幾步驟:   1、在build.sbt檔案裡面新增spark-csv支援庫;   2、建立Sp

Kubernetes入門指南部署一個Node.js Docker應用 — SitePoint

容器技術已經存在了很多年,Docker使它真正成為主流。因為Docker提供了一套簡單易用的介面來使用容器,現在已有許多的公司和開發者使用容器來裝載他們的應用。 然而,對於任何有一定規模的應用程式,你一定不會只要部署“一個容器”,而是部署在大量主機上的許多

Apache Flink® 入門介紹以及程式設計模型

在業餘時間經常來Flink官網查閱文件,零零散散的看不成系統,最近打算系統的做一下筆記。有官網主頁我們便知道Flink是什麼? Apache Flink® is an open-source stream processing framework for distribut

張高興的 .NET Core IoT 入門指南(三)使用 I2C 進行通訊

什麼是 I2C 匯流排 I2C 匯流排(Inter-Integrated Circuit Bus)是裝置與裝置間通訊方式的一種。它是一種序列通訊匯流排,由飛利浦公司在1980年代為了讓主機板、嵌入式系統或手機用以連線低速周邊裝置而發展[1]。I2C 匯流排包含兩根訊號線,一根為訊號線 SDA ,另一根為時鐘

張高興的 .NET Core IoT 入門指南(四)使用 SPI 進行通訊

什麼是 SPI 和上一篇文章的 I2C 匯流排一樣,SPI(Serial Peripheral Interface,序列外設介面)也是裝置與裝置間通訊方式的一種。SPI 是一種全雙工(資料可以兩個方向同時傳輸)的序列通訊匯流排,由摩托羅拉於上個世紀 80 年代開發[1],用於短距離裝置之間的通訊。SPI 包

張高興的 .NET Core IoT 入門指南(五)串列埠通訊入門

在開始之前,首先要說明的是串列埠通訊所用到的 SerialPort 類並不包含在 System.Device.Gpio NuGet 包中,而是在 System.IO.Ports NuGet 包中。之所以在這裡介紹串列埠通訊,是因為在嵌入式中串列埠通訊是與其他裝置進行互動的一種重要方式,而且在某些沒有螢幕的裝

張高興的 .NET Core IoT 入門指南(五)PWM 訊號輸出

什麼是 PWM 在解釋 PWM 之前首先來了解一下電路中訊號的概念,其中包括模擬訊號和數字訊號。模擬訊號是一種連續的訊號,與連續函式類似,在圖形上表現為一條不間斷的連續曲線。數字訊號為只能取有限個數值的訊號,比如計算機中的高電平(1)和低電平(0)。 PWM(Pulse Width Modulation)即

轉載Spark中文指南(入門篇)-Spark程式設計模型(一)

原文:https://www.cnblogs.com/miqi1992/p/5621268.html 前言   本章將對Spark做一個簡單的介紹,更多教程請參考: Spark教程 本章知識點概括 Apache Spark簡介 Spark的四種執行模式 Spark基於

Python3程式設計指南01 過程型程式設計快速入門

大家好,從本文開始將逐漸更新Python教程指南系列,為什麼叫指南呢?因為本系列是參考《Python3程式設計指南》,也是作者的學習筆記,希望與讀者共同學習。 .py檔案中的每個估計都是順序執行的,從第一行開始,逐行執行的。 Python的8個關鍵要素 1、資料型別 int整數(正整數或負整數)

POCO文檔翻譯POCO C++庫入門指南

配置 air direct nic 目錄 示例 中斷處理 取消 驗證 內容目錄 介紹 Foundation庫 XML庫 Util庫 Net庫 將這些東西組合到一起

Shell程式設計入門函式

使用者可以用shell定義函式,然後子啊shell指令碼中隨便呼叫。shell中函式的定義格式如下: [ function ] funname [()] { action; [return int;] } 可以帶 function fun() 定義,也可以

Shell程式設計入門流程控制

和Java、PHP等語言不一樣,sh的流程控制不可為空,如: public class Test{ public static void main(String[] args){ int a = 10; if(a > 5){

Shell程式設計入門echo命令

Shell的 echo 命令和PHP的echo指令類似,都是用於輸出值。我們可以使用 echo 實現更復雜的輸出格式控制。 顯示普通字串 echo "Hello World" echo Hello World 這兩句輸出結果均為:Hello World 顯示轉義字元

Shell程式設計入門傳遞引數

我們可以在執行 Shell 指令碼時,向指令碼傳遞引數,指令碼內獲取引數的格式為:$n 。n 代表一個數字,1 為執行指令碼的第一個引數,2 為執行指令碼的第二個引數,以此類推…… 例項 我們向指令碼傳遞三個引數,並分別輸出。其中 $0 表示執行的檔名: #! /bin/ba

Apache Flink-程式設計指南-概念-程式設計模型

資料流程式設計模型 抽象層級 程式和資料流 並行資料流 視窗 事件 狀態化計算 為容錯的檢查點 流之上的批處理 下一步 抽象層級 Flink為開發流/批處理應用程式提供不能層級的抽象。 最低級別的抽象簡單提供狀態