1. 程式人生 > >spark的原理和部署(二)on yarn

spark的原理和部署(二)on yarn

關於spark的叢集有三種部署模式, mesos  yarn  standalone,對應著三種不同的資源管理方式,因為前段時間搭建了hadoop叢集,所以先來了解下 on yarn的叢集部署方式。首先啟動叢集start-all.sh測試:本地執行spark-shell程式:[email protected]:/usr/local/spark/bin$ spark-shell --master local[2]##讀取HDFS檔案,其中 master:9000為hadoop叢集搭建時定義的檔案系統埠 core-site.xml中設定scala> val textFile=sc.textFile("hdfs://master:9000/user/wh/hdfs_in/pg20417.txt")textFile: org.apache.spark.rdd.RDD[String] = hdfs://master:9000/user/wh/hdfs_in/pg20417.txt MapPartitionsRDD[7] at textFile at <console>:24scala> textFile.countres3: Long = 12760 ####讀取本地檔案,scala> val textFile=sc.textFile("file:/usr/local/spark/README.md")textFile: org.apache.spark.rdd.RDD[String] = file:/usr/local/spark/README.md MapPartitionsRDD[1] at textFile at <console>:24scala> textFile.countres0: Long = 103##############注意hdfs://master:9000 和file:的區別餘下的參考:http://dblab.xmu.edu.cn/blog/1187-2/     完全搞定,這就算是部署結束了。http://dblab.xmu.edu.cn/blog/1217-2/   這個部落格主要講的是 standalone  和 on yarn兩種模式的區別,兩種模式都在讀取hdfs檔案,區別在於啟動spark的時候一個是:spark-shell  --master  sspark://master:7077(主節點)
一個是spark-shell --master yarn。此外執行spark分兩種,一種是執行jar包,另一種是互動式。下一篇部落格再說吧,除此之外再記錄一下RDD。

相關推薦

spark原理部署on yarn

關於spark的叢集有三種部署模式, mesos  yarn  standalone,對應著三種不同的資源管理方式,因為前段時間搭建了hadoop叢集,所以先來了解下 on yarn的叢集部署方式。首先啟動叢集start-all.sh測試:本地執行spark-shell程式:

zookeeper的原理使用-leader選舉

一、前言   前面學習了Zookeeper服務端的相關細節,其中對於叢集啟動而言,很重要的一部分就是Leader選舉,接著就開始深入學習Leader選舉。 二、Leader選舉   2.1 Leader選舉概述   Leader選舉是保證分散式資料一致性的關鍵所在。當Zookeepe

Git的原理使用

上一節說完了VCS,在這裡來說說分散式版本控制系統DVCS 什麼是分散式版本控制系統(DVCS) 分散式 VCS (Distributed VCS / DVCS)和中央式的區別在於,分散式 VCS 除了中央倉庫之外,還有本地倉庫:團隊中每一個成員的機器上都有一份本地倉庫,這個倉庫裡包

python程式設計:從入門到實踐學習筆記-基於Django框架的Web開發-設計樣式部署

部署學習筆記 接下來我們將使用Heroku(基於Web的平臺)管理Web應用程式的部署。 建立Heroku賬戶 訪問https://signup.heroku.com註冊一個帳號。 安裝Heroku Toolbelt 安裝Heroku Toolbelt,對部署到He

Exchange 2013 CU17office 365混合部署

Exchange 2013 office 365 上一篇我們已經完成了添加域的步驟,下面我們將進行AAD Connect的安裝和配置。安裝AAD Connect之前,需要現在AAD服務器中安裝.NET Framework 3.5,如下點擊“添加角色和功能”勾選“.NET Framework 3.5功能

TCP三次握手四次揮手過程原理及擴充套件

【1】TCP如何保證可靠性傳輸? 在傳遞資料之前,會有三次握手來建立連線 應用資料被分割成TCP認為最合適的資料庫(按位元組編號,合理分片),這和UDP完全不同,應用程式產生的資料報長度保持不變。(將資料截斷為合理的長度) 當TCP發出一個段後,它啟動一個定時器,等待目

使用Swagger2Markup實現API文件的靜態部署:MarkdownConfluence

在上一篇《使用Swagger2Markup實現API文件的靜態部署(一):AsciiDoc》中,我們介紹瞭如何使用 Swagger2Markup將Swagger文件轉換成AsciiDoc,再將AsciiDoc轉換成靜態HTML。下面,本文將繼續介紹Swagger2Ma

基於rhel7.2的Zabbix平臺搭建部署

linux 監控軟件 zabbix nginx mysql php lnmp基於rhel7.2的zabbix平臺搭建和部署(一)一、實驗環境:(1)虛擬機:rhel7.2 x86_64(2)數據庫:mysql5.7.13(3)nginx1.10.2(4)PHP5.6.27(5)zabbix二、安裝編譯工具及

Redis的安裝部署windows

數據庫 inux 保持 設置 cli 窗口 mas log height Redis是一個開源的試用ANSI C語言編寫的、遵守BSD協議、支持網絡、可基於內存可持久化的日誌型、key-value數據庫。通常被稱為數據結構服務器. redis的數據類型有:字符串(strin

基於rhel7.2的Zabbix平臺搭建部署

linux 監控軟件 zabbix nginx mysql php lnmp基於rhel7.2的Zabbix平臺搭建和部署(四)一、實現zabbix添加監測項,添加對Linux主機的監控、說明:先在“配置”-“主機”裏添加主機監控,監控os資源:內存,cpu,io,負載,帶寬等.(1)登錄zabbix,先在

基於centos6的mysql5.7.13主從部署

linux mysql主從 部署基於centos6的mysql5.7.13主從部署(二)一、部署主mysql說明:mysql1是主機,mysql2是備機。創建庫[[email protected]/* */ ~]# mysql -uroot -p123456mysql> create da

jenkins實戰之jenkins安裝部署

自動化運維 上一小節介紹了Jenkins安裝(Linux/uninx平臺),這節我們講講Jenkins界面操作(包括系統設置,工具安裝,插件管理,系統升級,安全設置等等操作); 登錄jenkins首頁,分別有以下選項欄,從左側看起,點擊Jenkins系統管理我們會看到右側list欄,內

Ubuntu 16.04.2 LTS 安裝 jdk1.6 tomcat6

pass set 命令 arc 記錄 variable ogr ant pat 上一篇記錄和分享了jdk1.6 在Ubuntu 16.04.2 環境下的安裝配置,本文開始安裝和配置tomcat 6 2 安裝tomcat http://tomcat.ap

Spark入門實戰系列--2.Spark編譯與部署--Hadoop編譯安裝

二進制包 1.10 不能 mapr 修復 att 機器 mave end 【註】該系列文章以及使用到安裝包/測試數據 能夠在《[傾情大奉送–Spark入門實戰系列] (http://blog.csdn.net/yirenboy/article/deta

Spark轉GemFire任務

rip spec parent region turn source desc 6.2 include ADMG-2.2.1.3 - BRAVO CoA Mapping - TB Revision 7/11: If Bravo code is not numeric,

小白學習安全測試——httrack的安裝使用

type mas track base launch 驗證 解決方案 我沒 ted httrack是一款免費的網站鏡像程序,簡單理解就是可以在網站結構(網頁及一些主要信息文件),下載到本地,可離線瀏覽,我是按照搭建成功後的console直譯過來的 下面說下安裝: 我都是在L

多線程編程學習筆記——asyncawait

處理 sync ext 操作 line cnblogs 編程 技術 容器 接上文 多線程編程學習筆記——async和await(一) 三、 對連續的異步任務使用await操作符 本示例學習如何閱讀有多個await方法方法時,程序

慕課網 星級評分原理實現

方法 click down cti 原理 als row rep ava 源碼下載 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8">

Centos7 zabbix3.4.6的安裝部署

pos gpo 監控服務器 技術分享 color conf blog sys nbsp 接著安裝zabbix客戶端 直接安裝在服務器上 監控服務器 ip 192.168.161.25 yum -y install zabbix-agent #通過Yum安裝zabbix

編碼原理詳解---變換編碼

mar 關於 詳解 tex 描述 原理 學習 編碼原理 watermark 本篇介紹編碼原理中的變換編碼。 一、變換的目的和作用: 變換編碼的作用是將空間域描述的圖像信號變換到頻率域,然後對變換後的系數進行編碼處理。一般來說,圖像在空間上具有較強的相關性,變換到頻率