2. 程式人生 > >Spark --- 啟動、執行、關閉過程

Spark --- 啟動、執行、關閉過程

阿新 • • 發佈：2018-12-14

計算PI值

  1. // scalastyle:off println

  2. package org.apache.spark.examples

  3. import scala.math.random

  4. import org.apache.spark._

  5. /** Computes an approximation to pi */

  6. object SparkPi {

  7. def main(args: Array[String]) {

  8. val conf = new SparkConf().setAppName("Spark Pi")

  9. val spark = new SparkContext(conf)

  10. val slices = if (args.length > 0) args(0).toInt else 2

  11. val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow

  12. val count = spark.parallelize(1 until n, slices).map { i =>

  13. val x = random * 2 - 1

  14. val y = random * 2 - 1

  15. if (x*x + y*y < 1) 1 else 0

  16. }.reduce(_ + _)

  17. println("Pi is roughly " + 4.0 * count / n)

  18. spark.stop()

  19. }

  20. }

流程分析

  1. [[email protected] spark]$ ./bin/run-example SparkPi

  2. Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

  3. 16/06/07 03:43:20 INFO SparkContext: Running Spark version 1.6.1

  4. 16/06/07 03:43:20 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

  5. #進行acls使用者許可權認證

  6. 16/06/07 03:43:20 INFO SecurityManager: Changing view acls to: abc

  7. 16/06/07 03:43:20 INFO SecurityManager: Changing modify acls to: abc

  8. 16/06/07 03:43:20 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(abc); users with modify permissions: Set(abc)

  9. 16/06/07 03:43:21 INFO Utils: Successfully started service 'sparkDriver' on port 40568.

  10. 16/06/07 03:43:23 INFO Slf4jLogger: Slf4jLogger started

  11. #啟動遠端監聽服務，埠是36739，Spark的通訊工作由akka來實現

  12. 16/06/07 03:43:23 INFO Remoting: Starting remoting

  13. 16/06/07 03:43:23 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:36739]

  14. 16/06/07 03:43:23 INFO Utils: Successfully started service 'sparkDriverActorSystem' on port 36739.

  15. #註冊MapOutputTracker，BlockManagerMaster，BlockManager

  16. 16/06/07 03:43:23 INFO SparkEnv: Registering MapOutputTracker

  17. 16/06/07 03:43:23 INFO SparkEnv: Registering BlockManagerMaster

  18. #分配儲存空間，包括磁碟空間和記憶體空間

  19. 16/06/07 03:43:23 INFO DiskBlockManager: Created local directory at /tmp/blockmgr-8a68c39e-40e5-43ca-b21e-081ef8d278e2

  20. 16/06/07 03:43:23 INFO MemoryStore: MemoryStore started with capacity 511.1 MB

  21. 16/06/07 03:43:23 INFO SparkEnv: Registering OutputCommitCoordinator

  22. 16/06/07 03:43:24 INFO Utils: Successfully started service 'SparkUI' on port 4040.

  23. 16/06/07 03:43:24 INFO SparkUI: Started SparkUI at http://127.0.0.1:4040

  24. 16/06/07 03:43:24 INFO HttpFileServer: HTTP File server directory is /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/httpd-796af3e2-122c-4780-9273-f4aa7d32bb04

  25. #啟動HTTP服務，可以通過介面檢視服務和任務執行情況

  26. 16/06/07 03:43:24 INFO HttpServer: Starting HTTP Server

  27. 16/06/07 03:43:24 INFO Utils: Successfully started service 'HTTP file server' on port 54315.

  28. #啟動SparkContext，並上傳本地執行的jar包到http://127.0.0.1:54315

  29. 16/06/07 03:43:24 INFO SparkContext: Added JAR file:/usr/local/spark/lib/spark-examples-1.6.1-hadoop2.6.0.jar at http://127.0.0.1:54315/jars/spark-examples-1.6.1-hadoop2.6.0.jar with timestamp 1465285404966

  30. 16/06/07 03:43:25 INFO Executor: Starting executor ID driver on host localhost

  31. 16/06/07 03:43:25 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 59217.

  32. 16/06/07 03:43:25 INFO NettyBlockTransferService: Server created on 59217

  33. 16/06/07 03:43:25 INFO BlockManagerMaster: Trying to register BlockManager

  34. 16/06/07 03:43:25 INFO BlockManagerMasterEndpoint: Registering block manager localhost:59217 with 511.1 MB RAM, BlockManagerId(driver, localhost, 59217)

  35. 16/06/07 03:43:25 INFO BlockManagerMaster: Registered BlockManager

  36. #Spark提交了一個job給DAGScheduler

  37. 16/06/07 03:43:26 INFO SparkContext: Starting job: reduce at SparkPi.scala:36

  38. #DAGScheduler收到一個編號為0的含有2個partitions分割槽的job

  39. 16/06/07 03:43:26 INFO DAGScheduler: Got job 0 (reduce at SparkPi.scala:36) with 2 output partitions

  40. #將job轉換為編號為0的stage

  41. 16/06/07 03:43:26 INFO DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:36)

  42. #DAGScheduler在submitting stage之前，首先尋找本次stage的parents，如果missing parents為空，則submitting stage；

  43. #如果有，會對parents stage進行遞迴submit stage，隨之又將stage 0分成了2個task，提交給TaskScheduler的submitTasks方法。

  44. #對於某些簡單的job，如果它沒有依賴關係，並且只有一個partition，這樣的job會使用local thread處理而並不會提交到TaskScheduler上處理。

  45. 16/06/07 03:43:26 INFO DAGScheduler: Parents of final stage: List()

  46. 16/06/07 03:43:26 INFO DAGScheduler: Missing parents: List()

  47. 16/06/07 03:43:26 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:32), which has no missing parents

  48. 16/06/07 03:43:26 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 1904.0 B, free 1904.0 B)

  49. 16/06/07 03:43:26 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1218.0 B, free 3.0 KB)

  50. 16/06/07 03:43:26 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on localhost:59217 (size: 1218.0 B, free: 511.1 MB)

  51. 16/06/07 03:43:26 INFO SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1006

  52. 16/06/07 03:43:26 INFO DAGScheduler: Submitting 2 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:32)

  53. #TaskSchedulerImpl是TaskScheduler的實現類，接收了DAGScheduler提交的2個task

  54. 16/06/07 03:43:26 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks

  55. 16/06/07 03:43:26 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, partition 0,PROCESS_LOCAL, 2152 bytes)

  56. 16/06/07 03:43:26 INFO TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, localhost, partition 1,PROCESS_LOCAL, 2152 bytes)

  57. #Executor接收任務後則從遠端的伺服器中將執行jar包存放到本地，然後進行計算，並各自彙報了任務執行狀態

  58. 16/06/07 03:43:26 INFO Executor: Running task 1.0 in stage 0.0 (TID 1)

  59. 16/06/07 03:43:26 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)

  60. 16/06/07 03:43:26 INFO Executor: Fetching http://127.0.0.1:54315/jars/spark-examples-1.6.1-hadoop2.6.0.jar with timestamp 1465285404966

  61. 16/06/07 03:43:27 INFO Utils: Fetching http://127.0.0.1:54315/jars/spark-examples-1.6.1-hadoop2.6.0.jar to /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/userFiles-b021b090-3024-421c-b4b0-73fc9f723f44/fetchFileTemp4760324069006875921.tmp

  62. 16/06/07 03:43:28 INFO Executor: Adding file:/tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/userFiles-b021b090-3024-421c-b4b0-73fc9f723f44/spark-examples-1.6.1-hadoop2.6.0.jar to class loader

  63. 16/06/07 03:43:29 INFO Executor: Finished task 1.0 in stage 0.0 (TID 1). 1031 bytes result sent to driver

  64. 16/06/07 03:43:29 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 1031 bytes result sent to driver

  65. #TaskSetManager、SparkContent各自收到任務完成報告

  66. 16/06/07 03:43:29 INFO TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 2131 ms on localhost (1/2)

  67. 16/06/07 03:43:29 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 2189 ms on localhost (2/2)

  68. 16/06/07 03:43:29 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool

  69. 16/06/07 03:43:29 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:36) finished in 2.217 s

  70. 16/06/07 03:43:29 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:36, took 2.877995 s

  71. #列印程式執行結果

  72. Pi is roughly 3.14282

  73. #Spark服務關閉

  74. 16/06/07 03:43:29 INFO SparkUI: Stopped Spark web UI at http://127.0.0.1:4040

  75. 16/06/07 03:43:29 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!

  76. 16/06/07 03:43:29 INFO MemoryStore: MemoryStore cleared

  77. 16/06/07 03:43:29 INFO BlockManager: BlockManager stopped

  78. 16/06/07 03:43:29 INFO BlockManagerMaster: BlockManagerMaster stopped

  79. 16/06/07 03:43:29 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!

  80. 16/06/07 03:43:29 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.

  81. 16/06/07 03:43:29 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.

  82. 16/06/07 03:43:29 INFO SparkContext: Successfully stopped SparkContext

  83. 16/06/07 03:43:29 INFO RemoteActorRefProvider$RemotingTerminator: Remoting shut down.

  84. 16/06/07 03:43:29 INFO ShutdownHookManager: Shutdown hook called

  85. 16/06/07 03:43:29 INFO ShutdownHookManager: Deleting directory /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/httpd-796af3e2-122c-4780-9273-f4aa7d32bb04

  86. 16/06/07 03:43:29 INFO ShutdownHookManager: Deleting directory /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7

--------------------- 本文來自 javastart 的CSDN 部落格 ，全文地址請點選：https://blog.csdn.net/javastart/article/details/71214815?utm_source=copy

相關推薦

Spark --- 啟動、執行、關閉過程

計算PI值 // scalastyle:off println package org.apache.spark.examples import scala.math.random import org.apache.spark

Spark的Action執行、 Transformation轉換、Controller控制三種操作型別的使用

通過WordCount詳解過程圖，觀察Spark的執行過程，思考RDD操作型別有幾種？有了初步的思考，下文會給出RDD操作型別區別和實戰演示有如下三種：（1）transformation：進行資料狀態的轉換，對已有的RDD建立新的RDD。（2）Action：觸發具體的作業，對

Linux進程創建、執行和切換過程理解

關系 copy 實驗 經歷 調度 char earch 取值 static Linux進程創建、執行和切換過程理解 學號：282 原創作品轉載請註明出處 + https://github.com/mengning/linuxkernel/ 實驗內容 進程的創建 閱讀

論實踐各個環節的重要性：準備、執行、反饋

first ont 驗證 單個 嚴格 -s body OS 計劃 實踐是主客觀進行互動的工具。 連接了主觀和客觀；連接了認識與存在；連接了大腦與周邊；連接了理論、方案與變現。 實踐前準備的重要性： 只有正確的理論，執行後才有正確的結果； 在理論環節上，所有的問題都是由實

第五章 shell函數的定義、執行、傳參和遞歸函數

shell函數的定義、執行、傳參 shell遞歸函數 shellfork××× 第五章 shell函數的定義、執行、傳參和遞歸函數 Bash（Bourne Again shell）也支持函數，在編寫大型復雜腳本的時候，可以用函數把代碼編寫成一個一個功能相對獨立的代碼塊，使代碼模塊塊、結構清晰、有效

VC++編譯器背後的故事：編譯、連結、執行、庫、作業系統

MulinB按：當你在IDE裡點選build時，背後都發生了什麼？什麼是編譯錯誤(compiling error)、什麼是連結錯誤(linking error)？程式的記憶體結構是怎樣的？執行到main函式之前都發生了什麼？VC++編譯器中的眾多編譯選項該如何設定？什麼是include, lib

java零碎要點012---linux Centos下編譯、執行、除錯java程式

   JAVA技術交流QQ群：170933152  有時候要除錯一些東西,適不適用Linux,還是需要在Linux上弄啊 Linux上步驟: 安裝jdk 安裝以後vi Test.java 然後編寫程式: import java.io.File;

QtCreator中構建、qmake、執行、清理等區別與聯絡

qmake：根據實際環境建立專案檔案.pro   並且執行qmake生成適當的Makefile，並且執行qmake[qmake xx.pro]生成除錯[build-ttt-4_8_6-Debug]或者釋出[build-ttt-4_8_6-Release]目錄，裡面含有qmake後

常用docker命令（下載、多終端開啟、執行、刪除、tag、修改名稱）

1 檢視docker版本 [[email protected] ~]# docker version Client: Version: 1.13.1 API version: 1.26 Package version: docker-1.13

第一個 spring Boot 應用通過Docker 來實現構建、執行、釋出

1. Docker 簡介 Docker 是一個開源的應用容器引擎，讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中，然後釋出到任何流行的 Linux 機器上，也可以實現虛擬化。容器是完全使用沙箱機制，相互之間不會有任何介面。Docker image 是

第一次構建、執行、釋出、獲取docker映象

1、前言過去，如果您要開始編寫Python應用程式，第一步就是把Python的執行環境安裝到您的機器上，而且安裝的環境還要和線上的一致，比較麻煩。使用Docker，您可以從docker的官方registry或者其他倉庫，獲取一個可移植的Python執行環境映象，無需安裝。然後

用 Docker 構建、執行、釋出一個 Spring Boot 應用

1.安裝docker略去 2.建立testDocker專案，建立方式： 在http://start.spring.io/中建立專案 3.將專案引入eclipse 4.入口類方法中新增 @Spring

純手工！本地K8s的建立、執行、更改原始碼、測試

可能有點懶，反正我不太喜歡實操，因為貼圖很麻煩……咳咳，這兩天接觸，就做了個教程。這個教程可以大致讓你知道執行，更改原始碼，而且從頭測試本地Kubernetes平臺叢集。 Kubernetes是個有很多貢獻者的開源大專案，理論上它作為一個不挑食的容器管理框架，可以無處不在。 不過有點可惜的是，無論實

從零開始的node.js-1 基礎格式、執行、打斷、路由、讀取檔案。

//打算學下後端，可是不知道選php還是node，想了想反正不打算精通只是不想和後端交流過於麻煩而已，所以還是學node。js吧，不知道能不能學會 //1 安裝node.js  不說啥了  2. 在js裡寫出如下程式碼  開啟命令列 輸入node xxx.js&

Shell函式的定義、執行、傳參和遞迴函式

 Bash（Bourne Againshell）也跟其他程式語言一樣也支援函式，一般在編寫大型指令碼中需要用到，它可以將Shell指令碼程式劃分成一個個功能相對獨立的程式碼塊，使程式碼的模組化更好，結構更加清晰，並可以有效地減少程式的程式碼量。但是bash作為一種解釋性

用_Docker、Gradle_來構建、執行、釋出一個_Spring_Boot_應用

本文演示瞭如何用 Docker、Gradle 來構建、執行、釋出來一個 Spring Boot 應用。 Docker 簡介 Docker是一個 Linux 容器管理工具包，具備“社交”方面，允許使用者釋出容器的 image (映象)，並使用別人釋出的 image。Docke

執行緒五種狀態(新建、就緒、執行、阻塞、死亡)

執行緒的5種狀態：  每個 Java 程式都有一個預設的主執行緒，對於 Java 應用程式，主執行緒是 main()方法執行的線索； 對於 Applet 程式，主執行緒是指揮瀏覽器載入並執行 Java&

SpringBoot+Maven 多模組專案的構建、執行、打包實戰

專案使用的工具: IntelliJ IDEA JDK 1.8 apache-maven-3.3.9 專案的目錄: 主專案 springboot-multi 子模組 entity、dao、service、web 一、使用IDEA建立一個Spring

Elasticsearch簡單入門--elasticsearch 在Linux下的安裝、執行、停止

1.首先對Elasticsearch進行簡短的介紹 Elasticsearch是一個高度可伸縮的開源全文搜尋和分析引擎。它允許您快速、實時地儲存、搜尋和分析大量資料。它通常用作底層引擎/技術，為具有複雜搜尋特性和需求的應用程式提供支援。 核心概念：NRT、Cluster、Node、Ind

Qtcreator編譯中被忽略的qmake-構建、執行、qmake

引言 在使用Qtcreator 編譯程式碼的時候，我經常用 到清除，重新構建 一直也沒有什麼問題，今天在編譯的時候，總是編譯不過。 只是清除和重新構建。 後來執行qmake 後編譯通過。 下面探究qmake的功能 qmake 首先看看Qt的