1. 程式人生 > >azkaban 入門簡介

azkaban 入門簡介

前言

80後的同學們看到azkaban這個詞,第一反應就會想起哈利波特。沒錯,就是哈利波特系列的第三部:阿茲卡班的囚徒(Harry Potter and the Prisoner of Azkaban)。這個囚徒,就是指Potter的教父小天狼星。一晃,哈利波特都寫完多好多年了,俺們都從十多歲的小屁孩變成三十歲的中年人了。。。
當然,今天咱們文章的主角不是Potter,也不是小天狼星,也不是K.J.Rowling女士。而是一個開源專案,名字就叫azkaban…

需求

實際當中經常有這些場景:每天有一個大任務,這個大任務可以分成A,B,C,D四個小任務,A,B任務之間沒有依賴關係,C任務依賴A,B任務的結果,D任務依賴C任務的結果。一般的做法是,開兩個終端同時執行A,B,兩個都執行完了再執行C,最後再執行D。這樣的話,整個的執行過程都需要人工參加,並且得盯著各任務的進度。但是我們的很多工都是在深更半夜執行的,通過寫指令碼設定crontab執行。其實,整個過程類似於一個有向無環圖(DAG)。每個子任務相當於大任務中的一個流,任務的起點可以從沒有度的節點開始執行,任何沒有通路的節點之間可以同時執行,比如上述的A,B。總結起來的話,我們需要的就是一個工作流的排程器,而azkaban就是能解決上述問題的一個排程器。

azkaban的github地址:https://azkaban.github.io/
azkaban是由linkedin開源的。在github上的主頁介紹有如下介紹:
這裡寫圖片描述

azkaban元件簡介

在文件頁面,我們截了個簡單的圖,能對azkaban的元件有個基本的瞭解
這裡寫圖片描述

從上面我們可以得出如下資訊:
1.azkaban主要是應用於hadoop生態圈的任務排程的。我們在實際使用過程中,也主要是用來做hadoop相關任務的排程,其他任務的排程暫時還沒有進行相關實踐。
2.關鍵元件有三部分:web server,executor server,mysql。目前azkaban貌似只支援mysql資料庫,相關的資料都存在mysql中。

後續再為大家介紹具體如何使用azkaban進行hadoop相關任務的排程。

相關推薦

azkaban 入門簡介

前言 80後的同學們看到azkaban這個詞,第一反應就會想起哈利波特。沒錯,就是哈利波特系列的第三部:阿茲卡班的囚徒(Harry Potter and the Prisoner of Azkaban)。這個囚徒,就是指Potter的教父小天狼星。一晃,哈利波

Kotlin入門簡介

檢測 原子 min world atm 而是 ide 框架 inline Kotlin的“簡歷” 來自於著名的IDE IntelliJ IDEA(Android Studio基於此開發) 軟件開發公司 JetBrains(位於東歐捷克) 起源

MySQL--------入門簡介

mysql dba 1. 背景 * MySQL是一個關系型數據庫管理系統,由瑞典MySQL AB 公司開發,目前屬於 Oracle 旗下產品。MySQL 是最流行的關系型數據庫管理系統之一,在 WEB 應用方面,MySQL是最好的 RDBMS (Relational Database Manage

azkaban入門中遇到的問題

truct con caused 執行 lec 發現 blog ini rac 執行時報錯,後來發現他的配置文件中寫了相對路徑!!所以必須在他的根目錄下執行,命令為 nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out

java入門---簡介&簡單輸出小例子&開發前準備

推薦 根據 異常處理 之間 分布式應用 基本數據 服務端 clip 點贊 Java是由Sun Microsystems公司於1995年5月推出的Java面向對象程序設計語言和Java平臺的總稱。由James Gosling和同事們共同研發,並在1995年正式推出。J

JavaScript快速入門-簡介

obj strong 存在 -s ons 克隆 廠商 語法 mas 一、JavaScript歷史(摘自w3school) JavaScript 是因特網上最流行的腳本語言,它存在於全世界所有 Web 瀏覽器中,能夠增強用戶與 Web 站點和 Web 應用程序之間的交互。J

JWT入門簡介

工業 敏感信息 要去 obj pos 發生 only 字符 img 官網:https://jwt.io/ 文檔:https://jwt.io/introduction/ 目錄 什麽是JWT 頭部(Header) 載荷(Payload) 簽名(Signature) J

Web Service入門簡介(一個簡單的WebService示例)

efi 都是 調用 soap form 依賴 語言 1.3 tran Web Service入門簡介(一個簡單的WebService示例) Web Service入門簡介 一、Web Service簡介1.1、Web Service基本概念Web Service也叫XM

Mybatis學習系列(1) –– 入門簡介

connector ring cti 行操作 底層 數據庫連接 lean lose style MyBatis簡介 Mybatis是Apache的一個Java開開源項目,是一個支持動態Sql語句的持久層框架。Mybatis可以將Sql語句配置在XML文件中,避免將Sql語

Android精通教程-第一節Android入門簡介

uri ctrl+c jdk1 安裝jdk .exe 高級 第一步 地址 了解 前言 大家好,給大家帶來Android精通教程-第一節Android入門簡介的概述,希望你們喜歡 每日一句 If life were predictable it would cease to

ElasticSearch入門簡介

uil 本地 自動創建 展開 劃線 定義 created 結構 查看 ElasticSearch是基於Apache Lucene的分布式搜索引擎, 提供面向文檔的搜索服務。本文以6.2.3版本為例介紹ElasticSearch的應用。 本文首先介紹ElasticSearch

javaweb學習筆記(一):web入門簡介、tomcat

目錄 1.web入門 2.tomcat 2.1 Tomcat的安裝與使用 2.2 Tomcat的目錄結構 2.3 Web應用的目錄結構 1.web入門 B/S (Broswer -Server 瀏覽器端- 伺服器端)架構,其典型應用就是各種網站。它的特點是第一,不

Day1-Java入門簡介

01——Java簡述 Java是由SUN公司在1995年推出的一門高階程式語言,是現今伺服器端的首選程式語言,是大資料的基礎語言。Java的一個重要的特性是跨平臺。 Java之所以能夠跨平臺是因為有JVM(Java Virtual Machine, Java虛擬機器)。所有的J

docker的入門簡介

可能寫的不是很完美,需要大家指正修改和意見(謝謝合作) docker的入門: docker的好處: 1.更快交付你的應用(Faster delivery of your applications) 2.讓部署和測試更加簡單(Deploying and scaling more easily) 3.實

資料庫入門簡介

網際網路公司的網際網路的網站最大的瓶頸是後端(儲存和資料庫) CDN加速、快取、動態網頁html 資料庫缺點:“極難擴充套件”     資料庫的定義:  資料庫(英文Database):就是存放資料的倉庫 應用:類似於儲物間 管理資料

SPSS入門簡介

  2018年08月07日 08:33:38 韓韓的部落格 閱讀數:125更多 個人分類: spss SPSS工具簡介  統計要與大量的資料打交道,涉及繁雜的計算和圖表繪製。現代的資料分析工作如果離開統計軟體幾乎是無法正常開展。在準確理解

MySQL入門簡介(轉載)

轉載連結:https://www.cnblogs.com/webnote/p/5753996.html MySQL的相關概念介紹 MySQL 為關係型資料庫(Relational Database Management System), 這種所謂的"關係型"可以理解為"表格"的概念, 一個關係型資料庫由一

程序管理利器Supervisor--入門簡介

目錄 概述 Supervisor是什麼 Supervisor意圖 Supervisor特性 Supervisor元件 平臺需求 概述     專案執行需要後臺執行,一般都是使用 nohup,但是nohu

進程管理利器Supervisor--入門簡介

風格 崩潰 系統 then 後臺進程 精準 優先級 利用 處理器   目錄    概述    Supervisor是什麽    Supervisor意圖    Supervisor特性    Supervisor組件    平臺需求    概述    項目運行需要後臺運行,

RocketMQ入門簡介

分散式mq功能:非同步解耦、流量削峰、訊息分發、保證最終一致性、方便動態擴容。 rocketmq歷史:Notify(2007)->Napoli(2010)->MetaQ(2011)->RocketMQ(2012)->開源(2016) 第一代的Notify主要使用了推模型,解決了事務