1. 程式人生 > >2019最全 Go語言開發分散式任務排程 輕鬆搞定高效能Crontab

2019最全 Go語言開發分散式任務排程 輕鬆搞定高效能Crontab

課程目錄:

第1章 課程介紹
本章中將介紹一下本課程的基本內容,包括:我們要做什麼、要求什麼基礎、將學會哪些工具、收穫哪些獨家乾貨,以及課程具體安排。

1-1 導學視訊
第2章 如何執行shell命令
執行"定時任務"其實就是執行"shell命令"。在本章中,將首先帶大家區分"程式"與"命令",接著瞭解bash命令直譯器的2種工作模式,並圖示分析shell執行任務的底層原理與涉及的系統呼叫。最後,我們使會用Go語言的Command標準庫,實現任務的執行,輸出捕獲,殺死任務等重要功能。 ...

2-1 原理介紹
2-2 執行任務
2-3 捕獲任務輸出
2-4 強制結束任務
第3章 如何解析cron表示式
cron表示式是配置定時任務執行週期的核心工具。在本章中,將首先分析cron表示式的構成以及解析邏輯,並利用開源專案cronexpr解析cron表示式並計算任務的下次排程時間。之後,我們將利用其實現任務併發排程邏輯,即同時排程多個不同的cron任務,作為後續實戰課的一個重要前置知識。 ...

3-1 cron表示式原理
3-2 開源cron解析庫
3-3 排程多個cron
第4章 如何應用etcd協調服務
etcd等價於java生態中的zookeeper,基於raft協議工作,用於解決各種分散式應用場景的設計難題。本章中,我們將深入分析raft協議原理,逐步講解etcd的核心API用法,為實戰專案作好準備工作。

4-1 功能與原理(上)
4-2 功能與原理(下)
4-3 搭建與連線etcd
4-4 put寫入kv
4-5 get讀取kv
4-6 get讀取目錄下所有Kv
4-7 delete刪除kv
4-8 lease租約實現kv過期
4-9 watch監聽目錄變化
4-10 op取代get,put,delete方法
4-11 事務tnx實現分散式鎖(上)
4-12 事務tnx實現分散式鎖(下)
第5章 應用mongodb實現分散式儲存
mongodb是一個分散式的海量儲存服務,常用於儲存大量的日誌類資料。本章中,將首先分析mongodb優勢、原理、應用場景,讓大家對其架構和功能有所瞭解。然後,我們會搭建mongodb服務端,開發若干示例程式,包括:插入,查詢,刪除。後續實戰課將使用mongodb完成任務執行日誌的儲存與檢視。 ...

5-1 moongodb簡介&基礎語法概述
5-2 moongodb原理概述
5-3 搭建與連線mongodb
5-4 InsertOne寫入單行記錄
5-5 InsertMany寫入多行記錄
5-6 Find查詢記錄
5-7 Delete刪除記錄
第6章 分散式crontab架構分析
本章中,將帶領大家對分散式crontab的整體架構進行功能分析,以及功能拆解。我們會結合整體架構圖,包括master節點、worker節點、etcd服務、mongodb服務各自的職責和資料流關係進行相關內容講解。

6-1 架構分析
6-2 master-worker整體架構
6-3 master功能點與實現思路
6-4 worker功能點與實現思路
第7章 實現master
萬丈高樓平地起,在本章中,將會帶領大家建立github專案,並初始化符合golang規範的專案結構,會帶領大家安裝依賴的etcd、mongodb包,告訴大家如何正確使用go get命令。之後,我們會逐一實現任務管理API,並實現前後端分離的任務管理後臺。...

7-1 建立專案與搭建基本框架(上)
7-2 建立專案與搭建基本框架(下)
7-3 job save介面開發-儲存到etcd(上)
7-4 job save介面開發-儲存到etcd(中)
7-5 job save介面開發-儲存到etcd(下)
7-6 job delete介面開發:從etcd中刪除任務
7-7 job-list介面開發:從etcd獲取所有任務
7-8 job-kill介面開發:在etcd中標記結束任務
7-9 http支援靜態檔案路由
7-10 利用bootstrap搭建頁面骨架
7-11 ajax獲取任務列表並展示
7-12 實現刪除按鈕
7-13 實現強殺與編輯按鈕
7-14 實現新建任務按鈕
第8章 實現worker
在本章中,我們首先讓worker實時同步etcd中的任務列表。其次,會基於cronexpr與協程實現一個高併發的定時任務排程模組。我們會通過etcd實現分散式樂觀鎖,解決多個worker節點併發排程同一個任務的問題。最後,把任務執行的輸出與錯誤碼作為日誌,儲存到mongodb中供web管理後臺檢視。...

8-1 worker功能概述
8-2 啟動後從etcd獲取任務列表
8-3 監聽etcd中任務變化
8-4 實現任務排程協程(上)
8-5 實現任務排程協程(下)
8-6 實現任務執行模組(上)
8-7 實現任務執行模組(下)
8-8 利用分散式鎖避免任務併發(上)
8-9 利用分散式鎖避免任務併發(下)
8-10 監聽etcd中的強殺任務通知
8-11 儲存任務日誌到mongodb(上)
8-12 儲存任務日誌到mongodb(中)
8-13 儲存任務日誌到mongodb(下)
第9章 完善系統
本章中,我們首先為master新增日誌檢視API,在web後臺可以檢視mongodb中儲存的任務執行日誌。此後,會實現服務註冊與發現功能。最後,將演示如何配置nginx upstream反向代理實現高可用的master叢集,配置systemctl來實現對master/worker守護程序的保活功能。...

9-1 job-log介面開發之master支援mongodb日誌查詢
9-2 web介面開發:檢視任務執行日誌
9-3 worker服務註冊到etcd
9-4 worker-list介面開發之master從etcd查詢worker列表
9-5 web介面開發:檢視健康worker列表
9-6 分散式部署到linux伺服器(上)
9-7 分散式部署到linux伺服器(下)
9-8 常用命令總結
第10章 課程總結&課後練習
本章中,將帶領大家回顧整個課程,也給大家提出一些簡單可行的課後練習題,包括任務超時限制,任務失敗告警。分散式任務排程還有很多細節可以打磨,大家一定要多多動腦動手呦!

10-1 課程總結&課後練習

 

下載地址:百度網盤