1. 程式人生 > 其它 >自動駕駛網路大學課程W5L2

自動駕駛網路大學課程W5L2

本週的課程都是真正和ML在網路中的應用有關係的。第一課是基於ML的演算法預測網路情況實現的視訊自適應可變速率編碼。

本節課的內容是基於ML訓練的模型演算法來實現一個spark叢集裡面的不同任務的排程。

任務和任務之間千差萬別,各自需要完成的時間也不同,不同的任務也有不同的分階段和並行處理的不同要求,簡單的人工配置排程引數不能將叢集的利用率做到最高,ML的方法訓練模型來完成這個任務是比較靠譜的做法,從文章披露的結果看也達到了預期的目標。

具體過程就不看了,還是放個結論:

Decima證明了利用強化學習自動學習複雜的叢集排程策略是可行的,學習策略是靈活和高效的。Decima的學習創新,如圖嵌入技術和流訓練框架,可能適用於其他處理DAG的系統(如查詢優化器)。我們將在ttps://web.mit.edu/decima上開放Decima、我們的模型和實驗基礎設施的原始碼。