編者按：人工智慧和大資料時代，分散式機器學習解決了大量最具挑戰性的問題。為了幫助機器學習從業者更加深入地瞭解分散式機器學習領域的基本框架、典型演算法、理論和系統，幫助大家在這個領域打下紮實基礎，微軟亞洲研究院機器學習核心團隊撰寫《分散式機器學習：演算法、理論與實踐》一書，全面介紹了分散式機器學習的現狀，深入分析其中的核心技術問題，並且討論該領域未來的發展方向。

本書由鄂維南院士和周志華教授傾心撰寫推薦序，現已在京東上線，並躋身新書銷量榜前十名，購買地址請戳“閱讀原文”。

分散式機器學習並非分散式處理技術與機器學習的簡單結合。一方面，它必須考慮機器學習模型構成與演算法流程本身的特點，否則分散式處理的結果可能失之毫厘謬以千里；另一方面，機器學習內含的演算法隨機性、引數冗餘性等，又會帶來一般分散式處理過程所不具備的、宜於專門利用的便利。

值得一提的是，市面上關於機器學習的書籍已有許多，但是分散式機器學習的專門書籍還頗少見。

劉鐵巖博士是機器學習與資訊檢索領域的國際著名專家，帶領的微軟亞洲研究院機器學習研究團隊成果斐然。此次他們基於分散式機器學習方面的豐富經驗推出《機器學習：分散式演算法、理論與實踐》一書，將是希望學習和了解分散式機器學習的中文讀者的福音，必將有力促進相關技術在我國的推廣和發展。

最近幾年，機器學習在許多領域取得了前所未有的成功，由此也徹底改變了人工智慧的發展方向，引發了大資料時代的到來。其中最富有挑戰性的問題是由分散式機器學習解決的。所以，要了解機器學習究竟能夠帶來什麼樣前所未有的新機遇、新突破，就必須瞭解分散式機器學習。

相比較而言，機器學習這個領域本身是比較單純的領域。其模型和演算法問題基本上都可以被看成是純粹的應用數學問題。而分散式機器學習則不然。它更像是一個系統工程，涉及到資料、模型、演算法、通訊、硬體等許多方面。這更增加了系統瞭解這個領域的難度。劉鐵巖博士和他的合作者的這本書，從理論、演算法和實踐等多個方面對這個新的重要學科給出了系統、深刻的討論。這無疑是雪中送炭。這樣的書籍在現有文獻中還難以找到。對我個人而言，這也是我早就關注，但一直缺乏系統瞭解的領域。所以看了這本書，對我也是受益匪淺。相信對眾多關注機器學習的工作人員和學生，這也是一本難得的好書。

本書的目的，是給讀者全面展示分散式機器學習的現狀，深入分析其中的核心技術問題，並且討論該領域未來發展的方向。本書既可以作為研究生從事分散式機器學習方向研究的參考文獻，也可以作為人工智慧從業者進行演算法選擇和系統設計的工具書。

全書共12章。第1章是緒論，向大家展示分散式機器學習這個領域的全景。第2章介紹機器學習的基礎知識，其中涉及到的基本概念、模型和理論，會為讀者在後續章節中更好地理解分散式機器學習的各項技術奠定基礎。第3章到第8章是本書的核心部分，向大家細緻地講解分散式機器學習的框架，及其各個功能模組。其中第3章對整個分散式機器學習框架做綜述，而第4章到第8章則針對其中的資料與模型劃分模組、單機優化模組、通訊模組、資料與模型聚合模組分別加以介紹，展示每個模組的不同選項並討論其長處與短板。接下來的三個章節，是對前序內容的總結與昇華。其中第9章介紹了由分散式機器學習框架中不同選項所組合出來的各式各樣的分散式機器學習演算法，第10章討論了這些演算法的理論性質（例如收斂性），第11章則介紹幾個主流的分散式機器學習系統（包括Spark MLlib，Multiverso引數伺服器系統，和TensorFlow資料流系統）。最後的第12章是全書的結語，在對全書內容進行簡要總結之後，著重討論分散式機器學習這個領域未來的發展方向。

3.1 大資料與大模型的挑戰

大規模訓練資料的出現為訓練大模型提供了物質基礎，因此近年來湧現出了很多大規模的機器學習模型。這些模型動輒可以擁有幾百萬、甚至幾十億個引數。一方面，這些大規模機器學習模型具備超強的表達能力，可以幫助人們解決很多難度非常大的學習問題；而另一方面，它們也有自己的弊端：非常容易過擬合（也就是在訓練集上取得非常好的效果，然而在未知測試資料上則表現得無法令人滿意），因此倒逼訓練資料的規模；結果無可避免地導致大資料和大模型的雙重挑戰，從而對計算能力和儲存容量都提出新的要求。計算複雜度高，導致單機訓練可能會消耗無法接受的時長，因而不得不使用並行度更高的處理器、或者計算機叢集來完成訓練任務；儲存容量大，導致單機無法滿足需求，不得不使用分散式儲存。在這個背景下，湧現出很多新的軟、硬體技術，包括圖形處理器（GPU）的興起和大規模計算機叢集的廣泛使用。

GPU和CPU相比，有更強的並行度和計算能力，可以使複雜的訓練過程變得更加高效。

圖3.1  GPU在各種計算領域的突出表現（出處：英偉達官網）

GPU的運算能力雖然很強，但是當訓練資料更大、計算複雜度更高時，單塊GPU還是會捉襟見肘。這時就需要利用分散式叢集，尤其是GPU叢集來完成訓練任務。這使得亞馬遜AWS、微軟Azure、谷歌Google Cloud等雲端計算公司獲得了巨大的發展機遇。之前，雲端計算服務的主要目的是解決企業的IT管理問題——將IT集中化、服務化；而近年來隨著人工智慧的飛速發展，大規模機器學習和科學計算越來越多地成為了雲端計算上的典型任務。比如AWS推出的P2虛擬機器，包含1-16個GPU的配置選擇；而Azure上的N系列虛擬機器，也提供了1-4塊GPU的配置選項；人們開始利用它們來實現人工智慧模型的訓練。與此同時，很多大型公司和學術機構開始建立屬於自己的私有GPU叢集。在這些大規模計算資源的支援下，如今很多前沿的學術研究和高階人工智慧產品背後，都在使用包含成百上千塊卡的GPU叢集進行運算。

3.2 分散式機器學習的基本流程

之所以需要使用分散式機器學習，大體有三種情形：一是計算量太大，二是訓練資料太多，三是模型規模太大。對於計算量太大的情形，可以採取基於共享記憶體（或虛擬記憶體）的多執行緒或多機並行運算。對於訓練資料太多的情形，需要將資料進行劃分，並分配到多個工作節點上進行訓練，這樣每個工作節點的區域性資料都在容限之內。每個工作節點會根據區域性資料訓練出一個子模型，並且會按照一定的規律和其他工作節點進行通訊（通訊的內容主要是子模型引數或者引數更新），以保證最終可以有效整合來自各個工作節點的訓練結果得到全域性的機器學習模型。對於模型規模太大的情形，則需要對模型進行劃分，並且分配到不同的工作節點上進行訓練。與資料並行不同，在模型並行的框架下各個子模型之間的依賴關係非常強，因為某個子模型的輸出可能是另外一個子模型的輸入，如果不進行中間計算結果的通訊，則無法完成整個模型訓練。因此一般而言，模型並行對通訊的要求較高。讀者請注意，以上三種分散式機器學習的情形在實際中通常是摻雜在一起發生的。比如，我們遇到的實際問題可能訓練資料也多、模型也大、計算量也大。所以有時候不太容易清楚地劃分這些不同情形的邊界。如果一定要區分它們的佔比，到目前為止，資料並行還是最常見的情形，因為訓練資料量過大導致訓練速度慢仍是分散式機器學習領域的主要矛盾。因此在本書行文過程中，我們將用大部分篇幅來講解資料並行時需要解決的一些問題，同時也會盡量覆蓋與計算並行和模型並行有關的問題。

無論是上面提到的哪種情形，分散式機器學習都可以用圖3.2加以描述。它包含以下幾個主要模組：資料與模型劃分模組、單機優化模組、通訊模組、以及資料與模型聚合模組。這些模組的具體實現和相互關係可能因不同演算法和系統而異，但一些基本的原理是共通的。接下來我們會對這些模組加以簡要綜述。

圖3.2  分散式機器學習系統框架

9.4.2 同步、非同步的融合

同步和非同步演算法有各自的優缺點和適用場景。如果可以把它們結合起來應用，取長補短，或許可以更好地達到收斂速度與收斂精度的平衡。例如：對於機器數目很多、本地工作節點負載不均衡的叢集，我們可以考慮按照工作節點的運算速度和網路連線情況進行聚類分組，將效能相近的節點分為一組。由於組內的工作節點效能相近，可以採用同步並行的方式進行訓練；而由於各組間運算速度差異大，更適合採用非同步並行的方式進行訓練。這種混合並行方法既不會讓執行速度慢的本地工作節點過度拖累全域性訓練速度，也不會引入過大的非同步延遲從而影響收斂精度。圖9.10展示了一個能夠完成這種混合並行的原型系統框架。

圖9.10 有分組的並行機器學習系統

混合並行演算法的核心挑戰是如何找到一種合理的工作節點分組方式。對於分組方式的簡單暴力搜尋是不可行的，因為組合數非常大。比如對於16個工作節點組成的叢集，不同的分組情況有10,480,142,147種。一種比較實用的方法是對工作節點按照某種指標進行聚類，再按照聚類結果，採用組內同步、組間非同步的方式來規劃分散式機器學習系統的執行邏輯。不過，顯而易見，當採取不同的指標時, 聚類的結果會有很大差別。為了取得更好的聚類效果，我們可以利用另外一個機器學習模型，也就是採取所謂元學習（meta learning或learning to learn）的思路。

圖9.11給出了一個可行的元學習系統流程：首先針對工作節點和執行的學習任務提取一系列的特徵。工作節點的特徵可以包括CPU/GPU的計算效能、記憶體、硬碟的資訊，以及工作節點兩兩之間的網路連線情況等；學習任務的特徵可以包括資料的維度，模型的大小和結構等。我們可以首先利用工作節點的特徵，採用層次聚類的方法得到若干候選分組。然後用這些候選分組在抽樣的資料集上進行試訓練，得到分散式訓練的速度（比如到達特定的精度所需要的時間）。而後針對這些分組和學習任務的特徵，訓練一個預測優化速度的神經網路模型。利用這個模型對於未知的候選分組進行打分，最終找到這個任務上最好的分組。

圖9.11 一種可行的混合並行選取框架

劉鐵巖，微軟亞洲研究院副院長。劉博士的先鋒性研究促進了機器學習與資訊檢索之間的融合，被國際學術界公認為“排序學習”領域的代表人物。近年來他在深度學習、分散式學習、強化學習等方面也頗有建樹，發表論文200餘篇，被引用近兩萬次。多次獲得最佳論文獎、最高引用論文獎、Springer十大暢銷華人作者、Elsevier 最高引中國學者等。受邀擔任了包括SIGIR、WWW、KDD、ICML、NeurIPS、AAAI、ACL在內頂級國際會議的程式委員會主席或領域主席和多家國際學術期刊副主編。他被聘為卡內基-梅隆大學（CMU）客座教授、諾丁漢大學榮譽教授、中國科技大學教授、博士生導師；他被評為國際電子電氣工程師學會（IEEE）會士，國際計算機學會（ACM）傑出會員。他擔任了中國計算機學會青工委副主任，中文資訊學會資訊檢索專委會副主任，中國雲體系創新戰略聯盟常務理事。他的團隊釋出了LightLDA、LightGBM、Multiverso等知名的機器學習開源專案，並且為微軟CNTK專案提供了分散式訓練的解決方案，他的團隊所參與的開源專案在Github上已累計獲得2萬餘顆星。

陳薇，微軟亞洲研究院機器學習組主管研究員，研究機器學習各個分支的理論解釋和演算法改進，尤其關注深度學習、分散式機器學習、強化學習、博弈機器學習、排序學習等。陳薇於2011年於中國科學院數學與系統科學研究院獲得博士學位，同年加入微軟亞洲研究院，負責機器學習理論專案，先後在NeurIPS、ICML、AAAI、IJCAI等相關領域頂級國際會議和期刊上發表文章。

王太峰，螞蟻金服人工智慧部總監、資深演算法專家。他在螞蟻金服負責AI演算法元件建設，包括文字理解，影象理解，線上學習，強化學習等等，演算法工作服務於螞蟻金服的支付，國際，保險等多條業務線。在加入螞蟻之前他在微軟亞洲研究院工作11年，任主管研究員，他的研究方向包括大規模機器學習，資料探勘，計算廣告學等等。他在國際頂級的機器學習會議上發表近20篇的論文和4次大規模機器學習專題講座，並被多次邀請為各個會議程式委員。他目前還是中國人工智慧開源軟體發展聯盟的副祕書長，他在大規模機器學習工具開源方面也做出過很多貢獻，在微軟期間主持開發過DMTK的開源專案，在Github上獲得綜述超過8千的點贊，獲得廣泛的好評。

高飛，微軟亞洲研究院副研究員，主要從事分散式機器學習和深度學習的研究工作，並在國際會議上發表多篇論文。2014年設計開發了當時規模最大的主題模型演算法和系統LightLDA。他還開發了一系列分散式機器學習系統，並通過微軟分散式機器學習工具包（DMTK）開源在Github上。

歡迎大家在留言區留言，分享你在分散式機器學習領域的見解，留言點贊數前3名的小夥伴將分別獲得劉鐵巖博士親筆簽名的贈書一本！

留言截止時間：2018年11月28日

活動最終解釋權歸微軟亞洲研究院所有

本書已經在京東上架，點選“閱讀原文”，直達購買頁面。

你也許還想看：

感謝你關注“微軟研究院AI頭條”，我們期待你的留言和投稿，共建交流平臺。來稿請寄：[email protected]。