編者按：深度學習在計算機視覺領域取得了巨大的成功，有研究者甚至一度期望這種端到端的學習策略可以完全替代傳統模型驅動的演算法。然而，大量工作證明：當我們面臨複雜問題的時候，完全拋棄領域知識是非常不明智的策略。因此，如何將領域知識和先驗融合到深度網路中，成為深度學習領域一個新的研究熱點。其中，Deep Unrolling為我們提供了一種結合知識與資料的有效手段。

本文中，來自大連理工大學的劉日升副教授，將為大家介紹基於Unrolling的深度方法及應用。文末提供文中提到參考文獻的下載連結。

本次報告主要向大家彙報一下基於Unrolling的深度學習方法，其在計算機視覺領域的各種應用，以及我們近期針對該型別深度網路的一些理論分析方面的工作。

近年來，深度學習相關工作大量湧現。在早期階段，研究者們大多基於經驗和對問題的一些理解，啟發式地設計網路結構，並通過端到端學習的方式得到解決具體問題的深度模型。該類方法在計算機視覺領域的一些問題中已經取得了巨大成功。比如在人臉識別、目標檢測等High-level問題中，各種深度網路的效能已經遠遠優於傳統方法。但隨著相關研究的逐漸深入，學者們也發現完全啟發式設計的深度網路並不能在所有視覺問題中都取得令人滿意的結果。特別是在一些底層視覺問題中，直接使用端到端學習策略和經驗設計網路的效能並不能令人滿意。比如，現有的啟發式深度網路在影象盲去模糊問題中的效能仍然無法令人滿意。

為了更深刻理解深度網路的本質特點，我們首先比較一下傳統模型驅動的思路和端到端學習深度網路建模方法的區別與聯絡。具體來說：模型驅動

方法通常首先利用領域知識為問題建立數學模型，進而通過特定的優化演算法或求解策略得到模型的最優解。相對應地，端到端學習方法則希望直接建立輸入資料與輸出結果的非線性對映關係，其效能往往與訓練資料的質量和規模有密切關係。總結起來，我們發現以上兩種方法分別主要側重於利用“領域知識”或者基於“資料（及經驗）”來解決計算機視覺問題。很自然的，如果我們可以有效結合這兩種不同的策略，將非常有希望設計出更加強大、且可解釋性更強的深度網路模型。這也引出了我們後面將向大家介紹的Deep Unrolling技術。

近年來，Unrolling技術為“領域知識”與“資料（“及經驗）”結合提供了一種有效手段。具體來說，所謂Unrolling是指我們將求解一個給定連續模型的迭代優化看成是一個動態系統，進而通過若干可學習模組來離散化這一系統，得到資料驅動的演化過程（Data-dependent Propagation）的方法。實際上，Unrolling過程與機器學習領域的元學習（Meta Learning）和近期LeCun等人提出的可微分程式設計（Differentiable Programming）概念也有著非常密切的內在聯絡。

在Unrolling方法中，我們首先需要設計一個迭代框架（Schematic Scheme），在此基礎上進一步將可學習模組嵌入到迭代中。更為重要的是，我們還需要對於所設計的演化過程進行必要的理論分析。

接下來，我們將對計算機視覺領域中使用Unrolling思想的方法進行簡要回顧。需要指出的是，在一些工作中，其原始論文雖然沒有顯式地使用Unrolling的概念，但我們仍然可以通過Unrolling框架對這些方法的原理和有效性進行解釋和分析。

偏微分方程/擴散過程是非常經典的一類影象處理方法。該類方法實質上可以考慮為求解一個變分能量的梯度流。我們在2010年首先提出基於學習的偏微分方程（Learning-based PDE）解決各種不同的影象處理（去噪、分割、去馬賽克等）問題。該方法最大的特點是通過學習旋轉與平移不變的基本微分不變數來實現對擴散過程的Unrolling。並通過最優控制技術實現系統引數的端到端學習。值得指出的是，基於學習的偏微分方程實際上就是一種基於微分運算元的、結構簡化的深度網路模型。此外，我們所採用的最優控制框架也與現在被廣泛使用的反向傳播技術有著深刻的本質聯絡。隨後，Chen 和Pork的工作則使用更高階的運算元來進行擴散學習，解決影象去噪等問題。

MRF作為一類無向圖上的引數化先驗，也可以被用來刻畫不同型別影象的潛在分佈規律。近年來，通過使用不同的優化策略（如半二次分裂、原始對偶、交替方向等）作為基礎迭代格式，並使用高階濾波器對MRF先驗進行Unrolling，學者們提出了一系列不同的影象增強演算法，並在不同的應用領域取得了較好的效果。

由於CNN實質上也可以看成是一種高階的擴散運算元，因此直接使用CNN對優化迭代過程進行Unrolling成為最近一兩年來非常熱門的研究方向。各種不同的CNN結構和Unrolling思路大量湧現。這裡需要指出的是，Unrolling方法中CNN不再是一個端到端的迴歸器。實質上，我們更傾向於認為其學習的是優化演算法在真實資料上每步計算所產生的迭代誤差（或模型誤差）。因此在這類Unrolling方法中，我們往往使用不同強度的高斯噪聲來訓練迭代過程中的CNN模組。

接下來，我們將進一步使用Unrolling思想對幾類在底層視覺領域取得成功的深度網路方法進行分析與理解。

VDSR是一種將殘差結構（Residual Structure）應用到影象處理問題上的深度學習方法，其在超解析度問題上取得了非常好的效果。我們通過分析發現，VDSR網路結構實際上可以被理解成為一個一步的梯度下降過程。而CNN則學習了我們從低解析度輸入到高解析度輸出的下降方向。 相對於較早期的超解析度網路（如SRCNN等，直接學習低解析度到高解析度的對映），VDSR通過學習下降方向（即殘差），顯著降低了網路的學習難度，從而取得了更好的效果。

隨後，DnCNN將類似的思想成功應用到了影象去噪問題中，再次驗證了使用CNN學習下降方向在底層視覺問題中的有效性。

EDSR作為VDSR的改進，取得了更優於VDSR的超解析度效果。按照Unrolling的觀點，我們可以非常直觀的發現，在其網路結構中，作者實際上使用了更多的殘差單元來進行梯度下降，而通過級聯更多的下降模組，我們實際上得到了一個基於CNN的可學習迭代過程。從優化角度來看，更多的迭代步數往往可以讓我們更容易得到複雜（如非凸）問題的最優解。這也從一個側面給出了EDSR優於VDSR的原因。

在非盲影象去模糊問題中，IRCNN取得了非常好的效能。而該方法最大的成功就是將CNN網路結構引入到了影象復原模型的優化過程中。

在盲影象復原領域，最近的一些方法將各種不同的CNN模組整合到優化模型中（如Li et al），或者通過級聯的方式模型構建隱式的梯度流（如Nah et al）。以上方法所提出的網路結構也均可以被Unrolling思想解釋。

Ledig et al的工作給出了基於感知損失的殘差網路訓練方法。這一工作實際上表明我們可以使用對抗和感知損失函式來對級聯的梯度下降模組（殘差單元）進行訓練，從而得到更加真實的影象增強結果。

以上我們介紹的Unrolling方法均面向Low-level問題（如去噪，去模糊，超分辨等）。實際上，很多High-level問題也可以使用Unrolling方法解決。如LeCun等人提出的LISTA方法，就是將解決稀疏字典學習的一階優化演算法（ISTA）使用引數化網路進行Unrolling。而Xiong和De la Torre則通過將一個非線性迴歸模型的每一步梯度下降迭代使用線性迴歸進行Unrolling，得到了解決人臉特徵點檢測等問題的新方法。最近，研究者還嘗試將強化學習（Li 和Malik）和遞迴網路結構（Andrychowicz et al）引入到迴歸、分類模型的Unrolling過程中。

總結起來，Unrolling主要包括三個核心步驟，即設計迭代格式、嵌入可學習模組和理論分析。已有工作將注意力主要集中在前兩部分，而由於使用了可學習模組對迭代格式進行非精確展開和計算，原有數值演算法的理論性質（如收斂性等）已經不再被保持。因此我們迫切需要對於Unrolling過程的理論性質給出一些分析。此外，如何從理論上挖掘Unrolling過程的內在屬性和有效性保證也是非常值得研究的內容。以下將簡要介紹一下我們在相關問題上的一些初步嘗試。

我們首先基於一階非光滑優化格式給出了一個通用的迭代框架。在此基礎上，我們進一步使用殘差結構設計了一個可學習網路結構來進行下降方向估計。我們注意到大多數已有的Unrolling演算法往往直接使用網路結構代替部分迭代計算過程。而我們在使用可學習下降模組進行Unrolling的基礎上，還引入了一個額外的誤差矯正模組。這一模組的最主要作用就是可以及時控制迭代過程中網路所產生的過大迭代誤差。

具體來說，通過分析基於網路的Unrolling過程所引入的誤差，並使用臨近迭代輸出來控制網路的非精確計算，我們得到了一種新的網路前饋傳播精度控制準則，即所謂的“鬆弛化最優性準側”。

基於以上的設計，我們可以在理論上證明，在求解一個非凸非光滑模型的最優解的問題中，我們所提出的Unrolling框架，可以產生一個全域性收斂的序列（注意，這裡的“全域性收斂”指的是序列整體上收斂到給定的點，而非收斂到全域性最優解）。如果所處理的問題有一個明確的先驗正則化r時，我們可以證明該序列收斂到給定模型的一個Critical Point。此外，即使在不知道先驗r的情況下，我們產生的序列仍然可以全域性收斂到一個Fixed Point。我們首先將這裡提出的Unrolling方法考慮成是一個非精確的迭代演算法，並與標準優化策略進行比較。我們發現通過引入網路快速估計下降方向，我們的收斂速度（LBS）明顯快於傳統基於數學推導設計的迭代格式（如FBS，FISTA，ADMM等）。右上方的圖示則給出了使用我們的誤差矯正（LBS）和直接進行Unrolling（nLBS）的迭代曲線比較。我們可以看到不考慮誤差控制而直接使用網路進行Unrolling會產生嚴重的震盪，甚至得到完全不收斂的迭代序列。而通過使用我們提出的自適應誤差矯正策略，序列的收斂性得到顯著改善。

接下來，我們以盲影象去模糊（反捲積）為例，展示如何利用我們提出的Unrolling框架解決具體的視覺問題。我們知道，由於盲影象去模糊問題需要從一個已知觀測同時估計出未知的模糊核和清晰影象，該問題是一個典型的病態反問題。因此傳統方法往往需要設計複雜的先驗，並根據經驗人為改造迭代過程，來實現對特定型別影象的去模糊。幸運的是，基於我們的Unrolling框架，我們提出了一種“生成-矯正”式的網路結構。這裡Generator是一個進行影象生成的殘差網路模組（反映資料和經驗），Corrector則是一個基於反捲積模型設計的自適應迭代矯正模組（反映領域知識）。我們通過級聯這樣兩類模組並進行協同學習，給出了一種可以在保證理論收斂的前提下，有效恢復各種不同型別模糊圖片的新方法。 這裡需要指出的是，我們所提出的這一“生成-矯正”式協同學習結構，實際上是一種比“生成-對抗”網路更加適合解決那些具有強領域知識的底層視覺問題。

我們在更多的視覺問題中嘗試使用以上的Unrolling策略，並在水下增強，低光影象增強、去除反射、去除雨層等問題中取得了非常好的效果。

在深度學習的發展過程中，研究者曾經希望端到端學習策略可以完全替代傳統模型驅動的演算法。但大量工作已經證明當我們面臨複雜問題的時候，完全拋棄領域知識是非常不明智的策略。這往往意味著我們需要使用更深的網路結構和更多的訓練資料來學習問題中的潛在複雜迴歸關係。在一些情況下我們甚至無法找到合適的網路或訓練資料。因此如何將領域知識和先驗融合到深度網路中成為深度學習領域一個新的研究熱點。

Deep Unrolling為我們提供了一種結合知識與資料的有效手段。我們可以通過領域知識建立原始模型並給出基礎迭代格式。在此基礎上通過引入可學習模組，進而從給定訓練資料中學習該問題的潛在規律和資料分佈。最後通過Unrolling實現知識與資料的有效融合。而我們近期的工作則從理論上為Unrolling方法的收斂性和有效性給出分析，在此基礎上設計了一系列基於自適應誤差矯正的Unrolling方法，併成功應用到不同的底層視覺問題中。

我們最後指出，“學習如何學習”（即Learning to Learn或Meta Learning）是人工智慧未來發展的重要方向。而我們相信Unrolling將會成為設計Meta Learning演算法的一類重要手段。

參考文獻連結：

連結: https://pan.baidu.com/s/1JtI9YV5JZyTj5SfChW1sog 密碼: gsqb

主編：袁基睿，編輯：程一

整理：曲英男、楊茹茵、高科、高黎明

--end--

該文章屬於“深度學習大講堂”原創，如需要轉載，請聯絡 Emily_0167。

作者簡介：

劉日升，大連理工大學國際資訊與軟體學院副教授。大連理工大學本科、博士，香港理工大學博後。研究方向為面向視覺問題的可學習優化演算法，特別是基於深度模型的非凸非光滑優化建模與求解。近年來在重要學術期刊（TPAMI、TIP、TNNLS、TMM、Machine Learning等）和會議（CVPR、NIPS、AAAI、ACM MM、ECCV、CIKM、ICDM等）發表論文70餘篇。相關工作被引用1200餘次，最高單篇引用500餘次。連續獲得ICME（CCF-B類）2015和2014年度最佳學生論文獎，兩篇論文入圍ICME 2017最佳論文Finalist（Top 3%），獲得ICIP 2015（CCF-C類）最佳10%論文獎，ICIMCS 2017最佳論文提名獎，IEEE智慧計算專委會亮點論文獎（Publication Spotlight）。獲得教育部自然科學二等獎1項（排名第三）、遼寧省自然科學二等獎1項（排名第三）。擔任The Visual Computer Journal（CCF-C類期刊）、IET Image Processing（CCF-C類期刊），Journal of Electronic Imaging編委（Associate Editor），CVPR、ICCV、ECCV、NIPS、IJCAI、AAAI、ACCV、BMVC、ICIP等會議PC成員或審稿人以及IJCV、TPAMI、TIP、TNNLS、TKDE、TCSVT、TPDS等期刊審稿人。中國計算機學會計算機視覺專委會委員、中國計算機學會多媒體專委會委員、中國影象圖形學會機器視覺專委會委員、中國影象圖形學會多媒體專委會委員、中國計算機學會YOCSEF大連委員。

往期精彩回顧

歡迎關注我們！

深度學習大講堂是由中科視拓運營的高質量原創內容平臺，邀請學術界、工業界一線專家撰稿，致力於推送人工智慧與深度學習最新技術、產品和活動資訊！

中科視拓（SeetaTech）將秉持“開源開放共發展”的合作思路，為企業客戶提供人臉識別、計算機視覺與機器學習領域“企業研究院式”的技術、人才和知識服務，幫助企業在人工智慧時代獲得可自主迭代和自我學習的人工智慧研發和創新能力。

中科視拓目前正在招聘： 人臉識別演算法研究員，深度學習演算法工程師，GPU研發工程師， C++研發工程師，Python研發工程師，嵌入式視覺研發工程師，運營經理。有興趣可以發郵件至：[email protected]，想了解更多可以訪問，www.seetatech.com

中科視拓

深度學習大講堂

點選閱讀原文開啟中科視拓官方網站