Superpixel Sampling Networks 超畫素取樣網路

摘要 超畫素提供影象資料的有效低/中級表示，這極大地減少了後續視覺任務的影象基元的數量。 現有的超畫素演算法並不是不可靠的，因此很難將它們整合到其他端到端可訓練的深度神經網路中。 我們開發了一種新的超畫素取樣差分模型，利用深度網路學習超畫素分割。 由此產生的超畫素取樣網路（SSN）是端到端可訓練的，它允許學習任務特定的超畫素具有靈活的損失功能並具有快速執行時間。 廣泛的實驗分析表明，SSN不僅在傳統的分割基準測試中勝過現有的超畫素演算法，而且還可以學習其他任務的超畫素。 此外，SSN可以輕鬆整合到下游深度網路中，從而提高效能。

1介紹

超畫素是通過基於低階影象屬性對影象畫素[33]進行分組而形成的影象的過分割。 它們提供影象內容的感知上有意義的細分，從而減少用於後續影象處理的影象基元的數量。 由於它們具有代表性和計算效率，超畫素已經成為一種既定的低/中等級影象表示，並廣泛應用於計算機視覺演算法，如物體檢測[35,42]，語義分割[15,34,13]，顯著性 估計[18,30,43,46]，光學估計[20,28,37,41]，深度估計[6]，跟蹤[44]等等。 超畫素尤其廣泛用於傳統能量最小化框架中，其中少量影象基元極大地降低了優化複雜性。
近年來，對於廣泛的計算機視覺問題採用深度學習的情況急劇增加。 除了一些方法（例如，[13,18,34]），超畫素幾乎不與現代深度網路結合使用。 這有兩個主要原因。 首先，形成大多數深層結構基礎的標準卷積運算通常定義在規則網格上，並且當在不規則超畫素網格上操作時變得無效。 其次，現有的超畫素演算法是不可分解的，因此在深度網路中使用超畫素在其他端到端可訓練網路架構中引入了非可分解模組。
在這項工作中，我們通過提出一種新的用於超畫素分割的深度可微演算法來緩解第二個問題。我們首先回顧廣泛使用的簡單線性迭代聚類（SLIC）超畫素演算法[1]，並通過放寬SLIC中存在的最近鄰約束將其轉化為可擴充套件演算法。這種新的可分辨演算法允許端到端訓練，並使我們能夠利用強大的深度網路來學習超畫素，而不是使用傳統的手工製作的功能。這種深度網路與可靠的SLIC的組合構成了我們稱為超畫素取樣網路（SSN）的端到端可訓練超畫素演算法。圖1顯示了所提出的SSN的概述。給定的輸入影象首先通過深度網路，在每個畫素處產生特徵。然後將這些深度特徵傳遞到可差分SLIC上，該SLIC執行迭代聚類，產生所需的超畫素。整個網路是端到端的可訓練的。 SSN的可憐性質允許使用靈活的損失函式來學習任務特定的超畫素。圖1顯示了一些樣本SSN生成的超畫素。
3個不同的分割基準資料集（包括BSDS500 [4]，Cityscapes [10]和PascalVOC [11]）的實驗結果表明，所提出的超畫素取樣網路（SSN）對現有的顯著超畫素演算法表現出色，同時也更快。 我們還通過簡單地將我們的SSN框架整合到使用超畫素的現有語義分割網路[13]中來證明，實現了效能改進。 此外，我們證明了SSN在學習其他視覺任務的超畫素方面的靈活性。 具體而言，在Sintel光學資料集[7]的概念驗證實驗中，我們演示瞭如何學習更好地與光學邊界而不是標準物體邊界對齊的超畫素。 與現有的超畫素演算法相比，所提出的SSN具有以下有利特性：
端到端可訓練：SSN是端到端可訓練的，可以輕鬆整合到其他深層網路架構中。 據我們所知，這是第一個端到端可訓練的超畫素演算法。
{靈活和任務特定：SSN允許學習具有靈活的損失函式，從而學習任務特定的超畫素。
{最先進的效能：對各種基準資料集的實驗表明，SSN優於現有的超畫素演算法。
{有利的執行時間：SSN在執行時方面也對著名的超畫素演算法表現出色，使其能夠在大型資料集上學習，並且對實際應用也有效。

2相關工作

超畫素演算法。 傳統的超畫素演算法可以廣泛地分為基於圖形和基於聚類的方法。 基於圖形的方法將超畫素分割表示為圖形分割問題，其中圖形節點由畫素表示，並且邊緣表示相鄰畫素之間的連線強度。 通常，通過解決離散優化問題來執行圖分割槽。 此類中一些廣泛使用的演算法包括標準化削減[33]，Felzenszwalb和Huttenlocher（FH）[12]，和熵率超畫素（ERS）[26]。 由於離散優化涉及離散變數，優化目標通常是不可分的，因此難以在基於圖的方法中利用深層網路。
另一方面，基於聚類的方法利用傳統的聚類技術，例如用於超畫素分割的k均值。此類中廣泛使用的演算法包括SLIC [1]，LSC [25]和Manifold-SLIC [27]。這些方法主要進行k均值聚類，但其特徵表示不同。雖然SLIC [1]將每個畫素表示為5維位置和Lab顏色特徵（XY Lab特徵），但LSC [25]方法將這些5維特徵投影到10維空間並在投影空間中執行聚類。另一方面，Manifold-SLIC [27]使用二維流形特徵空間進行超畫素聚類。雖然這些聚類演算法需要迭代更新，但在SNIC方法[2]中提出了用於超畫素分割的非迭代聚類方案。提出的方法也是一種基於聚類的方法。但是，與現有技術不同，我們利用深度網路通過端到端的培訓框架來學習超畫素聚類的功能。
正如最近的一篇調查論文[36]所詳述的，其他技術被用於超畫素分割，包括分水嶺變換[29]，幾何[24]，圖形切割[39]，平均移位[9]和爬山[5]。 然而，這些方法都依賴於手工製作的功能，將深度網路融入這些技術並非易事。 最新的SEAL技術[38]提出了一種通過非可微超畫素演算法繞過梯度來學習超畫素分割的深度特徵的方法。 與我們的SSN框架不同，SEAL不是端到端的可分辨性。
深度聚類。受到監督任務深度學習成功的啟發，有幾種方法研究了深度網路在無監督資料聚類中的應用。最近，Gre等人。人。 [17]提出神經期望最大化框架，他們使用深度網路模擬聚類標籤的後驗分佈，並展開EM程式中的迭代步驟，以進行端到端訓練。在另一項工作[16]中，梯形網路[31]用於建模用於聚類的分層潛變數模型。好時等人。 [19]提出了一種基於深度學習的聚類框架，用於分離和分割音訊訊號。謝等人人。 [40]提出了一個深度嵌入式叢集框架，用於同時學習特徵表示和叢集分配。在最近的一份調查報告中，Aljalbout等。人。 [3]給出了基於深度學習的聚類方法的分類。在本文中，我們還提出了一種基於深度學習的聚類演算法。與以前的工作不同，我們的演算法是針對超畫素分割任務而定製的，我們使用影象特定約束。此外，我們的框架可以輕鬆地結合其他視覺目標函式來學習任務特定的超畫素表示。

3預備知識

SSN的核心是一種可靠的聚類技術，其靈感來自SLIC [1]超畫素演算法。 在這裡，我們在下一節描述我們的SSN技術之前先看看SLIC。 SLIC是最簡單的，也是最廣泛使用的超畫素演算法之一。 它易於實現，具有快速執行時間，並且還可以生成緊湊且均勻的超畫素。
儘管SLIC演算法有幾種不同的變體[25,27]，但在原始形式中，SLIC是在五維位置和顏色空間（通常是縮放的XY Lab空間）中對影象畫素執行的k均值聚類。 形式上，給定具有n個畫素的5維XY Lab特徵的影象，超畫素計算的任務是將每個畫素分配給m個超畫素中的一個，即，計算畫素 - 超畫素關聯圖。 SLIC演算法如下操作。 首先，我們在5維空間中對初始聚類（超畫素）中心進行取樣。 該取樣通常在畫素網格上均勻地進行，並且基於影象梯度具有一些區域性擾動。 給定這些初始超畫素中心S0，SLIC演算法以迭代方式進行，在每次迭代t中具有以下兩個步驟：
畫素 - 超畫素關聯：將每個畫素與五維空間中最近的超畫素中心相關聯，即，計算每個畫素p處的新的超畫素分配，
超畫素中心更新：每個超畫素簇內的平均畫素特徵（XY Lab）以獲得新的超畫素聚類中心St.對於每個超畫素i，我們計算該聚類的質心，
這兩個步驟構成了SLIC演算法的核心，並重復進行，直到收斂或進行多次迭代。 由於計算公式中的距離D. 在所有畫素和超畫素之間的1是耗時的，該計算通常被約束到每個超畫素中心周圍的固定鄰域。 最後，根據應用程式，有一個可選步驟，在每個超畫素叢集中的畫素之間強制實現空間連線。 關於SLIC演算法的更多細節可以在Achanta等人的文章中找到。人。[1]。 在下一節中，我們將闡明如何修改SLIC演算法以開發SSN。

4超畫素取樣網路

如圖1所示，SSN由兩部分組成：一個生成畫素特徵的深層網路，然後傳遞給不可分割的SLIC。 在這裡，我們首先描述可區分的SLIC，然後是SSN架構。

4.1 可微超畫素

為什麼SLIC不可微？ 仔細觀察SLIC中的所有計算表明，由於畫素超畫素關聯的計算而產生不可微分性，其涉及不可微分的最近鄰居操作。 這個最近鄰居計算也構成了SLIC超畫素聚類的核心，因此我們無法避免這種操作。
我們的方法的關鍵是將最近鄰居操作轉換為可區分操作。 而不是計算硬畫素 - 超畫素關聯（在等式1中），我們建議計算畫素和超畫素之間的軟關聯Q 。 具體而言，對於迭代t處的畫素p和超畫素i，我們用以下畫素 - 超畫素關聯替換SLIC中的最近鄰計算（等式1）。
現在，每個SLIC迭代中的計算都是完全可微的，我們將這種修改演算法稱為可差的SLIC。 根據經驗，我們觀察到用可微分SLIC中的軟畫素替換SLIC中的硬畫素 - 超畫素關聯不會導致任何效能下降。 由於這種新的超畫素演算法是可微分的，因此可以輕鬆地整合到任何深度網路架構中。 我們可以利用深度特徵提取器並端到端地訓練整個網路，而不是使用手動設計的畫素特徵Ip。 換句話說，我們將上述計算中的影象特徵Ip（等式3和4）替換為使用深度網路計算的k維畫素特徵。 我們將深度網路與可微分SLIC的耦合稱為超畫素取樣網路（SSN）。
演算法1概述了SSN中的所有計算步驟。該演算法從使用CNN的深度影象特徵提取開始（第1行）。我們使用初始常規超畫素網格中的平均畫素特徵初始化超畫素聚類中心（第2行）（圖2）。然後，對於v次迭代，我們使用上述計算（第3-6行）迭代地更新畫素 - 超畫素關聯和超畫素中心。雖然可以直接使用軟畫素 - 超畫素關聯Q來執行多個下游任務，但是根據應用需求，可以選擇將軟關聯轉換為硬關聯（第7行）。此外，與原始SLIC演算法一樣，我們可以選擇強制跨每個超畫素叢集內的畫素進行空間連線。這是通過將小於某個閾值的超畫素與周圍的超畫素合併，然後為每個空間連線的元件分配唯一的簇ID來實現的。請注意，這兩個可選步驟（第7,8行）不具有可比性。
畫素和超畫素表示之間的對映。對於使用超畫素的一些下游應用，畫素表示被對映到超畫素表示，反之亦然。利用提供硬聚類的傳統超畫素演算法，這種從畫素到超畫素表示的對映是通過在每個聚類內部進行平均來完成的（方程2）。從超畫素到畫素表示的逆對映是通過將相同的超畫素特徵分配給屬於該超畫素的所有畫素來完成的。我們可以使用與SSN超畫素相同的畫素 - 超畫素對映，使用從SSN獲得的硬簇（演算法1中的第7行）。然而，由於這種硬關聯的計算是不可區分的，因此在整合到端到端可訓練系統時可能不希望使用硬簇。值得注意的是，由SSN生成的軟畫素 - 超畫素關聯也可以容易地用於畫素和超畫素表示之間的對映。式。圖4已經描述了從畫素到超畫素表示的對映，其是與列標準化Q矩陣的轉置的簡單矩陣乘法：S = ^ Q> F，其中F和S分別表示畫素和超畫素表示。從超畫素到畫素表示的逆對映是通過將表示為~Q的行標準化Q與超畫素表示F = ~QS相乘來完成的。因此，畫素 - 超畫素特徵對映被給出為具有關聯矩陣的簡單矩陣乘法並且是可區分的。之後，我們將利用這些對映來設計損失函式來訓練SSN。

4.2網路架構

圖3顯示了SSN網路架構。用於特徵提取的CNN由一系列與批量歸一化[21]（BN）和ReLU啟用交織的卷積層組成。我們使用max-pooling，在第2和第4個卷積層之後將輸入下采樣2倍，以增加接收域。我們對第4和第6卷積層輸出進行雙線性上取樣，然後與第2卷積層輸出連線以傳遞到最終卷積層。我們使用3 * 3卷積濾波器，每層輸出通道數設定為64，除了輸出k-5通道的最後一個CNN層。我們將這個k-5通道輸出與給定影象的XY Lab連線，產生k維畫素特徵。我們選擇這種CNN架構的簡單性和高效性。可以想到其他網路架構。得到的k維特徵被傳遞到可微分SLIC的兩個模組上，迭代地更新畫素 - 超畫素關聯和超畫素中心以進行v次迭代。整個網路是端到端的可訓練的。

4.3學習任務 - 特定超畫素

端到端可訓練SSN的主要優點之一是在損失函式方面的靈活性，我們可以使用它來學習任務特定的超畫素。 與任何CNN一樣，我們可以將SSN與任何特定於任務的特定損失功能相結合，從而學習針對下游計算機視覺任務進行優化的超畫素。 在這項工作中，我們專注於優化超畫素的表徵效率，即學習能夠有效地表示場景特徵的超畫素，如語義標籤，光學，深度等。例如，如果我們想要學習超畫素， 將要用於下游語義分割任務，期望產生遵循語義邊界的超畫素。 為了優化代表性效率，我們發現任務特定重建損失和緊湊性損失的組合表現良好。
任務特定重建損失。我們用超級畫素表示我們想要有效表示的畫素屬性為R.例如，R可以是語義標籤（作為一熱編碼）或光學地圖。值得注意的是，我們在測試時間內無法訪問R，即SSN僅使用影象資料預測超畫素。我們僅在訓練期間使用R，以便SSN可以學習預測適合表示R的超畫素。如前所述在4.1節中，我們可以使用列標準化關聯矩陣Q，將畫素屬性對映到超畫素，其中l。然後將得到的超畫素表示R映射回畫素表示R 1。使用行標準化關聯矩陣~Q，R？ =〜QS，哪裡R？ 2 Rn？l。然後重建損失給出為
其中L（：; :)表示任務特定的損失函式。 在這項工作中，對於分割任務，我們使用L的交叉熵損失，並使用L1範數來學習光學上的超畫素。 這裡Q表示在可微分SLIC的最終迭代之後的關聯矩陣Qv。 為方便起見，我們省略了v。
緊湊性損失。 除了上述損失之外，我們還使用緊湊性損失來鼓勵超畫素在空間上緊湊，即在每個超畫素簇內具有較低的空間變化。 設IXY表示位置畫素特徵。 我們首先將這些位置特徵對映到我們的超畫素表示中，Sxy = Q * Ixy。 然後，通過將相同的超畫素位置特徵分配給屬於該超畫素的所有畫素，Ixy = Sxy | Hp = i，使用硬關聯H而不是軟關聯Q對畫素表示進行逆對映。 緊湊性損失定義為以下L2規範：
這種損失促使超畫素具有較低的空間方差。 SSN的靈活性允許使用許多其他損失函式，這使得未來有趣的研究。 我們在這項工作中使用的整體損失是這兩個損失函式的組合，L = Lrecon + ALcompact，其中我們在所有實驗中將A設定為10 ^ -5。

4.4實施和實驗協議

我們在Caffe神經網路框架中使用CUDA將可微分SLIC實現為神經網路層[22]。 所有實驗都是使用Caffe和Python介面進行的。 我們使用縮放的XY Lab特徵作為SSN的輸入，位置和顏色特徵尺度分別表示為pos和color。 顏色的值與超畫素的數量無關，並且設定為0.26，顏色值在0到255之間.post的值取決於超畫素的數量，Ypos = n * max（mw / nw; mh / nh） ，其中mw; nw和mh; nh分別表示沿影象寬度和高度的超畫素和畫素的數量。 在實踐中，我們觀察到n = 2.5表現良好。
對於培訓，我們使用大小為201 * 201和100個超畫素的影象塊。在資料增加方面，我們使用左右翻轉，對於小型BSDS500資料集[4]，我們使用影象塊的隨機縮放的附加資料增強。對於所有實驗，我們使用亞當隨機優化[23]，批量大小為8，學習率為0：0001。除非另有說明，否則我們訓練模型進行500K迭代，並根據驗證精度選擇最終訓練模型。對於消融研究，我們訓練具有不同引數的模型進行200K迭代。重要的是要注意，我們使用單個訓練的SSN模型通過縮放輸入位置特徵來估計不同數量的超畫素，如上所述。我們使用5次迭代（v = 5）的可微分SLIC進行訓練，並在測試時使用10次迭代，因為我們觀察到只有邊際效能增益和更多迭代。有關程式碼和經過培訓的模型，請參閱https://varunjampani.github.io/ssn/。

實驗

我們在4個不同的基準資料集上進行實驗。 我們首先演示了學習的超畫素在突出的超畫素基準BSDS500上的實驗[4]（第5.1節）。 然後，我們演示了在Cityscapes [10]和PascalVOC [11]資料集上使用任務特定超畫素進行語義分割（第5.2節），以及在MPI-Sintel [7]資料集上使用光學（第5.3節）。 此外，我們演示了在使用超畫素的下游語義分割網路中使用SSN超畫素（第5.2節）。

5.1學習的超畫素

我們在BSDS500基準資料集上進行消融研究並與其他超畫素技術進行評估[4]。 BSDS500包括200個列車，100個驗證和200個測試影象。 每個影象都使用來自多個註釋器的地面實況（GT）段進行註釋。 我們將每個註釋視為一個單獨的樣本，產生1633個訓練/驗證對和1063個測試對。
為了學習遵循GT段的超畫素，我們在重建損失中使用GT段標籤（公式5）。 具體而言，我們將每個影象中的GT段表示為單熱編碼向量，並將其用作重建損失中的畫素屬性R. 我們在方程式中使用L的交叉熵損失。 5.注意，與GT標籤具有含義的語義分割任務不同，該資料集中的GT段不具有任何語義含義。 這對我們的學習設定沒有任何問題，因為SSN和重建丟失都與畫素屬性R的含義無關。重建損失使用給定輸入訊號R及其重建版本R *生成損耗值，並且不考慮 是否在影象中保留了R的含義。
評估指標。超畫素在各種視覺任務中都很有用，並且存在用於評估超畫素的若干度量。在這項工作中，我們將可實現的分段準確度（ASA）視為我們的主要指標，同時還報告邊界指標，如邊界召回（BR）和邊界精度（BP）指標。 ASA分數表示在超畫素上執行的任何分割步驟可實現的精度的上限。另一方面，邊界精度和召回率測量超畫素邊界與GT邊界的對齊程度。我們在補充材料中更詳細地解釋了這些指標。這些得分越高，分割結果越好。我們通過改變生成的超畫素的平均數量來報告平均ASA和邊界度量。對邊界精度和召回的公平評估期望超畫素在空間上連線。因此，為了進行無偏差的比較，我們遵循計算硬叢集的可選後處理並在SSN超畫素上實施空間連線（演算法1中的第7行{8）。消融研究。我們參考圖3所示的主模型，在深網路中有7個卷積層，如SSNdeep。作為基線模型，我們評估使用畫素XY Lab功能作為輸入的可差SLIC生成的超畫素。這類似於標準SLIC演算法，我們將其稱為SSNpix並且沒有可訓練的引數。作為另一個基線模型，我們用單個卷積層替換了深層網路，該層學習了線性變換輸入XY Lab特徵，我們將其稱為SSNlinear。
圖4顯示了具有不同特徵維度k的這些不同模型的平均ASA和BR分數以及可分辨SLIC中的迭代次數v。 SSNlinear的ASA和BR已經可靠地高於基線SSNpix，顯示了我們的損耗函式的重要性，並通過超畫素演算法反向傳播損耗訊號。 SSNdeep進一步提高了ASA和BR得分。 我們觀察到具有更高特徵維度k的更好的分數以及更多的迭代v。出於計算原因，我們選擇k = 20和v = 10並且從這裡開始將該模型稱為SSNdeep。
與現有技術比較。 圖5顯示了SSN與最先進的超畫素演算法的ASA和精度回讀比較。 我們與以下突出的演算法進行比較：SLIC [1]，SNIC [2]，SEEDS [5]，LSC [25]，ERS [26]，ETPS [45]和SCALP [14]。 圖表示SSNpix的效能與SLIC超畫素類似，表明SLIC的效能在放鬆最近鄰居約束時不會下降。 與其他技術的比較表明，SSN在ASA評分和精確召回方面表現更好。 圖2顯示了比較SSNpix和SSNdeep的視覺結果，圖7顯示了將SSNdeep與現有技術進行比較的視覺結果。 請注意，SSNdeep超畫素平滑地跟隨物件邊界，並且也更集中在物件邊界附近。

5.2用於語義分割的超畫素

在本節中，我們將介紹Cityscapes [10]和PascalVOC [11]的語義分段基準測試結果。 實驗設定與前一部分的實驗設定非常相似，唯一的區別是使用語義標籤作為重建損失中的畫素屬性R. 因此，我們鼓勵SSN學習遵循語義段的超畫素。
都市風景。 Cityscapes是一個大規模的城市場景理解基準，具有畫素精確的語義註釋。 我們使用2975列車影象訓練SSN並評估500個驗證影象。 為了便於實驗，我們嘗試使用半解析度（512 * 1024）影象。 圖6中的圖表示SSNdeep在ASA方面與SEAL [38]超畫素相當，而在精確回憶方面更好。 我們在圖7中顯示了一個視覺結果，在補充中有更多。
執行時分析。我們報告了不同技術的近似執行時間，用於在表1中的512 * 1024城市景觀影象上計算1000個超畫素。我們使用NVIDIA Tesla V100 GPU計算GPU執行時間。 SSNpix和SSNdeep之間的執行時比較表明SSN計算時間的重要部分是由可微分SLIC引起的。執行時表明SSN比幾個超畫素演算法的實現快得多。 PascalVOC。 PascalVOC2012 [11]是另一種廣泛使用的語義分割基準，我們用1464個訓練影象訓練SSN並驗證1449個驗證影象。圖8（a）顯示了不同技術的ASA分數。我們不分析該資料集上的邊界分數，因為GT語義邊界用忽略標籤擴充套件。 ASA分數表明SSNdeep優於其他技術。我們還對該資料集上的BSDS訓練模型進行了評估，並且僅觀察到精度的微小下降（圖8（a）中的“SSNdeep-BSDS”）。這顯示了SSN對不同資料集的推廣和魯棒性。示例視覺結果如圖7所示，補充中有更多。
我們進行了另外的實驗，我們將SSN插入[13]的下游語義分段網路中，[13]中的網路具有雙邊初始層，利用超畫素進行跨中間CNN表示的長距離資料自適應資訊傳播。 表2顯示了對測試資料評估的該聯合模型的聯合交叉（IoU）分數。 與[13]中使用的原始SLIC超畫素相比，IoU的改進表明，SSN還可以為使用超畫素的下游任務網路帶來效能改進。

用於光流的超畫素

為了證明SSN對迴歸任務的適用性，我們進行了概念驗證實驗，我們學習了符合光流邊界的超畫素。 為此，我們在MPI-Sintel資料集[7]上進行實驗，並使用SSN來預測給定一對輸入幀的超畫素。 我們使用GT光流作為重建損耗中的畫素屬性R（公式5）並使用L1損失L，鼓勵SSN生成可以有效表示流的超畫素。

總結

我們提出了一種新穎的超畫素取樣網路（SSN），它利用通過端到端訓練學到的深層特徵來估計任務特定的超畫素。 據我們所知，這是端到端可訓練的第一個深度超畫素預測技術。 實驗的幾個基準測試表明，SSN始終如一地對最先進的超畫素技術表現出色，同時也更快。 將SSN整合到語義分段網路[13]中還可以提高效能，顯示SSN在下游計算機視覺任務中的實用性。 SSN快速，易於實施，可以輕鬆整合到其他深層網路中，具有良好的實證效能。
SSN解決了將超畫素納入深度網路的主要障礙之一，這是現有超畫素演算法的不可分割性質。 在深度網路中使用超畫素可以具有幾個優點。 超畫素可以降低計算複雜度，尤其是在處理高解析度影象時。 超畫素也可用於強制分段不變的假設，也有助於遠端資訊傳播[13]。 我們相信這項工作開闢了利用深層網路中的超畫素的新途徑，並激發了使用超畫素的新深度學習技術。致謝。 我們感謝Wei-Chih Tu提供評估指令碼。 我們感謝Ben Eckart對補充視訊的幫助。