【論文彙總】 ECCV 2020 語義分割paper彙總
語義分割 segmentation [email protected] 2020
ECCV 2020語義分割文章總結，文章下載連結。
文章目錄
- 語義分割 segmentation [email protected] 2020
- 前言
- 邊緣語義分割
- 弱監督語義分割
- 3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
- 4.Splitting vs. Merging: Mining Object Regions with Discrepancy and Interp Loss for Weakly Supervised Semantic Segmentation
- 5.Weakly Supervised Semantic Segmentation with Boundary Exploration
- 6.Employing Multi-Estimations for Weakly-Supervised Semantic Segmentation
- 7.Box2Seg: Attention Weighted Loss and Discriminative Feature Learning for Weakly Supervised Segmentation
- 8.Regularized Loss for Weakly Supervised Single Class Semantic Segmentation
- 3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
- 半監督語義分割
- 少樣本語義分割
- 3D語義分割
- 14.Image-to-Voxel Model Translation for 3D Scene Reconstruction and Segmentation
- 15.Virtual Multi-view Fusion for 3D Semantic Segmentation
- 16.Efficient Outdoor 3D Point Cloud Semantic Segmentation for Critical Road Objects and Distributed Contexts
- 17.Deep FusionNet for Point Cloud Semantic Segmentation
- 跨域語義分割
- 域自適應語義分割
- 19.Domain Adaptive Semantic Segmentation Using Weak Labels
- 20.Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
- 21.Content-Consistent Matching for Domain Adaptive Semantic Segmentation
- 22.Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation
- 23.Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation
- 24.Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation
- 攻擊策略 異常檢測 資訊洩露
- 25.Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation
- 26.Indirect Local Attacks for Context-aware Semantic Segmentation Networks
- 27.Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation
- 28.Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers
- 語義分割
- 29.Object-Contextual Representations for Semantic Segmentation
- 30.The Semantic Mutex Watershed for Efficient Bottom-Up Semantic Instance Segmentation
- 31.Intra-class Feature Variation Distillation for Semantic Segmentation
- 32.GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
- 33.Class-wise Dynamic Graph Convolution for Semantic Segmentation
- 34.Tensor Low-Rank Reconstruction for Semantic Segmentation
- 35.SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information
- 36.Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
- 37.Attend and Segment: Attention Guided Active Semantic Segmentation
- 38.Learning to Predict Context-adaptive Convolution for Semantic Segmentation
- 39.EfficientFCN: Holistically-guided Decoding for Semantic Segmentation
- 40.Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation
- 41.SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection
前言
文章彙總了ECCV 2020語義分割相關文章，包括文章的title，code，abstract和methods。彙總文章下載連結。
邊緣語義分割
1.JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds
在本文中，我們首次解決了3D語義邊緣檢測任務，並提出了一個新的兩流全卷積網路，該網路可以共同執行語義分割和語義邊緣檢測兩項任務。特別是，我們設計了一個聯合修飾模組，該模組顯式地連線區域資訊和邊緣資訊以改善兩個任務的效能。此外，我們提出了一種新穎的損失函式，該函式鼓勵網路產生具有更好邊界的語義分割結果。
2.Improving Semantic Segmentation via Decoupled Body and Edge Supervision
本文提出了一種語義分割的新正規化。我們的見解是，吸引人的語義分割效能需要對物件的主體和邊緣進行顯式建模，這與影象的高頻和低頻相對應。為此，我們首先通過學習流場使物件部分更加一致來使影象特徵變形。通過顯式取樣不同部分（身體或邊緣）畫素，在去耦監督下進一步優化了生成的身體特徵和剩餘邊緣特徵。
弱監督語義分割
3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
文章挖掘跨影象的語義資訊，用於減少標註，實現弱監督的語義分割。針對綜合物件模式挖掘的跨影象語義關係的價值，分類器中加入了兩種神經求知功能，以互補地捕獲跨影象的語義相似性和差異。特別是，給定一對訓練影象，一個共同注意會強制分類器從共同注意物件中識別共同的語義，而另一個被稱為對比共同注意，則驅動分類器從中識別未共享的語義。其餘的不常見的物件。這有助於分類者在影象區域中發現更多的物件模式和更好的地面語義。除了促進物件模式學習之外，共同注意還可以利用其他相關影象的上下文來改善定位地圖推斷，從而最終受益於語義分割學習。更重要的是，我們的演算法提供了一個統一的框架，可以處理非常不同的WSSS設定。
4.Splitting vs. Merging: Mining Object Regions with Discrepancy and Interp Loss for Weakly Supervised Semantic Segmentation
在本文中，我們專注於在影象級標籤的監督下的弱監督語義分割的任務。在本文中，我們旨在從優化過程的新穎角度解決這個問題。我們提出了分離與合併優化策略，該策略主要由差異損失和交叉口損失組成。提出的差異損失旨在挖掘出不同空間模式的區域，而不僅僅是最有區別的區域，這會導致分裂效果。交叉口損失旨在挖掘不同地圖的公共區域，從而導致合併效果。我們的拆分與合併策略有助於將區域挖掘模型的輸出熱圖擴充套件到物件比例。最後，通過使用分割與合併策略生成的蒙版訓練分割模型。
5.Weakly Supervised Semantic Segmentation with Boundary Exploration
為了在弱監督下獲得語義分割，本文提出了一種簡單而有效的方法，該方法基於從訓練影象中顯式探索物件邊界以保持分割和邊界一致的思想。具體來說，我們通過利用從CNN分類器獲得的粗略定點陣圖來合成邊界註釋，並使用註釋來訓練提議的網路BENet，該網路進一步挖掘更多的物件邊界以提供分割約束。最後生成的訓練影象偽註釋用於監督現成的分割網路。
6.Employing Multi-Estimations for Weakly-Supervised Semantic Segmentation
基於影象級標籤的弱監督語義分割（WSSS）旨在採用影象級標籤來訓練語義分割模型，從而節省大量人力來進行昂貴的畫素級註釋。解決此問題的典型方法是首先採用帶有影象級別標籤的類啟用圖（CAM）生成偽蒙版（也稱為種子），然後將其用於訓練分割模型。主要困難是種子通常稀疏且不完整。相關的作品通常嘗試通過採用許多鈴鐺來增強種子來減輕這個問題。我們提出了一種新穎的方法，通過利用分割模型的魯棒性從多個種子中學習，從而緩解了不準確的種子問題，而不是僅僅依靠一顆種子。我們設法為每個影象生成許多不同的種子，這是對基礎事實的不同估計。分割模型同時利用這些種子進行學習，並自動確定每個種子的置信度。
7.Box2Seg: Attention Weighted Loss and Discriminative Feature Learning for Weakly Supervised Segmentation
我們提出了一種使用邊界框註釋的弱監督語義分割方法。邊界框被視為前景物件的嘈雜標籤。我們預測了一個基於類別的注意力圖，該對映顯著地指導每個畫素的交叉熵損失以集中在前景畫素上並細化分段邊界。這樣可以避免由於背景上的前景標籤不正確而傳播錯誤的漸變。此外，我們學習畫素嵌入，以同時針對高類別內特徵親和力進行優化，同時增加不同類別之間特徵之間的區別。
8.Regularized Loss for Weakly Supervised Single Class Semantic Segmentation
我們提出了一種新的弱監督方法，用於訓練CNN來分割單個興趣類別的物件。我們用有規律的損失函式指導訓練，而不是ground truth。正規化的損失對可能的物體形狀屬性的先驗知識進行建模，從而引導分割走向更合理的形狀。用定期損失訓練CNN很難。我們制定了退火策略，這對於成功培訓至關重要。我們方法的優點是簡單：我們使用標準的CNN架構以及直觀且計算效率高的損失函式。此外，我們對任何任務/資料集應用相同的損失函式，而無需進行任何調整。我們首先評估針對顯著物件分割和共分割的方法。這些任務自然涉及一個感興趣的物件類。
半監督語義分割
9.Negative Pseudo Labeling using Class Proportion for Semantic Segmentation in Pathology
在病理診斷中，由於腺癌亞型的比例與手術後的複發率和生存時間有關，因此在一些醫院中已將病理影象中癌症亞型的比例記錄為診斷資訊。 在本文中，我們提出了一種子型別分割方法，該方法使用比例標籤作為弱監督標籤。 如果估計的分類率高於帶註釋的分類率，則我們將生成負偽標籤，該偽偽標籤表示“輸入影象不屬於此負標籤”，除了標準偽標籤外。它還可以消除減少樣本樣本數量並減輕無法標記低濃度未標記樣本的正偽標記學習的問題，我們的方法優於最新的半監督學習（SSL）方法。
10.Semi-supervised Semantic Segmentation via Strong-weak Dual-branch Network
為了充分挖掘弱標籤的潛力，我們建議通過強弱雙分支網路對強註釋和弱註釋進行單獨處理，從而將大量不準確的弱監督與那些強監督區分開來。我們設計了一個共享的網路元件，以利用強和弱註釋的聯合區分；同時，建議的雙分支分別處理完全和弱監督學習，並有效消除它們的相互干擾。這種簡單的體系結構在訓練過程中只需要少量的額外計算成本，但與以前的方法相比卻帶來了重大改進。
少樣本語義分割
11.Prototype Mixture Models for Few-shot Semantic Segmentation
在本文中，我們提出了原型混合模型（PMM），該模型將不同的影象區域與多個原型相關聯，以實施基於原型的語義表示。通過期望最大化演算法進行估計，PMM結合了有限支援影象中豐富的基於通道的語義和空間語義。 PMM既用作表示形式，又用作分類器，充分利用語義來啟用查詢影象中的物件，同時以雙工方式壓下背景區域。
12.Part-aware Prototype Network for Few-shot Semantic Segmentation
在本文中，我們提出了一種基於原型表示的新穎的少量語義分割框架。我們的關鍵思想是將整體類表示分解為一組零件感知的原型，這些原型能夠捕獲各種細粒度的物件特徵。此外，我們建議利用未標記的資料來豐富我們的零件感知原型，從而更好地建模語義物件的類內變體。我們開發了一種新穎的圖形神經網路模型，以基於標記和未標記的影象生成和增強建議的零件感知原型。
13.Few-Shot Semantic Segmentation with Democratic Attention Networks
在本文中，我們提出了Democratic Attention Network（DAN）來進行幾次語義分割。我們引入了democratized graph注意力機制，該機制可以啟用物件上的更多畫素以在支援影象和查詢影象之間建立魯棒的對應關係。因此，網路能夠將更多前景物件的指導資訊從支援傳播到查詢影象，從而增強其對新物件的魯棒性和通用性。此外，我們通過設計細化融合單元以融合來自中間層的特徵以進行查詢影象分割，提出了多尺度指導。這提供了一種利用多級語義資訊來實現更準確分段的有效方法。
3D語義分割
14.Image-to-Voxel Model Translation for 3D Scene Reconstruction and Segmentation
人類可以輕易從一幅2D影象中感知物體的類別、深度、形狀等，儘管現代深度模型分別解決了這些難題，但它們卻難以同時執行場景3D重建和分割。 我們提出了單鏡頭影象到語義體素模型轉換框架。我們對抗性地訓練一個生成器，以驗證該物件的姿勢。 此外，梯形體素，體積殘差塊和2D到3D跳躍連線有助於我們的模型學習有關3D場景結構的明確推理。 我們收集了一個SemanticVoxels資料集，其中包含116k影象，真實的語義體素模型，深度圖和6D物件姿勢。
15.Virtual Multi-view Fusion for 3D Semantic Segmentation
在本文中，我們將重新審視3D網格的經典多視圖表示形式，並研究使之有效用於3D網格語義分割的幾種技術。給定從RGBD感測器重建的3D網格，我們的方法有效地選擇了3D網格的不同虛擬檢視，並渲染了多個2D通道以訓練有效的2D語義分割模型。來自多個每個檢視預測的要素將最終融合在3D網格頂點上，以預測網格語義分割標籤。使用ScanNet的大型室內3D語義分割基準，我們證明了與以前的多檢視方法相比，我們的虛擬檢視能夠更有效地訓練2D語義分割網路。當在3D曲面上彙總每畫素2D預測時，與所有先前的多檢視方法相比，我們的虛擬多檢視融合方法能夠顯著提高3D語義分割結果，並且與最近的3D卷積方法相比具有競爭優勢。
16.Efficient Outdoor 3D Point Cloud Semantic Segmentation for Critical Road Objects and Distributed Contexts
在這項工作中，我們提出了一種新的神經網路模型，稱為具有自注意全域性上下文的基於注意的動態卷積網路（ADConvnet-SAGC），其中i）應用注意機制自適應地關注與任務最相關的鄰近點，以學習3D物件的點特徵，特別是對於形狀多樣的小型物件； ii）應用自我關注模組，以有效地從輸入中捕獲遠端分散式上下文； iii）一種更合理，更緊湊的體系結構，以進行有效的推理。
17.Deep FusionNet for Point Cloud Semantic Segmentation
我們提出了一種深度融合網路架構（FusionNet），該架構具有一個獨特的基於體素的“ mini-PointNet”點雲表示形式和一個用於大規模3D語義分割的新功能聚合模組（融合模組）。與基於體素的卷積網路相比，我們的FusionNet可以學習更準確的逐點預測。與流行的逐點卷積相比，它可以實現更有效的特徵聚合，具有較低的記憶體和較低的計算複雜度，可用於大規模點雲分割。
跨域語義分割
18.Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
為了充分利用源域中的監督，我們提出了一種新的對抗性學習策略，用於類級特徵對齊，同時保留了跨域語義的內部結構。我們採用了一個細粒度的域區分符，它不僅充當域區分符，而且還在類級別上區分域。傳統的二進位制域標籤也被通用化為域編碼作為監督訊號，以指導新的特徵對齊。使用類別中心距離（CCD）進行的分析驗證了與其他最新方法相比，我們細粒度的對抗策略可實現更好的類別級別對齊。
域自適應語義分割
19.Domain Adaptive Semantic Segmentation Using Weak Labels
在這項工作中，我們提出了一種新的框架，用於在目標域中具有影象級弱標籤的語義分段中進行域自適應。弱標籤可以基於用於非監督域自適應（UDA）的模型預測來獲得，或者從用於語義分割的新的弱監督域自適應（WDA）正規化中的人類註釋者獲得。使用弱標籤既實用又有用，因為（i）在WDA中收集影象級別的目標註釋相對便宜，並且在UDA中不產生任何費用，並且（ii）為類別域對齊提供了機會。我們的框架使用弱標籤來實現特徵對齊和偽標籤之間的相互作用，從而在域自適應過程中同時改善兩者。具體來說，我們開發了一個弱標籤分類模組，以強制網路參與某些類別，然後使用此類訓練訊號來指導所提出的按類別排列的方法。
20.Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
我們考慮從近紅外影象中分割面板的問題。我們將面板分割問題歸結為與目標無關的無監督域自適應（UDA）問題，其中我們使用可見範圍紅色通道的資料來開發NIR影象上的面板分割演算法。
21.Content-Consistent Matching for Domain Adaptive Semantic Segmentation
本文考慮了語義分段從合成源域到實際目標域的適應。CCM的目標是獲取那些與目標域中的真實影象具有相似分佈的合成影象，以便通過採用內容一致的合成影象進行訓練來自然緩解域間隙。具體而言，我們從語義佈局匹配和逐畫素相似性匹配兩個方面促進CCM。首先，我們使用來自源域的所有合成影象來訓練初始分割模型，然後使用該模型為目標域中的未標記影象生成粗糙的畫素級標籤。利用真實/合成影象的粗略/準確標籤圖，我們從水平和垂直方向構造它們的語義佈局矩陣，並執行矩陣匹配，以找出語義佈局與真實影象相似的合成影象。其次，我們選擇那些具有高置信度的預測標籤來為目標域中的所有類別生成特徵嵌入，然後進一步對挖掘的佈局一致的合成影象執行逐畫素匹配，以獲取外觀一致的畫素。利用提出的CCM，僅考慮那些內容一致的合成影象來學習分割模型，這可以有效地減輕那些與內容無關的合成影象所引起的域偏差。對兩個流行的領域適應任務進行了廣泛的實驗，即GTA5-→Cityscapes和SYNTHIA-→Cityscapes。
22.Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation
本文提出了一種創新的**區域性上下文關係一致域自適應（CrCDA）**技術，旨在在全域性級別的一致性中實現區域性級別的一致性。這個想法是要仔細研究區域級要素表示並將它們與區域性級別的一致性對齊。特別，CrCDA通過基於反向傳播的對抗性學習，在標記的源域的特徵空間中顯式地學習並執行原型區域性上下文關係，同時將它們轉移到未標記的目標域。自適應熵最大-最小對抗學習方案被設計為跨域最佳地對齊這數百個區域性上下文關係，而無需區分或額外的計算開銷。擬議的CrCDA已在兩個具有挑戰性的領域自適應分割任務（例如，針對Cityscapes的GTA5和針對Cityscapes的SYNTHIA）上進行了廣泛的評估，並且實驗證明了其與最新技術相比的出色分割效能。自適應熵最大-最小對抗學習方案被設計為跨域最佳地對齊這數百個區域性上下文關係，而無需區分或額外的計算開銷。
23.Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation
在這裡，我們提出了一個創新的框架，旨在減輕影象轉換的偏見，並使跨域特徵與同一類別對齊。這可以通過以下步驟來實現：1）執行目標到源的翻譯，以及2）從它們的預測標籤重建源影象和目標影象。從合成到真實的城市場景理解的大量實驗表明，我們的框架與現有的最新方法具有良好的競爭優勢。
24.Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation
在本文中，我們提出了一種利用語義分割模型的尺度不變性進行自我監督領域自適應的新方法。我們的演算法基於一個合理的假設，即通常而言，無論物件和內容的大小（給定上下文）如何，語義標籤都應保持不變。我們顯示此約束在目標域的影象上受到侵犯，因此可用於在不同比例的補丁之間傳遞標籤。具體來說，我們展示了與目標尺寸的原始影象相比，語義分割模型在按目標域的按比例放大補丁呈現時會產生高熵的輸出。這些比例尺不變的示例是從目標域的最常見影象中提取的。提出了動態類特定熵閾值機制來濾除不可靠的偽標籤。此外，我們還結合了焦點損失來解決自我監督學習中的班級失衡問題。
攻擊策略 異常檢測 資訊洩露
25.Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation
文章將語義分割與影象合成用於缺陷檢測和異常檢測。在本文中，我們系統地研究了語義分割的失敗和異常檢測，並提出了一個由兩個模組組成的統一框架，以解決這兩個相關問題。 第一個模組是影象合成模組，它從分割佈局圖生成一個合成影象，第二個模組是一個比較模組，它計算合成影象和輸入影象之間的差異。我們在三個具有挑戰性的資料集上驗證了我們的框架，並大幅度提高了最新技術水平。
26.Indirect Local Attacks for Context-aware Semantic Segmentation Networks
在本文中，我們表明，生成的網路不僅對擾動影響整個輸入影象的全域性攻擊敏感，而且對擾動限於不與我們的區域重疊的小影象區域的間接區域性攻擊敏感。我們介紹了幾種間接攻擊策略，包括自適應本地攻擊（旨在找到最佳影象位置來擾動）和通用本地攻擊。 此外，我們提出了針對全域性影象級別並獲得欺騙區域的畫素定位的攻擊檢測技術。
27.Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation
視覺資料可能包含私人或敏感資訊，這同樣不適合公開發布。不幸的是，最近在更廣泛的對抗性機器學習領域中的成員推理和對機器學習模型的推理攻擊方面的研究表明，即使是黑匣子分類器，也會在經過訓練的資料集上洩漏資訊。我們證明了這種隸屬推理攻擊可以成功地在複雜的，最新的語義分割模型上進行。為了減輕相關的風險，我們還研究了針對此類成員推理攻擊的一系列防禦措施，並找到了有效的對策，以應對現有風險，而對細分方法的實用性影響很小。
28.Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers
我們基於影象分類的見解，可以通過增加針對物件形狀的網路偏差來提高輸出的魯棒性。我們提出了一種新的訓練方案，可以增加這種形狀偏差。我們的基本思想是將RGB訓練影象的一部分與偽造的影象進行alpha混合，其中每個類別標籤都被賦予一種固定的，隨機選擇的顏色，這種顏色不太可能出現在真實影象中。這迫使網路更加強烈地依賴形狀提示。我們稱這種資料增強技術為“數字繪畫”。
語義分割
29.Object-Contextual Representations for Semantic Segmentation
在本文中，我們研究了語義分割中的上下文聚合問題。由於畫素的標籤是畫素所屬物件的類別的動機，我們提出了一種簡單而有效的方法，即物件上下文表示，通過利用相應物件類的表示來表徵畫素。首先，我們在真相分割的監督下學習目標區域。其次，我們通過彙總位於物件區域中的畫素的表示來計算物件區域表示。最後，我們計算每個畫素與每個物件區域之間的關係，並使用物件上下文表示（它是所有物件區域表示的加權聚合）來擴充套件每個畫素的表示。
30.The Semantic Mutex Watershed for Efficient Bottom-Up Semantic Instance Segmentation
我們提出了一種貪心演算法，用於從有效的Mutex分水嶺分割演算法派生出來的聯合圖分割和標記。它優化了與非對稱多路切割目標密切相關的目標函式，並根據經驗顯示了有效的縮放行為。由於演算法的效率，它可以直接在畫素上執行，而無需事先將影象過度分割為超畫素。我們評估Cityscapes資料集（2D城市場景）和3D顯微鏡的效能。
31.Intra-class Feature Variation Distillation for Semantic Segmentation
在本文中，不同於以前的方法，對於密集的成對關係進行知識蒸餾，我們提出了一種新穎的類內特徵變化精餾（IFVD），將繁瑣模型（教師）的類內特徵變化（IFV）傳遞給緊湊型模型（學生）。具體而言，我們計算每個類別的特徵中心（被視為原型），並通過每個畫素上的特徵與其對應的逐級原型之間的相似度集來表徵IFV。教師模型通常比學生模型學習更強大的類內特徵表示，這使他們具有不同的IFV。
32.GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
在這項工作中，我們提出了一個新穎的框架，該框架結合了更高的物件級上下文條件和部件級空間關係來解決任務。為了解決物件級別的歧義，引入了類條件模組，以在學習部件級語義時保留類級語義。以這種方式，中級特徵在解碼階段之前也攜帶該資訊。為了解決零件級別的歧義和區域性化問題，我們提出了一種新穎的基於鄰接圖的模組，旨在匹配地面實況和預測零件之間的相對空間關係。
33.Class-wise Dynamic Graph Convolution for Semantic Segmentation
通過使用區域性卷積，金字塔卷積或自我注意機制以區域性或全域性方式利用上下文資訊，最近的著作在語義分割方面取得了長足的進步。為了避免在先前的工作中可能引起誤導的上下文資訊聚合，我們提出了一種基於類的動態圖卷積（CDGC）模組來自適應地傳播資訊。在相同類別的畫素之間執行圖推理。在提出的CDGC模組的基礎上，我們進一步介紹了逐級動態圖卷積網路（CDGCNet），它由CDGC模組和基本分段網路兩個主要部分組成，形成了從粗到細的正規化。具體而言，CDGC模組將粗略分割結果作為類掩碼，以提取節點特徵以進行圖構造，並對構造的圖進行動態圖卷積，以學習特徵聚集和權重分配。然後將精煉特徵與原始特徵融合以獲得最終預測。
34.Tensor Low-Rank Reconstruction for Semantic Segmentation
在本文中，我們提出了一種對3D上下文表示進行建模的新方法，該方法不僅避免了空間壓縮，而且還解決了高階難度。在這裡，受張量規範多型分解理論（即高階張量可以表示為1級張量的組合）的啟發，我們設計了一個從低階到高階上下文重建框架（即RecoNet）。具體來說，我們首先介紹張量生成模組（TGM），該模組生成許多1級張量以捕獲上下文特徵的片段。然後，我們使用這些等級1張量通過擬議的張量重構模組（TRM）恢復高等級上下文特徵。
35.SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information
受到半自動方法的實用性和實用性的啟發，本文提出了一種新型的深度神經網路架構，即SideInfNet，該架構有效地將從影象中學習的特徵與從使用者註釋中提取的輔助資訊進行整合。 為了評估我們的方法，我們將提議的網路應用於三個語義分割任務，並對基準資料集進行了廣泛的實驗。
36.Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
在本文中，我們提出了一種統一而有效的交叉模態引導編碼器，該編碼器不僅可以有效地重新校準RGB特徵響應，還可以通過多個階段提取準確的深度資訊，並交替彙總兩個重新校準的表示。 提出的體系結構的關鍵是新穎的“分離和聚合門控”操作，該操作可以在交叉模態聚合之前聯合過濾和重新校準兩種表示形式。 同時，一方面引入了雙向多步傳播策略，以幫助在兩種模式之間傳播和融合資訊，另一方面，在長期傳播過程中保護其特定城市。 此外，我們提出的編碼器可以輕鬆地注入到以前的編碼器-解碼器結構中，以提高其在RGB-D語義分割上的效能。
37.Attend and Segment: Attention Guided Active Semantic Segmentation
在本文中，我們提出了一種在給定部分觀察序列的情況下逐步分割場景的方法。主要思想是通過參加代理商最不確定的領域來提高其對環境的理解。我們的方法包括自我監督的注意力機制和專門的體系結構，用於維護和利用空間記憶體圖來填充環境中看不見的區域。代理可以選擇並進入某個區域，同時依靠來自訪問區域的線索使其他部分產生幻覺。
38.Learning to Predict Context-adaptive Convolution for Semantic Segmentation
在本文中，我們提出了一種上下文自適應卷積網路（CaC-Net），以針對語義特徵圖的每個空間位置預測一個空間變化的特徵加權向量。 在CaC-Net中，從全域性上下文資訊中以引數有效的方式預測了一組上下文自適應卷積核。 當用於與語義特徵圖進行卷積時，預測的卷積核可以生成捕獲全域性和區域性上下文資訊的空間變化特徵加權因子。
39.EfficientFCN: Holistically-guided Decoding for Semantic Segmentation
在本文中，我們提出了EfficientFCN，其主幹是沒有任何卷積的常見ImageNet預訓練網路。引入了整體引導的解碼器，以通過編碼器的多尺度特徵獲得高解析度的語義豐富的特徵圖。解碼任務轉換為新穎的程式碼簿生成和程式碼字組裝任務，這利用了編碼器的高階和低階功能。
40.Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation
在本文中，我們分享了使用分層語義分割網路進行結構提取這一任務的發現。我們提出了一種基於先驗的深度分層CNN網路體系結構，該體系結構允許使用超高解析度（1800 1000）影象提取文件結構。我們將文件影象劃分為重疊的水平條帶，以便網路將條帶分割，並像以前一樣使用其預測蒙版來預測後續條帶的分割。
41.SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection
- code：https://github.com/hlwang1124/SNE-RoadSeg
自由空間檢測是自動駕駛汽車視覺感知的重要組成部分。在資料融合卷積神經網路（CNN）中所做的最新努力已大大改善了語義驅動場景分割。可以將自由空間假定為接地平面，在該平面上這些點具有相似的表面法線。在本文中，我們首先介紹一種名為表面法線估計器（SNE）的新型模組，該模組可以從密集的深度/視差影象中以高精度和高效率推斷出表面法線資訊。此外，我們提出了一種稱為RoadSeg的資料融合CNN架構，該架構可以從RGB影象和推斷的表面法線資訊中提取和融合特徵，以進行準確的自由空間檢測。出於研究目的，我們釋出了一個大型的合成自由空間檢測資料集，在不同的光照和天氣條件下收集的名為“準備行駛（R2D）”道路資料集。
