原文來源：arxiv

作者：Alexander Kirillov、Kaiming He1、Ross Girshick、Carsten Rother、Piotr Dollar

「雷克世界」編譯：嗯~阿童木呀、KABUDA

現如今，我們提出並研究了一種新的“全景分割”（Panoramic segmentation，PS）任務。可以這樣說，全景分割將傳統意義上相互獨立的例項分割（檢測和分割每個目標例項）和語義分割（為每個畫素分配一個類標籤）任務統一起來了。這種統一是自然的，並在一種孤立的研究狀態中呈現出一種既不存在於例項中，也不存在於語義分割中的全新的挑戰。為了衡量任務執行的效能表現，我們引入了一種全景質量（panoptic quality ，PQ）度量標準，並表明它非常簡單且具有可解釋性。在使用PQ的情況下，我們在三個現有資料集上研究了人類效能表現，其中，這些資料集要有必要的PS註釋，這將有助於我們對任務和度量標準進行更好的理解。我們還提出了一種基本的演算法方法，將例項和語義分割的輸出結合到全景輸出中，並將其與人類的效能表現進行比較。可以這樣說，在分割和視覺識別方面，PS可以作為其未來挑戰的基礎。我們的目標是通過邀請社群探索所提出的全景分割任務從而推動在全新方向的研究。

對於給定的（a）影象，我們展示了以下任務的參照標準：（b）語義分割（每個畫素具有類標籤），（c）例項分割（每個目標具有掩碼和類標籤），以及（d）提出的全景分割（PS）任務（每個畫素具有類+例項標籤）。全景分割泛化了語義和例項分割，並要求識別和描繪影象中的每個可見的目標和區域。我們希望這個統一的分割任務能夠提出新的挑戰，並創造新的方法。

在計算機視覺發展的早期，things（事物）——諸如人、動物、工具等可以計數的物體，得到了佔據主導地位的關注。在質疑這種趨勢是否存在智慧性時，Adelson提高了研究系統的重要性，而這種系統能夠識別出stuff（材料）——諸如草、天空、道路等類似質地或原料的非晶區域。事物和材料之間的這種二分法一直沿用至今，既反映在視覺識別任務的劃分上，也體現在針對事物和材料任務開發的專用演算法中。

學習材料的任務通常被看作是一項稱之為語義分割的任務，見圖1b。由於材料是無定形的、不可數的，這個任務被定義為簡單地為影象中的每個畫素分配一個類別標籤（注意，語義分割將事物類別視為材料）。相比之下，研究事物的任務通常被表述為目標檢測或例項分割任務，其目的是檢測出每個目標，並用邊界框或分割掩碼對其進行描述，參見圖1c。雖然這兩個視覺識別任務看似相關，但是在資料集、細節和度量標準上有很大的不同。

分割瑕疵。影象被縮放和裁剪。頂部行（Vistas影象）：兩個註釋器都將目標識別為一輛汽車，然而，人將一輛汽車分成了兩輛車。底行（Cityscapes影象）：分割是非常模糊的。

語義和例項分割之間的分裂導致了這些任務方法中出現了平行分裂。材料分類器通常建立在具有擴張的完全卷積網路上，而目標檢測器通常使用的是目標提案（object proposals），且是基於區域的。在過去的十年中，這些任務的總體演算法進展是不可思議的，然而，如果將這些任務孤立起來看，就可能會忽略一些重要的內容。

在這項研究中，我們會問：things和stuff之間是否可以和解？是否存在這樣一個簡單的問題表述，能夠優雅地將這兩個任務涵蓋在內？一個統一的視覺識別系統會是什麼樣子的呢？

分類瑕疵。影象被縮放和裁剪。頂部行（ADE20k圖片）：簡單的錯誤分類。底行（Cityscapes影象）：現場是非常困難進行分類的的，有軌電車是正確的分類。其中許多錯誤難以解決。

考慮到這些問題，我們提出一個既包含things又包含stuff的新任務。我們將所得到的任務稱為全景分割（PS）。全景的定義是“一個檢視中可見的一切”，在我們的上下文中，全景檢視指的是分割的統一的全域性檢視。PS的任務表達看似簡單：影象的每個畫素都必須分配一個語義標籤和一個例項ID。具有相同標籤和ID的畫素屬於同一個目標，而對於材料標籤而言，例項ID被忽略。參照標準和機器預測都必須有這種形式。見圖1d的視覺化。

全景分割是語義分割和例項分割的泛化，但引入了新的演算法挑戰。與語義分割不同，全景分割需要區分單個目標例項; 這對完全卷積網路提出了挑戰。與例項分割不同的是，在全景分割中目標分割中必須是非重疊的，這對獨立於操作每個目標的基於區域的方法提出了挑戰。 而且，這項任務需要同時識別出things和stuff。為全景分割設計一個乾淨的、端到端的系統是一個開放的問題，需要探索創新的演算法思想。

Cityscapes（左二）和ADE20k（右三）的全景分割結果。預測是基於最先進的例項和語義分割演算法的合併輸出進行的。匹配部分的顏色（IoU> 0.5）（交叉陰影圖案表示不匹配的區域，黑色表示未標記的區域）。最呈現的是最好的顏色和變焦。

我們新的全景分割任務需要一個新的度量標準。我們努力使我們的度量標準完整、可解釋、簡單。或許，令人驚訝的是，對於我們這看起來複雜的任務，存在一個滿足這些性質的自然度量標準。我們定義了全景質量（PQ）度量標準，並且表明了它可以被分解為兩個可解釋的術語：分割質量（SQ）和檢測質量（DQ），而且還可以進一步細分精度。

由於全景分割的參照標準（ground truth）和演算法輸出都必須採用相同的形式，因此我們可以在全景分割上對人類效能（human performance）進行詳細的研究。這使我們能夠更詳細的瞭解全景質量度量標準，包括檢測與分割的詳細分析，以及材料與事物（stuff 和things）的效能對比。並且，測量人體PQ有助於我們理解機器的效能。這點非常重要，因為它可以讓我們監測全景分割中各種資料集上的效能飽和度。

最後，我們對全景分割的機器效能進行初步研究。為此，我們確定了一個簡單但可能不是最優的啟發式演算法，該演算法通過一系列後處理步驟（post-processing steps）（實際上是一種非最大抑制的複雜形式）將兩個獨立系統的輸出結合起來進行語義和例項分割。我們的啟發式演算法為全景分割建立了一個基線，併為我們提供了有關它所呈現出的主要演算法挑戰（main algorithmic challenges）的見解。

我們在三個通用分割資料集上研究了人和機器的效能，這三個資料集都包含材料與事物（stuff 和 things）註釋。這些資料集分別是Cityscapes、ADE20k和Mapillary Vistas。對於每個資料集，我們都直接從挑戰組織者那裡獲得了最先進方法的結果。在未來，我們將把分析工作擴充套件到COCO（在COCO中材料（stuff）被註釋）上。我們將這些資料集合在一起，為研究人類和機器在全景分割上的表現奠定了堅實的基礎。

我們的目標是通過邀請社群以探索新的全景分割任務從而推動新方向的研究。我們認為，擬定的任務會導致預期之內和預期之外的創新。最後，我們來探討一下這些可能性以及我們未來的計劃。

出於簡單化的目的，本文中提出的PS“演算法”是基於最優執行例項和語義分割系統中輸出的啟發式組合。這個方法是基本性的第一步，但我們希望引入更多有趣的演算法。具體而言，我們希望看到全景分割至少在兩個方面的創新：（1）深度整合的端到端模型可同時解決全景分割的雙重性質。許多例項分割方法都被設計為用於產生不重疊的例項預測，並可以作為此係統的基礎。（2）由於全景分割不能有重疊的部分，因此某種形式的高層次“推理”可能是有益的，例如，將基於可學習的NMS擴充套件到全景分割中。我們希望全景分割任務能夠推動這些領域的研究，進而帶來令人眼前一亮的新突破。

歡迎個人分享，媒體轉載請後臺回覆「轉載」獲得授權，微信搜尋「BOBO_AI」關注公眾號

中國人工智慧產業創新聯盟於2017年6月21日成立，超200家成員共推AI發展，相關動態：

點選下圖加入聯盟

關注“雷克世界”後不要忘記置頂喲

我們還在搜狐新聞、雷克世界官網、騰訊新聞、網易新聞、一點資訊、天天快報、今日頭條、雪球財經……

↓↓↓點選閱讀原文檢視中國人工智慧產業創新聯盟手冊