1. 程式人生 > >Towards Image Understanding From Deep Compression Without Decoding閱讀筆記

Towards Image Understanding From Deep Compression Without Decoding閱讀筆記

ABSTRACT    

  最近基於深度神經網路(DNN)的影象壓縮方法的研究顯示了影象質量的潛在改進,儲存節省和頻寬減少,我們建議直接對由此產生的壓縮表示執行影象理解任務,如分類和分割。   由於基於DNN的壓縮方法中的編碼器和解碼器是具有特徵對映作為影象內部表示的神經網路,因此我們將這些與架構直接整合以用於影象理解。這繞過了將壓縮表示解碼成RGB空間並降低了計算成本。   我們的研究表明,可以實現與壓縮RGB影象上執行的網路相當的精度,同時將計算複雜度降低到2倍。此外,我們表明,通過在壓縮表示上聯合訓練壓縮網路和分類網路,提高影象質量,分類準確度和分割效能,可以獲得協同效應。我們發現,與壓縮RGB影象的推斷相比,壓縮表示的推斷能達到更大的壓縮率。

1 INTRODUCTION

  基於神經網路的影象壓縮方法最近已成為一個活躍的研究領域。 這些方法利用了常見的神經網路架構,如卷積自動編碼器、迴圈神經網路等用於壓縮和重建RGB影象,並且在感知指標上表現優於JPEG2000甚至BPG,這些指標包括結構相似性指數(SSIM)和多尺度結構相似性指數(MS-SSIM)。 實質上,這些方法將影象$x$編碼為某個特徵圖(壓縮表示),隨後將其量化為一組符號$z$。 然後將這些符號(無損地)壓縮為位元流,解碼器從該位元流重建與$x$相同尺寸的影象$\hat x$參見圖1和圖2(a))。