摘要

       作者突出了一個無相關的影象質量評估的方法。此方法來源於RankIQA。為了刻畫出IQA資料集大小的限制所帶來的影響。作者訓練的是Siamese網路就影象質量去給影象排序，通過去綜合已知的相關影象質量來實現。這些排好順序的影象可以自動的進行綜合排序，而不需要人工的標註。作者使用精細的調整將訓練好的Simese網路遷移到傳統的CNN網路來對完整的影象質量進行評估。文中描述了為什麼這種方法比傳統的Siamese網路通過前向傳播一個bath的影象，然後通過一個bath中的反向梯度傳播工作地更加有效率。在TID2013基準點表現出了比state-of-art高5個百分點地效果。在LIVE基準上展示出了，該方法比現有的無相關影象質量檢測辦法擁有更好的效果。

介紹

日常生活中，影象在被獲取的過程中，經常會收到扭曲、變形、模糊。IQA是一種對影象質量評估的技術，影象質量評估技術應該與許多人類評估的平均具有高度的相關性。該技術被廣泛應用與影象質量重要的場景，例如影象修復、超解析度影象和影象檢索中。

IQA方法按照是否具有無失真影象被分為三個種類，FR-IQA、RR-IQA、NR-IQA。研究者幾乎都專注與更加有現實意義的NR-IQA。在NR-IQA中，很多方法都專注於一個特別的形變扭曲特徵。這一點直接限制了這些方法的應用。還有一些方法集合考慮了一系列的形變扭曲特徵。

CNN對計算機視覺的研究和實踐具有很大的影響。神經網路對於NR-IQA問題的應用的推動也是有重要的影響。對比於曾經的辦法，這一研究方向帶來了重要意義的進步。之前的辦法表現出的問題是對一個較大的IQA資料集的缺失。特別是神經網路已經越來越深、越來越廣，帶來的是引數的急劇增長，所以對於IQA，需要更大的訓練集。然而，在對於IQA的影象資料集標註過程中，對於每一張影象都需要多個人來標註，所以IQA標註過程將是一個極其耗時耗力的過程。然而可以獲得的IQA訓練集都是太小而不能有效地去訓練CNN網路。

作者提出一個處理對大的資料集缺失的辦法。因為人工標註費時費力，轉而直接通過不同的影象處理，得到相應質量排序的影象。通過這種辦法，從而獲取到影象集，對於我們產生的影象集，即使對於每一張產生的影象，我們沒有一個完全的影象評估策略，但是對一組影象，我們可以知道哪一幅影象具有更高的質量。把這種從排序中進行學習的方法叫做RankIQA，用這一方法可以就影象質量使用Siamese網路來進行影象的排序。然後將從排序的影象中學到的知識遷移到IQA資料來對傳統的CNN網路進行微調，用以提高IQA的準確度。

第二個改進為：在Siamese網路中用一個方法來達到高效的反向傳播。這個方法通過一個單獨的網路向前傳送一系列影象，然後反向傳播的批處理中影象的梯度。實驗表明這樣的反向傳播比其他訓練協議要更好。github網址：

2相關工作

作者關注於形變類的NR-IQA。

傳統的NR-IQA方法。大部分傳統的NR-IQA可以被分為Natural Scene Statistics（NSS）和learning-based方法。對於NSS，假定對於不同質量的影象在經過特定濾波所得到的響應是不同的。Wavelets、DCT、和Curvelets是通常在不同的網路被用來提取特徵。這些特徵分佈引數化的，例如普遍高斯分佈。這些方法的目標是估計引數分佈，從而推斷影象質量評估。傳統方法都是通過提取出自然統計分佈特徵，並以此來對影象質量進行評估。對於現有的小的影象質量評估資料集，通過無監督的學習方法，被用在沒有MOS資料集的特徵提取。特徵圖可以用來建立人類視覺系統以及通過這些方法進行精度上的提高。

深度學習的NR-IQA。近期一個主要的缺陷就是對於較大的標註資料集的需求無法得到填補。為了解決這一問題，Kang等人在2014年的CVPR發表了Convlutional neural networks for no-reference image quality assessment，認為一次性送入小批量的32x32的影象而不是完整的圖，從而極大的增加了訓練的樣本。Kang等人在2015年的ICIP上發表了Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks。方法是設計一個多工的CNN網路去學習影象形變以及影象的質量。Bianco等人提出使用一個預訓練網路去減緩訓練資料的不足。他們從一個與訓練的模型然後基於IQA資料集進行微調，從而提取影象特徵；這些特徵然後被送給SVR模型，再匹配到最後的輸出分數。這篇文章的作者提出的是另外的一種策略去解決訓練資料不足的問題。使用了大量的通過生成的按照影象質量進行排序的影象集來訓練一個深度的神經網路。相比其他完全基於IQA資料集訓練的網路就具有更深更廣的神經網路。

排序學習。通過最小化排序損失從一個真實的排序學會如何去排序。這一功能可以被用來對測試目標進行排序。【25】的作者使用了隨機梯度下降的方法對成對的影象進行排序。這已經成功應用於較大的資料集。結合排序以及CNN網路的思想，孿生網路再人臉的驗證問題上表現出了很好的效果。其他再NR-IQA有用到排序的文章【6】是組合了不同的手工特徵去表徵影象對的特徵。作者的辦法最主要的不同不是專注於排序，而是將排序作為一種資料的增強的技術來進行學習。使用了易獲得的資料集來對影象進行排序，從而來訓練網路，這是對NR-IQA任務的微調。

Hard-negative mining對於孿生網路的訓練。作者提出的是一個高效的孿生反向傳播網路，不僅僅是基於hard-negtive選塊。是