出處：https://blog.csdn.net/lingpy/article/details/96468326
關鍵詞：
文字模態特徵集
影象模態特徵集
相似性度量
子空間方法
不同模態樣本對資訊
深度學習方法
雜湊變換方法
主題模型方法
深度學習的特徵抽取能力
平均精度(Average Precision)
平均精度均值(Mean Average Precision)

文章脈絡
1、跨模態檢索定義
2、跨模態檢索國內外團隊
3、跨模態檢索主要方法
4、跨模態檢索主要評價方法

1、跨模態檢索定義

2、跨模態檢索國內外團隊
國外
Rasiwasia[1] 在2010年提出將典型相關分析方法應用到文字和影象間的跨模態檢索。
國內
北京大學彭宇新老師課題組
採集併發布了XMedia資料集，並在半監督跨模態檢索等方面做了深入研究。

北京交通大學張磊[2] 博士和北京郵電大學花妍[3] 博士等分別在語義一致的跨模態關聯學習方面做了深入研究。

浙江大學金仲明[4] 博士和北京郵電大學馮方向[5] 博士分別在基於深度學習的跨模態檢索研究中取得了很好的成果。

西安光電精密機械所的李學龍老師課題組在跨模態雜湊演算法方面做出了突出的貢獻。

中國科學院王亮和赫然老師課題組

南京大學李武軍老師課題組

浙江大學楊易老師課題組

廈門大學紀嶸嶸老師課題組

電子科技大學沈復明老師課題組等
就跨模態檢索資料集的採集、跨模態關聯學習、高層語義建模、跨模態雜湊學習等方面進行了廣泛的研究

3、跨模態檢索主要方法

跨模態檢索的主流方法大致可以分為四類：子空間的方法、深度學習的方法、雜湊變換的方法和主題模型的方法。

子空間的方法
基本思想
利用不同模態樣本對的成對共生資訊學習投影矩陣，將不同模態的特徵投影到一個共同潛在子空間，然後在該子空間中度量不同模態的相似性，從而實現跨模態檢索。

基於深度學習的跨模態檢索方法
基本思想
利用深度學習的特徵抽取能力，在底層提取不同模態的有效表示，在高層建立不同模態的語義關聯。
兩個階段
首先，對不同模態學習單獨的表示，然後利用高層網路最大化不同模態表示的相關性。

基於雜湊變換的跨模態方法
基本思想
利用不同模態的樣本對資訊，學習不同模態的雜湊變換，將不同模態特徵對映到一個漢明(Hamming)二值空間，然後在漢明空間實現快速的跨模態檢索。雜湊對映學習的基本依據是相似樣本的雜湊編碼是相似的

主題模型法
基本思想
主題模型法基本思想是將跨模態資料的底層特徵對映到一個“隱性語義空間”。與上述方法不同，基於主題模型的方法通過生成式模型來發掘跨模態資料中隱含主題空間，學習得到的”主題”具有較強的可解釋性。

4、跨模態檢索主要評價方法