圖片可以在情感層面上影響人，也能夠直接表達人的情感。對於個人來說，圖片情感是很主觀的，但是人類對於圖片的情感認知是有共性的，這也是圖片情感識別的基礎。現在關於圖片情感的研究主要集中在兩個方面：圖片情感識別、情感圖片檢索。為了識別圖片的情感，需要提取圖片的相關特徵，建立模型，來填補圖片本身與情感之間的情感鴻溝（affective gap）。關於情感特徵的提取，也是圖片情感領域一直以來的熱點問題。情感特徵主要包括低階視覺特徵和高階的語義特徵。低階視覺特徵主要有顏色、紋理、形狀、線條等，而高階語義特徵可以分為兩個層面：認知層（cognitive level）和情感層(affective level)[3]，認知層是表示人類對於某個事物的認識，這在圖片檢索中很有用，比如說檢索詞是一輛酷的車，酷這個詞表現出來的情感是是積極的，對情感內容的檢索就很重要了；而情感層更多的是利用在某些領域中人類的情感和直覺經驗。現在的工作主要還是使用EAEF(elements-of-art based low level emotion features)，但是EAEF有其侷限性，第一個與情感的弱連線，對元素的不同安排是很容易受影響的，這直接導致了在圖片情感識別上的很差的效能，並且EAEF並不能很好的表示高層情感；第二個是不能被人類理解，因為EAEF是從低層的視角提煉出來的，人類並不能理解這些特徵到底代表什麼意思，並且為什麼這麼一些特徵就引導了一種特定的情感[18]。這就是引入高層語義特徵的原因，這也是目前研究的一個趨勢。

         總的來說，主要有兩種表情情感的模型，較多的是情感分類，也就是把情感分為幾種型別，比如Ekman把情感分為六種:高興、悲傷、驚訝、恐懼、憤怒和厭惡[8]，情感是離散的；另一種是把情感對映到維度情感空間中，現在主要採用的是三維（valence-arousal-control）情感空間[4]。Lu et al. 通過形狀特徵研究了情感的可計算性[10]。Machajdik and Hanbury[11]針對藝術作品領域從心理學和藝術理論方面探索了理論和經驗的思想，並且提取了包括人臉和面板的圖片語義特徵。Zhao et al.[18]研究了藝術原則（principles-of-art）的思想以及藝術原則在圖片情感上的影響，包括平衡、強調、協調、多樣性、漸變、運動、韻律、比例（balance, emphasis, harmony, variety, gradation, movement, rhythm,and proportion）。Wang et al.[12]發展了一種基於心理學和電影學的系統的方法，提取了視覺興奮度、顏色能量等一些視聽的特徵，對電影進行情感分類。Jiang at al.[19]提出一個理解計算框架來預測使用者產生的視訊進行情感分類，提取了視覺、聲音、屬性三方面的特徵，取得了很好的分類效果。Chen at.al[17]通過卷積神經網路提取特徵，分類結果超過了基於手工特徵的傳統方法。

         在我看來，未來對於圖片情感的研究主要在這三個方面：(1)關注最新計算機視覺進展，思考新的屬性，設計更好的特徵；（2）由圖片情感遷移到視訊情感；（3）結合生理訊號研究圖片情感；（4）運用深度學習提取情感特徵。

參考文獻

[1] H. Kang. Affective content detectionusing hmms. In ACM MM, 2003.

[2] N. Bianchi-Berthouze. K-dime: an affective imagefiltering system. Multimedia, IEEE, Volume 10(Issue 3):103 – 106, 2003.

[3] A. Hanjalic. Extracting moods from picturesand sounds: towards truly personalized TV. Signal Processing Magazine, IEEE,23(2):90--100, 2006.

[4] H. Schlosberg. Three dimensions of emotion.Psychological review, 61(2):81, 1954.

[5] W. Wei-ning, Y. Ying-lin, and J. Sheng-ming.Image retrieval by emotional semantics: [6] A study of emotional space andfeature extraction. IEEE Int. Conf. on Systems, Man        andCybernetics, 4(Issue 8-11):3534 – 3539, Oct. 2006.

[7] Q. Wu, C. Zhou, and C. Wang. Content-basedaffective image classification and retrieval using support vector machines.Affective Computing and Intelligent Interaction, 3784:239–247, 2005.

[8] P. Ekman, W. V. Friesen, M. O’Sullivan, A. Chan, I.Diacoyanni-Tarlatzis, K. Heider, R. Krause, W. A. LeCompte, T. Pitcairn, P. E.Ricci-Bitti, K. Scherer, M. Tomita, and A. Tzavaras. Universals and culturaldifferences in the judgments of facial expressions of emotion. Journal ofPersonality and Social Psychology, 53(Issue 4):712–717, Oct 1987.

[9] P. Lang, M. Bradley, and B. Cuthbert. Internationalaffective picture system (IAPS): Affective ratings of pictures and instructionmanual. Technical report, Univ. Florida, Gainesville, 2008.

[10] Xin Lu , Poonam Suryanarayan , Reginald B. Adams,Jr. , Jia Li , Michelle G. Newman , James Z. Wang, On shape and thecomputability of emotions, Proceedings of the 20th ACM international conferenceon Multimedia, October 29-November 02, 2012, Nara, Japan.

[11] Jana Machajdik , Allan Hanbury, Affective imageclassification using features inspired by psychology and art theory,Proceedings of the international conference on Multimedia, October 25-29, 2010,Firenze, Italy.

[12] H. L.Wang and L.-F. Cheong. Affective understandingin film. Circuits and Systems for Video Technology, IEEE Transactions on,16(6):689–704, 2006.

[13] R. Datta, J. Li, and J. Z.Wang. Algorithmicinferencing of aesthetics and emotion in natural images: An exposition. InICIP, 2008.

[14] A.Hanjalic and L.-Q. Xu. Affective video contentrepresentation and modeling. IEEE Transactions on Multimedia, 7(1):143–154,2005.

[15] J. Jia, S.Wu, X.Wang, P. Hu, L. Cai, and J. Tang.Can we understand van gogh’s mood? learning to infer affects from images insocial networks. In ACM MM, 2012.

[16] S. Zhao, H. Yao, F.Wang, X. Jiang, andW. Zhang.Emotion based image musicalization. In ICMEW, 2014.

[17] Ritendra Datta, Jia Li and James Ze Wang, "Learning deep features for image emotion classification ", ImageProcessing, 2015. ICIP 2015. 22th IEEE International Conference, pp. 4491- 4495.

[18] S. Zhao et al.Exploring principles-of-art features for image emotion recognition. In ACM MM,2014.

[19] Y.-G. Jiang, B. Xu, and X. Xue. Predictingemotions in user-generated videos. In AAAI, 2014

[20] M. Solli and R. Lenz. Color semantics for imageindexing. In ECCGIV, 2010.