你的寵物也有藝術化身了,谷歌 AI 新功能上線
11 月 11 日訊息,本週二,谷歌為其藝術與文化(Arts and Culture)應用程式推出了“寵物肖像(Pet Portraits)”的 AI 新功能:使用者拍攝的寵物照片可以匹配藝術作品,例如古埃及雕像、墨西哥街頭藝術、中國水彩畫等。
谷歌藝術與文化應用程式於 2016 年推出。它最初提供了大量的藝術作品,使用者可以在上面瀏覽藝術家和藝術史的資訊。此前,谷歌就已經推出用於人臉匹配藝術作品的 Art Transfer 和 Art Selfie 功能。
你的寵物像哪個藝術作品的形象呢?谷歌藝術與文化應用程式的新功能將告訴你答案。
一、為愛寵匹配到名畫,主人驚了
在體驗“肖像功能”時,使用者可以為自己的寵物拍照,無論是狗、貓或馬、鳥等動物,都可以在數萬件藝術作品中找出與照片相匹配的藝術作品。
使用者可以拍攝或從相簿上傳寵物的照片,而得到與之相匹配的藝術作品,谷歌稱之為“藝術化身”。“藝術化身”的藝術成分佔多少呢?谷歌說了不算,還要看使用者的體驗。
谷歌官網展示了好多動物的案例,看下面這隻小貓,雖然表情、顏色都十分相像,但總覺得哪裡不對,明顯左邊更可愛一點。
終於有一隻小貓、小狗以外的動物了,連臉上白色的部分都一模一樣。
新動物又來了!這隻可愛的玄鳳鸚鵡的腮紅去哪裡了?怪不得匹配度只有 76%。
看到下面這張圖片,主人只能驚呼:“這是哪位?”
一張照片也可以匹配多張藝術作品,我也感受了一下,上傳圖片之後,得到了三個可愛的藝術化身,看起來相似度還挺高。
但 The Verge 上展示的案例,就讓主人喜憂參半了。下面這隻小狗的花色、表情都近乎完美匹配,連眼白都“模仿”地恰如其分!
但還是有一些被吐槽的地方,看這隻小貓,它匹配到的藝術化身,表情相似但花色完全不同,令人好奇這 89% 的相似度是怎麼來的。
下面這隻花色完全一致的小貓,雖然高達 90% 的匹配度,但這驚恐的表情是怎麼回事?
寵物肖像與藝術化身的匹配度就像過山車,忽高忽低,但究其原因不知道是受寵物形象、位置的影響還是 AI 演算法的識別問題。
二、AI 鎖定寵物,比對數萬件藝術品
谷歌最新推出的“寵物肖像”功能,依靠演算法識別照片,並對照片內容作出分析,從其資料庫中尋找相似的藝術作品。
當用戶使用“寵物肖像”功能為自己的寵物拍照時,該應用程式會用計算機視覺演算法識別寵物所在的位置,裁剪影象並將它們放在相應的位置,使得寵物的正面形象位於照片中央。
照片內容的位置調整完成後,機器學習演算法會將寵物的照片與數萬件藝術作品進行匹配,以找到看起來最相似的藝術品。
最後,使用者可以將寵物的照片和藝術作品分享為單個靜止影象,或選擇多張影象生成 GIF 進行釋出。
此外,“寵物肖像”功能還會提供每件藝術品背後的故事以及藝術家的資訊,供使用者閱讀。
三、從人“畫”到寵物,背後 AI 技術起底
谷歌藝術與文化應用程式早期的自拍匹配功能 Art Transfer 可讓使用者將自己的臉與著名藝術作品進行比較。
該功能中包含的藝術作品是基於英國國家美術館、日本 MOA 藝術博物館和其他文化機構的藝術作品,包括文森特・梵高、弗裡達・卡羅、愛德華・蒙克和列奧納多・達芬奇等藝術家的作品。
2018 年 1 月,谷歌的藝術與文化應用程式推出了人像自拍匹配藝術作品的功能 Art Selfie,進入這一功能上傳照片後,使用者就可以看到匹配後的藝術作品以及系統估計每個匹配項和使用者臉部的視覺相似度的百分比。
相比於寵物照片,人臉照片相似度就很高了,看起來也十分舒服。但為何下面這位匹配度只有 53%,不知道是不是因為找不到戴眼鏡的藝術化身。
但下面這個,為什麼把微笑的小姐姐變成如此嚴肅的表情?
Art Transfer 功能的實現是基於麻省理工學院沃森人工智慧實驗室的研究人員構建的小部件,讓使用者可以對他們的照片應用進行相似度藝術轉換。
該研究小組的論文表示,卷積神經網路中的內容和風格表示是可分離的。也就是說,我們可以獨立地操縱它們,以產生新的、具有感知意義的影象。為了證明這一發現,研究人員從兩個不同的源影象生成混合內容和樣式表示的影象。
▲ 研究小組匹配藝術作品和照片的過程(圖片來源為研究小組論文)
通過找到同時匹配照片內容表示和相應藝術作品風格表示的影象來合成影象。雖然保留了原始照片的整體佈局,但構成全部風景的顏色和區域性結構由藝術品提供。實際上是以藝術品的風格渲染照片,使得合成影象的外觀類似於藝術品,但它顯示的內容與照片相同。
谷歌藝術與文化應用程式最初的功能只是展示藝術作品的資訊,直到其匹配藝術作品的功能上線,其 iOS 和 Android 上下載次數迅速增長。
結語:趣用 AI,讓藝術與普通人產生交集
谷歌藝術與文化應用程式最初的功能只是展示藝術作品的資訊,後來陸續上線人臉和寵物照片匹配藝術化身的功能,沖淡了藝術的乏味,為你的照片添加了一層逼真的藝術濾鏡。
從人臉識別到寵物肖像識別,谷歌利用 AI 技術將照片和藝術作品聯絡到一起,但使用者的使用體驗卻參差不齊,有十分逼真的藝術化身,也有讓主人忍不住翻白眼的匹配物件,為了留住使用者,谷歌的 AI 演算法可能要更加“精準定位”了。