從換臉到換姿勢，AI 在圖像處理的道路上越走越魔幻

https://mp.weixin.qq.com/s/VFq3BWLpzyKZ3sqVWf1HKA

【導讀】加州大學伯克利分校的研究人員，近日在著名預印本網站 arXive 上，發布了最新的圖像遷移成果：人體姿勢和舞蹈動作遷移。旨在把專業舞蹈演員的動作遷移到不會跳舞的人身上，算法輸出流暢，還原度極高。小編在感嘆黑科技真厲害的同時，不禁為該算法的用途捏一把汗。因為就在不久前的 DeepFakes 深度換臉算法，還被人拿來將明星的臉換到成人影片上。

這篇文章的名字叫做：Everybody Dance Now， 是加州大學伯克利分校的研究人員：Caroline Chan, Shiry Ginosar, TingHui Zhou, Alexei A. Efros 在8月22日提交到 arXiv上的。文章中提出了一個簡單動作遷移的方法：首先選擇一支單人跳舞視頻作為源視頻，將其中的動作轉換到目標視頻中。 只需要幾分鐘，在另一個目標視頻上的目標人員（完全不會跳舞的人）就會呈現同樣的動作。

文章將動作姿態遷移看作是每一幀上圖像到圖像的轉換，同時保證時間和空間的流暢。用動作探測器作為源視頻和目標視頻中間的表示，學習了一組從舞者動作畫面到目標物體的映射，並且對這些數據進行調整，讓它與視頻完美融合，同時還加上了真實的人臉合成。通過這一框架，他們讓很多未經訓練的人跳出了芭蕾和街舞。

文章設計了能體現動作的中間表現形式：左圖的火柴人。

從目標視頻中，作者用動作識別器為每一幀制作了(火柴人, 目標人物圖像)的組合。有了這樣相關的數據，作者就能用監督方法學習火柴人和目標人物之間圖像到圖像的轉換模型了。之後，為了將源視頻的動作遷移到目標視頻中，作者把火柴人輸入到經過訓練的模型後，得到和源視頻中人物相同的目標動作。

另外，為了提高生成的質量，作者添加了兩個元素：

1. 為了使生成的模型更連貫，作者會根據上一幀對目前的幀進行預測；

2. 為了提高生成人臉的真實性，作者加入了經過訓練的GAN來生成目標人物的臉部。

-END-

從換臉到換姿勢，AI 在圖像處理的道路上越走越魔幻