1. 程式人生 > 實用技巧 >Human motion prediction research 人體運動預測研究

Human motion prediction research 人體運動預測研究

Temporal Attention + MHU

論文:【2018IJCAI】Long-Term Human Motion Prediction by Modeling Motion Context and
Enhancing Motion Dynamic
創新點1:MHU
創新點2:gram matrix loss
在這裡插入圖片描述
網路總體分為兩部分:skeleton embedding layer 將骨骼軸角資料對映到嵌入空間,recurrent prediction layer產生預測姿勢。
預測部分又分為兩塊,時間注意力提取模組和MHU
**時間注意力:**從全體骨骼特徵以及隱藏狀態中提取權重
在這裡插入圖片描述
**MHU更新:**理解vt類似於LSTM中的隱藏狀態ht,刪掉了細胞狀態ct

在這裡插入圖片描述
借鑑:時間注意力提取模組,可廣泛用於姿勢解碼器中。

gram matrix loss:
在這裡插入圖片描述

loss解決的問題:傳統的均方誤差MSE將預測姿勢限制於平均姿勢之中, 並且將幀獨立看待,會導致預測運動的不連續。提出的方法同時考慮了骨骼間聯絡和相鄰幀聯絡。其中,concat操作反應了相鄰幀聯絡;把向量乘起來變成矩陣,可以反應不同身體部位的關聯。