Human motion prediction research 人體運動預測研究
阿新 • • 發佈:2020-10-09
Temporal Attention + MHU
論文:【2018IJCAI】Long-Term Human Motion Prediction by Modeling Motion Context and
Enhancing Motion Dynamic
創新點1:MHU
創新點2:gram matrix loss
網路總體分為兩部分:skeleton embedding layer 將骨骼軸角資料對映到嵌入空間,recurrent prediction layer產生預測姿勢。
預測部分又分為兩塊,時間注意力提取模組和MHU
**時間注意力:**從全體骨骼特徵以及隱藏狀態中提取權重
**MHU更新:**理解vt類似於LSTM中的隱藏狀態ht,刪掉了細胞狀態ct
借鑑:時間注意力提取模組,可廣泛用於姿勢解碼器中。
gram matrix loss:
loss解決的問題:傳統的均方誤差MSE將預測姿勢限制於平均姿勢之中, 並且將幀獨立看待,會導致預測運動的不連續。提出的方法同時考慮了骨骼間聯絡和相鄰幀聯絡。其中,concat操作反應了相鄰幀聯絡;把向量乘起來變成矩陣,可以反應不同身體部位的關聯。