[骨架動作識別]ST-NBNN&Deep Learning on Lie Groups CVPR2017
一、ST-NBNN:
沒上神經網路
Each 3D action instance is represented by a collection of temporal stages composed by 3D poses, and each pose in stages is presented by a collection of spatial joints.
1. Introduction
learning-based classifiers,基於學習的骨架分類方法[5, 24, 35, 21, 14, 13] 已經取得了很多進展
non-parametric classifiers 不需要學習,訓練引數 的分類方法還沒有被很好的探索
- 動機有二
1:
2:骨架資訊並不像圖片,有成千上萬個畫素,只有上十個joints,因此不需要端到端的複雜模型,非引數模型也能搞定
方法
1:通過使用stage-to-class distance and bilinear classifier,該模型結合了引數模型和非引數模型的長處
2:通過關鍵幀和關鍵的骨架節點(key temporal stages and spatial joints),模型能提取出必要的時空模型spatio-temporal patterns結果
僅用線性分類器就能超過很多端到端的模型
2. Related Work
各種基於骨架的spatial/temporal/spacial-temporal 模型
- spatial
把骨架分成幾部分,用神經網路找這幾部分之間的關係
jopints,算joints之間的angle之類的 - temporal
好幾種,不怎麼理解 - spacial-temporal:
LSTM分析時空域骨架資訊
NBNN
3.Proposed Method
(1)stage-descriptor
We first introduce a set of stage-descriptors to represent a 3D
sequence (Sec. 3.1).
描述子內容:pose 和velocity
1video=N*stage=N*(l frames)(2)NBNN來對descriptor分類
Then NBNN [2] is used as a basic framework to classify actions (Sec. 3.2).- (3)學習時域和空域上的權重
Finally, the learning of spatial and temporal weights is introduced to discover
key poses and spatial joints for action recognition (Sec. 3.3)
二、基於李群的網路用來做動作識別
Deep Learning on Lie Groups for Skeleton-based Action Recognition
Lie group representations for action recognition
文章視訊
提出了一個新的神經網路LieNet,學習基於李群的3D骨架特徵來進行動作識別
- 1.將李群結構和神經網路結合起來,相比於傳統的神經網路結構,網路結構為了適應李群做了相應的調整,添加了RotMap Layer、RotPooling Layer、. LogMap Layer
- 2.在這個結構中,為了使用反向傳播演算法,隨機梯度下降法也做了相應探索
視訊中列舉的兩個demo
realtime huaman pose recognition in parts from a single depth image
作者的LieNet 在NTU-RGBD dataset ( A Shahroudy et al CVPR2016)上展示