1. 程式人生 > >姿態估計相關研究進展

姿態估計相關研究進展

自上而下:就是先檢測包含人的框,即human proposal,然後對框子中的人進行姿態估計。一般RCNN(區域CNN就是這個思路)

自下而上:先檢測keypoint,然後根據熱力圖、點與點之間連線的概率,根據圖論知識,基於PAF(部分親和欄位)將關鍵點連線起來,將關鍵點分組到人。

1、CMU:openpose 研究多人的姿態估計

執行環境:caffe

自下而上, 關鍵點被分組到人的例項

時間:2.8-3.4fps

2、谷歌:

(1)deepgaze 研究頭部姿態和注意力方向的,開源

主要為頭部姿態估計 先框出人臉區域,再進行姿態估計。

執行環境:tensorflow+python

執行速度較快,基本滿足實時性,準確度略差。

(2)野外多人姿態估計:Towards Accurate Multi-person Pose Estimation in the Wild 自上而下(up-bottom)的方法,把姿態估計器放在邊界框的輸出後。

未開源

3、UCLA:

(1)《Articulated Pose Estimation by a Graphical Model with Image Dependent Pairwise Relations》2014

(2)《Joint Multi-Person Pose Estimation and Semantic Part Segmentation> ( ICCV 2017, UCLA)》自上而下

時間需要8s一張圖。

4、Facebook: 2018

該開源專案可以進行人-物互動識別,如有人拿著手機在耳朵邊,則可判定為人在打電話,人手上捧著書,則人在讀書。網路通過目標檢測和語義分割聯合進行,從而進行行為識別。

據說keypoint檢測和openpose差不多,效果略差於openpose.可見時間也提不上去。

Caffe2+python

5、deepercut: 2016

基於tensorflow

其具體思路即(類似openpose):提出人體部件的候選區域,每個候選區域作為一個節點,所有的節點組成一個密集連線圖,節點之間的關聯性作為圖節點之間的權重,將其作為一個優化問題,將屬於同一個人的部件(節點)歸為一類,每個人作為一個單獨類。

(1)採用了Resnet(殘差網路)來提高body part的檢測,更加的有效,精度更高;

(2)使用了image-conditioned pairwise terms可以將得到足夠豐富的候選區域節點壓縮到一定數量的節點,而這也是整個論文的核心部分,也是stronger & faster的主要原因。通過候選區域節點之間的距離來判斷是否為不同的重要關節點。

時間:230s/frame(太慢了)

6、《RMPE: Regional Multi-Person Pose Estimation》ICCV 2017 騰訊優圖和上海交大聯合研究的。它對於多人姿態估計的方法採用傳統的自頂向下的方法,即先檢測人,再識別人體姿態。檢測使用的是SSD-512,識別人體姿態使用的是state-of-the-art的Stacked Hourglass方法。

專案主頁:RMPE: Regional Multi-person Pose Estimation

人體姿態資料集:

LSP

樣本數:2K

關節點個數:14

全身,單人

FLIC

樣本數:2W

關節點個數:9

全身,單人

MPII

樣本數:25K

關節點個數:16

全身,單人/多人,40K people,410 human activities

MSCOCO

樣本數:>= 30W

關節點個數:18

全身,多人,keypoints on 10W people

AI Challenge

樣本數:21W Training, 3W Validation, 3W Testing

關節點個數:14

全身,多人,38W people

相關推薦

姿態估計相關研究進展

自上而下:就是先檢測包含人的框,即human proposal,然後對框子中的人進行姿態估計。一般RCNN(區域CNN就是這個思路) 自下而上:先檢測keypoint,然後根據熱力圖、點與點之間連線的概率,根據圖論知識,基於PAF(部分親和欄位)將關鍵點連線起來,將關鍵

Paper List:CVPR 2018 人體姿態估計相關

1.By Object 1.1 Human Body Learning to Estimate 3D Human Pose and Shape From a Single Color Image Recognizing Human Actions as the Evol

wifi識別姿態手勢相關平臺與研究團隊

綜述:基於WiFi訊號的人體行為感知技術研究綜述__國防科學技術大學並行與分佈處理_省 資源: 1 USRP, https://www.ettus.com/   通用軟體無線電平臺 N200和N210硬體非常適合需要高射頻效能和大頻寬的應用。這種應用包括物理層原型,動

【王曉剛】深度學習在圖像識別中的研究進展與展望

ast eric all orm 反向 nic 分類函數 大網 goole 深度學習是近十年來人工智能領域取得的最重要的突破之中的一個。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域都取得了巨大成功。本文將重點介紹深度學習在物體

人體姿態估計在網約車風控系統中的應用

姿態估計 卷積神經網絡 網約車公司在運營過程中經常會遇到一個問題,就是如果司機不接單,卻把車開出去接乘客,相當於開黑車。那麽系統如何發現這種行為,其中就需要人體姿態估計。 相對於傳統方法,只識別人體來數人數有一個問題,就是如果乘客之間發生遮擋,或者後排乘客沒有露出面部,就會找不到乘客。 使用人體姿態估

soft-argmax將熱點圖轉換為數值坐標應用於人體姿態估計

sum 緩解 mat 漸變 圖標 bubuko 訓練 分組 參考 人體姿態估計常用預測熱點圖的方法預測x和y的坐標值,熱點圖可以理解為概率響應圖,通過求熱點圖最大值所在位置坐標,就可以得到該關鍵點的位置坐標 熱點圖法的缺點 量化產生的精度損失:卷積網絡下采樣使模型的

水下通信技術的分類、特征、應用及其最新研究進展

傳統 滿足 帶來 屬於 廣泛 世紀 線性 加速 位數 海洋覆蓋著地球三分之二的表面積,它是人類探索和研究的最前沿的領域之一。海洋不僅在國際商業和漁業中扮演重要的角色,而且還包含了有關氣候的信息,以及大量急待開發的資源。 水下無線通信是研制海洋觀測系統的關鍵技術,借助海洋觀測

無人機/平衡車等姿態測量相關知識

陀螺儀 測量敏感角運動的一種精密感測器,是慣性導航系統的中最重要、技術含量最高的儀器,是慣導系統中的核心器件。在干擾力矩的作用下陀螺儀產生的進動,使得自轉軸在慣性空間逐漸偏離原來的方位,這種現象稱之為漂移,零偏漂移就是零輸入(靜止)下的漂移。   加速度計 加速度本身難

相機姿態估計(七)--UPnP

論文:Exhaustive Linearization for Robust Camera Pose and Focal Length Estimation 整體來看,UPnP跟EPnP差不多,只是同時估計了焦距,因此,適合未標定場合,Uncalibrated PnP. 問題定義:

相機姿態估計(六)--EPnP

EnP演算法,論文:EPnP: Efficient Perspective-n-Point Camera Pose Estimation 直接給過程: 相機座標系用Fc,世界座標系用Fw表示,任何一點可以用四個控制點p表示: 對於相機座標系同樣成立: 對於上面的公式,

相機姿態估計(五)--DLS

論文:A Direct Least-Squares (DLS) Method for PnP 求解過程看著挺吃力的,看懂的還請多多指正。 本文針對PnP問題,採用非線性最小二乘直接計算,主要貢獻如下: 1.提出通用的n點(n≥3)姿態(all pose)計算方法,設計了獨特的非線性最

相機姿態估計(四)--AP3P

AP3P 論文:An Efficient Algebraic Solution to the Perspective-Three-Point Problem 從數學的角度,提出了經典P3P演算法的更快,更魯棒,更準確的求解演算法。根據已知3對點,可以計算相機位姿和引數。 問題定義:

【電腦科學】【2016】單目視訊三維人體姿態估計的深度學習模型

本文為立陶宛維爾紐斯格迪米納斯技術大學(作者:Agnė Grinciūnaitė)的碩士論文,共68頁。 有一種視覺系統,它可以很容易地識別、跟蹤人體的位置、運動和行為,而不需要任何額外的感知手段。這個系統擁有一個稱為大腦的處理器,只經過幾個月的訓練就能稱職地完成以上任務。通過更多

關於論文 姿態估計和追蹤的衡量基準 official evaluation metric

1.on PoseTrack Challenge dataset. “*” means models trained on train+validation set. Top: Results on PoseTrack valida-tion set. Bottom: Results on Po

重磅!頭部姿態估計「原理詳解 + 實戰程式碼」來啦!

寫在前面 經過兩週的文獻和部落格閱讀,CV_Life君終於欣(dan)喜(zhan)若(xin)狂(jing)地給各位帶來head pose estimation這篇文章,因為剛剛入手這個方向,如有疏漏請各位多多包涵,並多多指教。廢話少說,先放個Demo熱熱身。 Head Pose Estimatio

快速人體姿態估計--Pose Proposal Networks

Pose Proposal Networks ECCV2018 本文使用 YOLO + bottom-up greedy parsing 進行人體姿態估計 its total runtime using a GeForce GTX1080Ti card reaches

銀聯PC閘道器支付 相關研究

官網使用servle寫的,諤。。。得轉成mvc的,他的例子既有5.0.0版本的也有5.1.0的,還有測試,生產模式的,有些問題比較亂,也查不到,查到了也不一定對應版本,我暫時瞭解這些,也可能有不對的地方,畢竟也靠猜嘛 1.首先你會發現測試環境,搞一搞就會通,換到生產環境只有三個證書,但是執行

支付寶PC端 網頁支付 相關研究

這個官方的文件例子還是靠譜的,可能不太好調例子 好的部落格還是很多的,不過我沒怎麼查,這個 https://docs.open.alipay.com/270/105899/ https://docs.open.alipay.com/58/103584 官方的 必須知道他需要什

微信 PC 網頁二維碼支付 相關研究

微信官方文件與例子,我使用不了,查詢相關文件無數,找了幾個靠譜的 https://blog.csdn.net/qq_32574435/article/details/78952325 https://blog.csdn.net/rentian1/article/details/78807

【OpenCV】 POSIT 演算法 -- 3D姿態估計

POSIT(Pose from Orthography and Scaling with Iterations), 比例正交投影迭代變換演算法. Pose : 首先這個演算法用於估計 Pose Iterations : 其次, 這個演算法採用優化迭代的演算