對Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions的進一步總結
利用來自自然語言句子描述的帶有動詞和名詞短語標註的視訊,以弱監督的方式檢測視訊中的人-物互動,並檢測視訊多幀中的人和物體邊界框,這裡的弱監督指的是在訓練時不需要邊界框註釋,同時,允許以零次學習的方式檢測罕見和未見過的人-物互動。
主要創新點:引入了一種對比性的弱監督訓練損失,可以在無邊界框標註的情況下檢測人-物互動並生成人類,物體邊界框。
整個訓練步驟如下圖所示。
給定一個視訊片段和一個動詞-物件查詢,對於每一幀,首先提取它的人和物體區域特徵。人/物體特徵聚合進一個區域注意模組中,以關注與查詢更相關的區域。利用人類注意力特徵、物體注意力特徵、動詞-賓語查詢特徵和其他幀的物體區域特徵來計算弱監督對比損失。
總體訓練損失如下:
其中,為弱監督對比損失,為稀疏學習損失,為分類損失。
總體損失建立在對比損失的基礎上,對比損失旨在促使單位長度特徵的正對接近(用點積測量),負對在特徵空間中距離很遠。
其中f為anchor特徵,f’為正特徵,{fn}Nn=1為N個負特徵。基於上式,提出了一種弱監督語言嵌入對齊損失來對齊時空區域與輸入動詞-賓語查詢,以及一種自監督時間對比損失,以鼓勵目標區域的時間連續性.
相關推薦
對Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions的進一步總結
利用來自自然語言句子描述的帶有動詞和名詞短語標註的視訊,以弱監督的方式檢測視訊中的人-物互動,並檢測視訊多幀中的人和物體邊界框,這裡的弱監督指的是在訓練時不需要邊界框註釋,同時,允許以零次學習的方式檢
對Weakly Supervised Relative Spatial Reasoning for Visual Question Answering的進一步總結
作者研究了VQA模型是否能夠解決GQA挑戰中影象中物體之間的空間關係問題。研究結果表明,儘管模型正確地回答了其中一些問題(∼60%),但它們不能真實地解決空間關係問題,這就引出了一個問題:VQA模型是否真的理
PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments論文閱讀翻譯 - 2020ECCV
PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments論文閱讀翻譯 文章目錄
論文閱讀:3D human pose estimation in video with temporal convolutions and semi-supervised training
2019 CVPR的文章,使用時序卷積和半監督訓練的3D人體姿態估計 論文連結:https://arxiv.org/abs/1811.11742
Impdp Fails With ORA-39126 ORA-31604 Iinvalid Transform NAME Parameter "MODIFY" For Object Type PROCACT_INSTANCE in function ADD_TRANSFORM (Doc ID 1596495.1)
SYMPTOMS DataPump shows following errors : Starting \"<LOGIN_SCHEMA>\".\"SYS_IMPORT_FULL_14\":<LOGIN>/******** parfile=<PARFILE_NAME>.par logfile=<LOG_NAME>.log dumpfile=<
Error detection in Knowledge Graphs: Path Ranking, Embeddings or both?-學習筆記
Error detection in Knowledge Graphs: Path Ranking, Embeddings or both? 錯誤的三元組本質上是物件s與物件o(兩者均為E)之間的錯誤邊緣,關係r∈R將它們連線在一起。PaTyBRED:PRA啟發式演算法,使用路
Weakly Supervised Semantic Segmentation with Boundary Exploration論文解讀
Weakly Supervised Semantic Segmentation with Boundary Exploration論文解讀 摘要:為了在弱監督下獲得語義分割,本文提出了一種簡單而有效的方法,該方法基於從訓練影象中顯式探索物件邊界以保持。 具體
Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration筆記
Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration筆記 目錄Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration筆記方法概述方法流程偽標籤分配雙重對映效能分析
Keras tutorial - Emotion Detection in Images of Faces
所需檔案: 本地下載 Keras tutorial - Emotion Detection in Images of Faces Welcome to the first assignment of week 2. In this assignment, you will:
論文閱讀:Weakly-Supervised Semantic Segmentation via Sub-Category Exploration
論文:Weakly-Supervised Semantic Segmentation via Sub-Category Exploration 論文下載:Weakly-Supervised Semantic Segmentation via Sub-Category Exploration
Counterfactual Generator A Weakly-Supervised Method for Named Entity Recognition
Motivation 在命名體識別領域,由於選擇偏差的存在,模型對於訓練和測試分佈不一樣的資料表現很差,這背後的原因就是模型學習了資料中表現出的虛假因果關係。在這篇文章中,我們從因果角度主要研究NER問題中的虛假關
【論文閱讀】Deep learning-based facial emotion recognition for human–computer interaction applications
這篇文章標題雖然包含了人機互動,但是對人機互動部分進行過多描述 1.這篇文章究竟講了什麼問題?
ACGNet Action Complement Graph Network for Weakly-supervised Temporal Action Localization概述
1.針對的問題 現有WTAL方法通常利用現成的段級特徵,這些特徵存在空間不完整性和時間不一致性,具體來說,空間不完整性指動作片段經常會出現遮擋、模糊、外場等問題,因此缺乏特定的空間細節,時間不一致性指一個
【ICRA 2021】【簡讀】論文閱讀: Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video
論文地址:https://arxiv.org/abs/2003.14179 Github: https://github.com/fabro66/GAST-Net-3DPoseEstimation
Action Shuffling for Weakly Supervised Temporal Localization概述
1.針對的問題 目前的弱監督動作定位方法表現出兩個顯著的趨勢: (1) 動作背景建模。通過分別學習視訊級別的動作和視訊的背景表示,可以提高動作定位效能,然而,視訊級建模只能捕獲粗粒度的描述。對動作的
Weakly Supervised Action Localization by Sparse Temporal Pooling Network總結
0.前言 相關資料: arxiv code 論文翻譯(翻譯1,翻譯2) 論文基本資訊: 領域:弱監督時序動作定位
Cpp serialize class in vector collection and define the serialize method in class via jsoncpp
//Model/Book.cpp #include <iostream> #include <jsoncpp/json/json.h> using namespace std; class Book
BLOG-3對之前釋出的6-8次PTA題目集(電信計費)總結
for (User u : users)前言: 總結之前所涉及到的知識點、題量、難度等情況 ____________________________________________________________________________________________________________________________
What happened when new an object in JVM ?
原文連結:www.javaspring.net/java/what-h… I. Introduction As you know,Java is an object-oriented programming language. We usually use a variety of objects while writing code. So when you write
python 解決mysql where in 對列表(list,,array)問題
例如有這麼一個查詢語句: select * from server where ip in (....) 同時一個存放ip 的列表 :[\'1.1.1.1\',\'2.2.2.2\',\'2.2.2.2\']