讀 Trajectron++: Dynamically-Feasible TrajectoryForecasting With Heterogeneous Data

paper
github
貢獻
模型框架
具體實現
其他需要注意

1. 貢獻

   1. 異構資料如何融合；
   2. 提出一種考慮動力學約束基於學習的多智慧體軌跡預測方法；

2. 模型框架

   
   特徵提取包括對智慧體本身歷史軌跡、智慧體與智慧體之間的關係以及環境資訊的提取；此外在訓練階段，還用到了主車規劃的未來軌跡用於訓練；
   生成潛在變數z；
   GRU解碼得到軌跡；

3. 具體實現

   1. 圖構建：

      • 圖節點：每一個智慧體都是一個節點；智慧體種類不同，節點種類不同，大致分車和人；每個節點的歷史軌跡作為其特徵；
      • 圖邊： 節點與節點間的互動構成邊；有方向，用於表示節點間不對稱的影響；影響程度由l2距離來表示；

   2. 網路構成：

      1. 智慧體歷史特徵提取： LSTM對歷史軌跡處理；
      2. 智慧體之間的互動： 在同類型邊中，特徵累加求和解決不同場景不同智慧體數量的問題；聚合的特徵由LSTM進行編碼；每一種型別的邊均有對應的LSTM特徵提取網路；不同型別的邊之間，通過注意力實現整個場景中，智慧體之間的互動；
      3. 地圖特徵提取： 這也是體現異構資料融合的地方；將柵格化地圖CNN卷積後，經FCN提取成地圖特徵；該種方式不止可用於柵格化圖片，甚至是點雲、攝像頭影象、行人骨架資料等資料均可用這種方式提取；
      4. 規劃軌跡： 主車的規劃軌跡利用LSTM編碼參與訓練；
      5. 特徵融合： 上述特徵直接拼接在一起，經過FCN的壓縮，獲得潛在變數z，其直接對應著目標分佈；
      6. 軌跡預測：由潛在變數z經過GRU解碼出二維高斯分佈的引數，經動力學模型獲得預測的軌跡；

4. 其他需要注意

   • 沒整明白迴歸的方法和這種生成的方法到底啥不一樣阿，不都是提取特徵，融合，解碼？差在融合這一步？
   • 沒有損失函式，生成的方法不用損失函式？