讀Multimodal Motion Prediction with Stacked Transformers

paper | github(尚未更新程式碼)
貢獻 | 模型框架 | 具體實現 | 其他需要注意

貢獻

• 第一個使用堆疊Transformer
• RTS
• STOA

模型框架

中間的三塊主幹即堆疊的Transformer，分別用於提取軌跡地圖及互動資訊；最後也是迴歸軌跡和分數。採用新的基於區域的訓練策略來訓練網路。

具體實現

• 軌跡特徵提取
  從目標車輛和臨近車輛的軌跡中，提取特徵。由編碼器和解碼器組成。
• 地圖特徵提取
  接受軌跡特徵和地圖資料（車道中心線的向量表示），輸出經地圖特徵加權後的目標車輛軌跡特徵和臨近車輛軌跡特徵；
• 互動特徵提取
  在目標車輛軌跡特徵與臨近車輛軌跡特徵作輸入，但只解碼目標車輛特徵以提高效率；
• 軌跡解碼
  類似於LaneGCN，兩支：軌跡和分數；
• Region-based Training Strategy
  [35]告訴我們，直接回歸預測軌跡，將導致模式平均問題，不能體現多模；只使用minFDE的預測軌跡來計算迴歸和分類損失能解決這一問題； 多模K越多，會導致模式崩潰問題； RTS即將預測軌跡歸類到按照真實軌跡終點聚類而成的幾個空間區域中，通過模型訓練優化改善每個區域中的預測表現； 區域劃分：將車輛旋轉到航向指向y軸正方向，按照終點來聚類，得到7個區域； 計算歸於真實軌跡所在區域的每條預測軌跡的分類迴歸損失，而不是最靠近的真實軌跡的那一條軌跡的損失；
• Loss Function
  用於迴歸損失的Huber損失、用於評分的KL散度、區域分類損失、；
  迴歸損失
  Huber損失： 相比平方誤差損失，Huber損失對於資料中異常值的敏感性要差一些。在值為0時，它也是可微分的。它基本上是絕對值，在誤差很小時會變為平方值。誤差使其平方值的大小如何取決於一個超引數δ，該引數可以調整。當δ~ 0時，Huber損失會趨向於MSE；當δ~ ∞（很大的數字），Huber損失會趨向於MAE。
  KL散度
  
  KL散度: 在概率論或資訊理論中，KL散度( Kullback–Leibler divergence)，又稱相對熵（relative entropy)，是描述兩個概率分佈P和Q差異的一種方法。
  區域分類損失
  鼓勵到預測在正確的區域的軌跡有更高的分數，交叉傷損失函式；
  
  中間層損失
  加速訓練過程 整個損失函式
  

其他需要注意

生成預測軌跡的兩種方法：

• 基於概率生成模型：
• 基於預定義軌跡的方法：
• 迴歸軌跡

兩種改善模式平均的機制：

• 軌跡提議機制
• 基於區域的訓練策略