Nvidia的研究人員已經找到了一種方法，可以使用在虛擬環境中建立的資料來訓練機器人在現實世界中拾取物體。用合成數據訓練的卷積神經網路系統可以使用Baxter機器人和RGB相機實時檢測物體的位置。

在實驗中，使用罐裝湯，芥末瓶和一盒Cheez-It來訓練系統輕輕地將物品放入人的手中。

為了建立他們的合成數據，來自西雅圖的Nvidia機器人實驗室的研究人員為Unreal Engine 4建立了一個自定義外掛，該外掛生成了兩組超過120000個標記的合成影象。

生成的資料使物件，光照和陰影的位置隨機化，使機器人能夠在動態的環境中操作。

“當我們在訓練過程中將這兩個資料集固定在一起時，我們發現網路操作能夠達到一般水平，甚至比用實際資料訓練的最先進的網路更好。因此，這是我們第一次看到合成數據訓練的結果超過了對真實資料進行過訓練的網路，”共同作者Stan Birchfield表示。

該論文及其研究結果建立在今年早些時候由Nvidia研究人員釋出的工作基礎上，其中機器人經過訓練，通過攝取虛擬環境中生成的大量資料來獲取物件。

用於建立外掛的程式碼已經公開發布，因此研究人員可以在比學術實驗室更強大的環境中訓練機器人。

Birchfield表示，“機器人正在進入日常應用領域，因此有農業和製造業等垂直市場，然後有更多的橫向市場，如家用機器人和醫療保健機器人。而且我認為在所有這些市場中，機器人以安全的方式和反應的方式感知世界將變得非常重要，這樣它們就可以對周圍世界的變化做出反應。因此，我們開發的這項技術，是朝這個方向邁出的有意義的一步。”

這項研究結果將於本週在瑞士蘇黎世舉行的機器人學習會議（CoRL）上公佈。

程式碼：github.com/NVlabs/Deep_Object_Pose

原文連結：Nvidia用合成數據集訓練機器人拾取物體，勝過用真實資料訓練的機器人

本文為ATYUN（www.atyun.com）編譯作品，ATYUN專注人工智慧。