十歲的小男孩

TensorRT 3: Faster TensorFlow Inference and Volta Support

Fast INT8 Inference for Autonomous Vehicles with TensorRT 3

TensorRT是NVIDIA推出的深度學習優化加速工具，採用的原理如下圖所示

TensorRT能夠優化重構由不同深度學習框架訓練的深度學習模型：

對於Caffe與TensorFlow訓練的模型，若包含的操作都是TensorRT支援的，則可以直接由TensorRT優化重構；
對於MXnet, PyTorch或其他框架訓練的模型，若包含的操作都是TensorRT支援的，可以採用TensorRT API重建網路結構，並間接優化重構；
若訓練的網路模型包含TensorRT不支援的操作：
TensorFlow模型可通過tf.contrib.tensorrt轉換，其中不支援的操作會保留為TensorFlow計算節點；
不支援的操作可通過Plugin API實現自定義並新增進TensorRT計算圖；
將深度網路劃分為兩個部分，一部分包含的操作都是TensorRT支援的，可以轉換為TensorRT計算圖。另一部則採用其他框架實現，如MXnet或PyTorch；
TensorRT的int8量化需要校準（calibration）資料集，一般至少包含1000個樣本（反映真實應用場景），且要求GPU的計算功能集sm >= 6.1；

在TitanX (Pascal)平臺上，TensorRT對大型分類網路的優化加速效果如下：

知識應該是開源的，歡迎斧正，[email protected]om