Pytorch轉onnx、torchscript方式
前言
本文將介紹如何使用ONNX將PyTorch中訓練好的模型(.pt、.pth)型轉換為ONNX格式,然後將其載入到Caffe2中。需要安裝好onnx和Caffe2。
PyTorch及ONNX環境準備
為了正常執行ONNX,我們需要安裝最新的Pytorch,你可以選擇原始碼安裝:
git clone --recursive https://github.com/pytorch/pytorch cd pytorch mkdir build && cd build sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6 -DUSE_MPI=OFF make install export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build
其中 "/opt/pytorch/build"是前面build pytorch的目。
or conda安裝
conda install pytorch torchvision -c pytorch
安裝ONNX的庫
conda install -c conda-forge onnx
onnx-caffe2 安裝
pip3 install onnx-caffe2
Pytorch模型轉onnx
在PyTorch中匯出模型通過跟蹤工作。要匯出模型,請呼叫torch.onnx.export()函式。這將執行模型,記錄運算子用於計算輸出的軌跡。因為_export執行模型,我們需要提供輸入張量x。
這個張量的值並不重要; 它可以是影象或隨機張量,只要它是正確的大小。更多詳細資訊,請檢視torch.onnx documentation文件。
# 輸入模型 example = torch.randn(batch_size,1,224,requires_grad=True) # 匯出模型 torch_out = torch_out = torch.onnx.export(model,# model being run example,# model input (or a tuple for multiple inputs) "peleeNet.onnx",verbose=False,# store the trained parameter weights inside the model file training=False,do_constant_folding=True,input_names=['input'],output_names=['output'])
其中torch_out是執行模型後的輸出,通常以忽略此輸出。轉換得到onnx後可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet進行模型載入推理了。
還可以進一步將onnx模型轉換為ncnn進而部署到移動端。這就需要ncnn的onnx2ncnn工具了.
編譯ncnn原始碼,生成 onnx2ncnn。
其中onnx轉換模型時有一些冗餘,可以使用用工具簡化一些onnx模型。
pip3 install onnx-simplifier
簡化onnx模型
python3 -m onnxsim pnet.onnx pnet-sim.onnx
轉換成ncnn
onnx2ncnn pnet-sim.onnx pnet.param pnet.bin
ncnn 載入模型做推理
Pytorch模型轉torch script
pytorch 加入libtorch前端處理,集體步驟為:
以mtcnn pnet為例
# convert pytorch model to torch script # An example input you would normally provide to your model's forward() method. example = torch.rand(1,3,12,12).to(device) # Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing. traced_script_module = torch.jit.trace(pnet,example) # Save traced model traced_script_module.save("pnet_model_final.pth")
C++呼叫如下所示:
#include <torch/script.h> // One-stop header. #include <iostream> #include <memory> int main(int argc,const char* argv[]) { if (argc != 2) { std::cerr << "usage: example-app <path-to-exported-script-module>\n"; return -1; } // Deserialize the ScriptModule from a file using torch::jit::load(). std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]); assert(module != nullptr); std::cout << "ok\n"; }