概述

學術界對精度、自由度的要求和工業界對速度、精簡度的要求形成了反差，這就使得越來越多的框架開始把training和inference分開，各公司都開始針對移動裝置紛紛推出高效能inference庫。

tflite

tflite其實就是谷歌自己的一個輕量級推理庫。主要用於移動端。之前的tensorflow mobile那一套到2019年就不再維護了。

tflite使用的思路主要是從預訓練的模型轉換為tflite模型檔案，拿到移動端部署。

tflite的源模型可以來自tensorflow的saved model或者frozen model,也可以來自keras。

tflite做了哪些優化

• 用Flatbuffer序列化模型檔案，這種格式磁碟佔用少，載入快
• 量化。這個特性是可以開關的，可以把float引數量化為uint8型別，模型檔案更小、計算更快。
• 剪枝、結構合併和蒸餾。我也不是很確定，敢寫在這裡主要來自兩個官方檔案，具體連結在本文最下方參考資料裡。一個是《Model optimization》，這裡提到了優化模型用到了模型優化方法，另一個是《Converter command-line examples》，裡面一張對比優化前後的計算圖顯示tflite在轉換時確實進行了結構調整。但是這個特性沒有很多人講，有可能這方面tflite做的不是很多，只是淺嘗輒止。
• 對NNAPI的支援。上三個特性都是轉換模型檔案的特性，這個是執行時的特性。也就是呼叫安卓底層的介面，把異構的計算能力利用起來。雖然 TFLite 基於 NNAPI，理論上是可以利用上各種運算晶片的，但目前還沒有很多運算晶片支援 NNAPI。

量化

對量化的理解主要來自《用 TensorFlow 壓縮神經網路》。

tflite的量化並不是全程使用uint8計算。而是儲存每層的最大和最小值，然後把這個區間線性分成 256 個離散值，於是此範圍內的每個浮點數可以用八位 (二進位制) 整數來表示，近似為離得最近的那個離散值。比如，最小值是 -3 而最大值是 6 的情形，0 位元組表示 -3，255 表示 6，而 128 是 1.5。

每個操作都先用整形計算，輸出時重新轉換為浮點型。下圖就是量化Relu的示意圖。

如果連續一串操作都有等價的浮點操作，則會有許多相鄰的量化/去量化操作。當發現這種模式之後，轉換程式會把相互抵消的那些操作移除，比如：

由於每層最大值最小值不一樣，所以沒法把整形從頭算到尾，中間還是有不少量化/去量化操作。

tfite的缺陷

TFLite 目前僅提供有限的運算元，主要以 CNN 中使用到的運算元為主，如卷積、池化等。
有可能遇到的情況就是，模型的某些運算元tflite不支援（比如反捲積），你可以自定義一個 TFLite 運算元，將其註冊在 TFLite 的 kernels 列表中，這樣編譯得到的 TFLite 庫就可以處理該運算元了。同時，在模型轉換時，還需要加上 --allow_custom_ops 選項，將 TFLite 預設不支援的運算元也保留在模型中。(本段來自《有道雲筆記是如何使用 TensorFlow Lite 的》)

tflite支援的運算元列表在《TensorFlow Lite & TensorFlow Compatibility Guide》這個頁面上。

如何將tensorflow模型檔案轉換為tflite檔案

本節來自《Tensorflow lite for 移動端安卓開發（二）——完整詳細過程訓練自己的模型》

生成float inference模型

cd /home/liuli/tensorflow
bazel build tensorflow/contrib/lite/toco:toco
bazel run --config=opt tensorflow/contrib/lite/toco:toco -- \
  --input_file=/home/liuli/work/Tensorflow/1_frozen.pb \
  --output_file=/home/liuli/work/Tensorflow/7_float.tflite \
  --inference_type=FLOAT \
  --input_shape=1,224,224,3 \
  --input_array=input \
  --output_array=MobilenetV1/Predictions/Reshape_1

生成Quant inference模型

cd /home/liuli/tensorflow
bazel build tensorflow/contrib/lite/toco:toco
bazel run --config=opt tensorflow/contrib/lite/toco:toco -- \
  --input_file=/home/liuli/work/Tensorflow/1_frozen.pb \
  --output_file=/home/liuli/work/Tensorflow/7.tflite \
  --input_format=TENSORFLOW_GRAPHDEF \
  --output_format=TFLITE \
  --inference_type=QUANTIZED_UINT8 \
  --input_shape=1,224,224,3 \
  --input_array=input \
  --output_array=MobilenetV1/Predictions/Reshape_1 \
  --default_ranges_min=0 \
  --default_ranges_max=6 \
  --std_value=127.5 \
  --mean_value=127.5

量化的效果

參考了《tflite現成的模型》，這個頁面是tensorflow的github。

float型別的tflite模型（未量化）：

量化的效果：

看來還是要量化，否則呼叫太慢。這裡的結果看來量化的精度損失不大，但是網上有人測試效果差挺遠，所以要具體分析。

檢視輸入輸出節點

編譯：

Bazel build tensorflow/tools/graph_transforms:summarize_graph  （檢視模型結構，找出輸入輸出）

該命令檢視整個Tensorflow模型概況，使用命令如下，執行之後，得到自己整個網路結構，從中可以找到自己模型的輸入輸出，如下圖（模型比較亂。。。）

# “--in_graph=” 後面是模型儲存的位置
bazel-bin/tensorflow/tools/graph_transforms/summarize_graph --in_graph=../mz_graph.pb

本節主要來自：《Tensorflow 模型轉 tflite ，在安卓端使用》

參考資料

官方文件

GEMM-通用矩陣乘法: