Android Things 專題6 完整的栗子：運用TensorFlow解析圖像
文｜ 谷歌開發技術專家 (GDE) 王玉成 (York Wang)
前面絮叨了這麽多，好像還沒有一個整體的概念，我們怎樣寫一個完整的代碼呢？
如今深度學習非常火。那我們就在Android Things中。利用攝像頭抓拍圖片。讓 TensorFlow 去識別圖像。最後用揚聲器告訴我們結果。
是不是非常酷？說主要的功能就說了這麽長一串，那壘代碼得壘多久啊？
項目結構
我們就從 Android Studio 的環始境開始說起吧。
啟動 Android Studio 之後，務必把 SDK Tools 的版本號升級到 24 及以上。然後再把 SDK 升級到 Android 7.0 及以上。讓 Android Studio 自己完畢相關組件的更新。導入項目，項目的結構例如以下：
代碼中的 imageclassifier 是用於跟 TensorFlow 做交互的，還有攝頭。圖片處理的相關 handler。
我們再來看看外部的引用庫：
包含了 Android Things 和 TensorFlow 的相關庫。當然，Android 的 API 的版本號是24。gradle 的依賴和 Manifest 中的 filer 是和之前搭建開發環境的解說一致的。
引用的 TensorFlow 的庫是 aar 打包的 Tensorflow-Android-Inference-alpha-debug.aar。這就意味著。我們不須要 NDK 環境就能夠編譯整個項目了。
主要是留意 dependencies 這一項。包含了 TensorFlow 的庫和 Android thing 的庫：
再申請了攝頭相關的權限。
補充一下，Android Things 是不支持動態權限的申請的。
硬件連接
接下來便是硬件怎樣連接了。
硬件清單例如以下：
Android Things 兼容的開發板，比方 Raspberry Pi 3
Android Things 兼容的攝像頭，比方 Raspberry Pi 3 攝頭模塊
元器件:
1 個button，見面包板
2 個電阻，這塊兒必須要說明一下：因為圖片是接的 5V 的電壓，一般來說 GPIO 和 led 的承壓能力是 3V。有些 GPIO 是兼容 5V 的。所以中間須要串聯 100～200 歐的電阻。當然，為了保險，建議用 3.3V 的電壓。
1 個LED燈
1 個面包板
杜邦線若幹
可選：揚聲器或者耳機
可選：HDMI輸出
連完了硬件。我們這時候就要理解操作流程了。
操作流程
依照前面解說的內容，用 Andorid Studio，連接 ADB，配置好開發板的 Wi-Fi。然後把應用載入到開發板上。
操作流程例如以下：
重新啟動設備，執行程序，直到 LED 燈開始閃爍；
把鏡頭對準貓啊。狗啊。或者一些家具；
按下開關，開始拍攝圖片；
在 Raspberry Pi 3 中。一般在 1s 之內。能夠完畢圖片抓拍。經 Tensorflow 處理。然後再通過 TTS 放出聲音。
在執行的過程中 LED 燈是熄滅的。
Logcat 中會打印出終於的結果。假設是有顯示設備連接的話，圖片和結果都會顯示出來；
假設有揚聲器或者是耳機的話。會把結果語音播報出來。
因為代碼的結構特別簡單，註意一下幾段關健的操作就可以。想必圖形、攝頭的操作在Android 的編程中大家都會了。所以不做解說了。
代碼流程
主要是看 LED 的初始化操作：
有必要說一下，ImageClassifierActivity.java 是應用唯一的 Activity 的入口。
在 Manifest 中已經有定義。它初始化了 LED, Camera, TensorfFlow 等組件。當中，我們用到的 Button 是 BCM32 這個管腳，用到的 LED 是 BCM6 管腳。相關的初始化在這個 Activity 中已經完畢。
這部分代碼是捕捉按鍵按下的代碼。當按下按鍵時，攝頭開始捕捉數據。
把攝像頭拍攝的數據轉成 Bitmap 文件之後，我們會調用 TensorFlow 來處理圖像。
這個函數調用了 TensorFlow 進行處理。最後把結果輸出到 logcat 中。
假設代碼中調用了 tts 引擎。那麽則把結果轉成語音讀出來。看來，最重要的就是 TensorFlowClassifie 類的 recognizeImage() 這個接口了。我們繼續往下看。
這是最後的一步。調用 TensorFlow 進行圖像識別：
把 RGB 圖像轉成 TensorFlow 能夠識別的數據。
把數據拷到 TensorFlow 中。
識別出圖像。給出結果。
調用 TensorFlow 的過程還是挺好玩的。也挺方便。那麽，為啥 TensorFlow 一下子就能夠識別出是什麽圖片呢？Tensorflow 的官網給出的解答：
www.tensorflow.org/tutorials/image_recognition
有一點須要提示，TensorFlow 的圖像識別分類能夠用網絡提交到server識別，也能夠離線的數據識別。能夠先把 200M 左右的識別數據放在本地，然後提交後識別。如今大概能分出 1000 個類別的圖像，哪 1000 個類別呢？項目代碼中已經包含了哦。
是不是運用 TensorFlow 來處理物聯網的數據會特別簡單。不光是 TensorFlow, Firebase 也能夠用到 Android Things 中來。這功能，強大的沒話說了。
今天提到的這個項目，來源於 Google 在 GitHub 上維護的項目，項目的地址是
github.com/androidthings/sample-tensorflow-imageclassifier
當然，GitHub 上還有非常多 Android Things 的代碼能夠參考。
是不是迫不急待的自己寫一個應用呢？實際上，這個項目稍加修改便能有新的玩法。比如加上一個紅外感應器，一旦有生物在附近就立即拍圖片，而且識別。
大開你的腦洞吧
後記
這一篇文章是這個專題的最後一篇了。
寫完整個專題，發現 Android Things 帶給開發人員太多太多的便利，怎樣燒寫文件？怎樣運用 SDK？甚至怎樣用 Google 的其他服務做物聯網相關的數據處理？都有太多太多的現成的方案供我們選擇。感嘆使用 Android Things 進行物聯網應用開發實在太方便了！
您假設有不論什麽涉及到 Android Things 方面的想法，都歡迎大家在下方留言，我們會把好的建議轉交給 Android Things 的產品部門。
或許在某一天，你的建議就是 Andorid Things 的一部分。
Android Things 專題6 完整的栗子：運用TensorFlow解析圖像