1. 背景介紹

想對產線做預防性維護減少停機？想在門口的智慧門鈴上自動判斷出現的人是不是家人？想在公共區域監視誰在吸菸？你需要無處不在的人工智慧！完成本文的實驗，你將可以讓你的攝像頭讀懂你的動作是鼓掌還是揮手，是在讀書還是在寫字，是在跑步還是在跳躍。

人工智慧可以幫助我們在安防監控、交通安全、自動駕駛、績效管理、質量管理等無數方面減少人力投入提高效率。比如，我們可以在產線上部署一些閘道器裝置，探測機器的震動和噪音。通過預先部署的機器學習模型，可以很容易預測裝置是否即將發生故障，從而實現預測性的維護，減少產線停機時間；而各種短波紅外相機、線掃描相機、高解析度相機則可以很容易快速捕捉產線的零件的影象，通過預先部署的機器學習模型可以自動判斷出哪些零件屬於次品。隨著硬體技術的發展，越來越多的物聯網裝置具備足夠的硬體資源來執行機器學習的推理任務，而且雲端計算能夠提供海量的機器學習的訓練能力，然而為什麼今天這些事情並沒有普遍發生呢？究其原因，硬體能力的提升只是實現這些“黑科技”的條件之一，制約這些“黑科技”普及的因素還包括：

• 收集和傳輸資料非常困難。人工智慧並非天然就智慧的，機器學習或深度學習的模型來自大量打好標籤的原始資料的訓練，而這些資料的收集、傳輸和打標籤往往需要耗費大量的資源和開發工作。
• 處理和訓練資料集需要海量的資源。資料收集到以後往往需要經過大資料的處理和清洗的階段，之後在機器學習的平臺進行訓練。這兩個過程需要耗費大量的計算和儲存資源。而這個過程往往是間歇進行的，為了部分時間在執行的任務購置大量計算資源往往不夠經濟。當然，雲端計算的普及能夠解決這一問題。
• 不斷更新的模型如何有效部署到裝置端。機器學習或深度學習的模型很難一步到位做到精準無比，需要不斷累積資料迭代改進。這樣就需要不斷將新生成的模型部署到裝置端用於推理。如何有效更新，如何有策略地分組更新都是需要複雜的控制邏輯。
• 用於推理的程式碼如何有效更新到裝置端。如同模型是不斷更新的，推理程式碼也會常有新功能的更新，需要推送到裝置端。簡便的部署方式在這種終端智慧的場景下非常重要。

AWS在物聯網場景下的邊緣計算“大殺器” Greengrass 自2016年的 re-invent 大會上釋出以來得到越來越多的使用者青睞，它將 AWS IOT 服務能力從雲端移到了裝置端，即使在裝置端不能正常連線網際網路的情況下，仍能保持邊緣計算的正常進行。在2017年的 re-invent 大會上，AWS又釋出了 Greengrass ML inference 功能，它使得邊緣計算同時具備了機器學習的推理能力，從而實現了雲端訓練à模型推送、程式碼推送à重新訓練的動態迴圈的物聯網人工智慧的閉環。本文將向你介紹其工作原理和部署方式。

2. AWS Greengrass ML inference 的工作原理

從雲端的機器學習訓練到裝置端的推理，它是一個完整的閉環和生態體系。機器學習使用可從現有資料中學習（該過程稱為訓練）的統計演算法，以便對新資料做出決策（該過程稱為推理）。在訓練期間，將識別資料中的模式和關係，以建立決策制定模型。該模型允許系統基於之前從未遇到過的資料做出明智的決策。訓練機器學習模型需要大量計算資源，因此和雲是天然良配。但是，推理通常需要計算能力要少得多，並且往往在新資料可用時實時完成。因此，要確保您的  IoT  應用程式能夠快速響應本地事件，則必須能夠以非常低的延遲獲得推理結果。整個系統的工作模式如下圖所示：

在雲端的工作大致包括大資料清洗轉換和分析、機器學習訓練兩大部分的工作內容。在AWS 上，大資料清洗轉換和分析有 Glue 、 EMR 和 redshift 等工具可以事先，機器學習訓練則有 Sagemaker 平臺，都能大大減少在程式設計方面的工作量，使得大資料分析和處理以及機器學習的門檻得以大大降低。如果讀者感興趣，可以參考其他部落格（比如《使用 GLUE 構建無伺服器架構的 ETL Pipeline》、《AWS 神器為資料科學家輕鬆打造機器學習全流程 –– EMR Spark + SageMaker 黃金搭檔》）瞭解這些平臺和工具的詳情。

裝置端的推理則需要載入雲端訓練好的模型以及用於推理的程式碼，從而不間斷地採集資料進行推理。這部分功能是依賴於 AWS Greengrass 來實現的。那麼什麼是 Greengrass 呢？它是如何進行機器學習的推理的？

首先， AWS Greengrass 是一個軟體，它被安裝到你的 IOT 邊緣閘道器裝置後，允許你以安全方式執行本地計算、訊息收發、資料快取、同步和 ML Inference 功能的軟體，就好比一個簡化版的 AWS IOT 服務部署到了本地。藉助 AWS Greengrass ， IOT 閘道器裝置可以執行 AWS Lambda 函式、同步裝置資料以及與其他裝置安全通訊——甚至無需連線網際網路。通過使用 AWS Lambda，Greengrass 可以確保您的 IoT 裝置能夠快速響應本地事件，使用正在 Greengrass Core 上執行的 Lambda 函式以與本地資源進行互動，執行間歇性連線，通過空中升級保持更新狀態，最大限度地降低將 IoT 資料傳輸到雲的成本。

Greengrass ML Inference 是 AWS Greengrass 的一項功能，讓您可以使用在雲中構建和訓練的模型輕鬆地在 Greengrass Core 裝置上本地執行機器學習推理。例如，您可以在 Amazon SageMaker 中為場景檢測分析構建推理模型，然後在啟用 Greengrass 的監控攝像機裝置上執行該模型，該裝置可在檢測到家門口的訪客時進行推理，傳送推理結果到 AWS IOT 雲端，並最終推送訊息通知到主人的手機端。

Greengrass ML Inference 包括預構建的 TensorFlow、Apache mxnet 和 Chainer 軟體包，適用於所有由 Intel Atom、NVIDIA Jetson TX2 和 Raspberry Pi 提供支援的裝置。因此，您無需從頭開始為裝置構建和配置 ML 框架。除了支援 TensorFlow、Apache mxnet 和 Chainer 之外， Greengrass ML 還可以與其他熱門框架（包括 Caffe2 和 Microsoft Cognitive Toolkit ）配合使用。藉助 Greengrass ML Inference，您還可以靈活地在 Amazon SageMaker 中構建和訓練 ML 模型
已經儲存在 S3 中的模型進行部署（這個模型可以來自於雲端訓練的結果，也可以是你自己機房裡的訓練叢集產生的模型，上傳到 S3 ）。

3. 如何部署 AWS Greengrass ML Inference

3.1 環境準備

3.1.1 Ubuntu 虛擬機器環境準備

AWS Greengrass Core 軟體可在網路集線器、閘道器或其他裝置上執行，能夠自動與雲同步和互動。執行環境為 Linux ，至少需要 1GHz 的計算頻率 (ARM 或 X86)、128MB RAM 以及其他資源，才能滿足所需作業系統、訊息吞吐量和 AWS Lambda 執行的要求。具體詳情可以參考這裡。

本文將採用一個 Ubuntu 的虛擬機器來模擬一個 IOT 閘道器裝置，通過其整合的攝像頭（可以把你的膝上型電腦的攝像頭對映給虛擬機器使用）來採集影象。通過部署 AWS  Greengrass ，它可以從雲端載入一個用於探測人體動作的模型以及用於推理的 lambda 程式碼，每秒鐘生成一個推理的結果併發送到 AWS IOT 雲端。

開始之前，你需要註冊一個 AWS 全球區的賬號，並且在你的筆記本上預先安裝一個VMware workstation(Windows)  或 VMware Fusion(MacOS) 或 VirtualBox ，並安裝好一個 Ubuntu 桌面版虛擬機器（ Ubuntu官網下載地址：http://www.ubuntu.org.cn/download/desktop ），需要至少2GB 記憶體，最好給虛擬機器分配3GB 的記憶體。

安裝好虛擬機器以後，我們需要將筆記本的攝像頭對映給虛擬機器。以Virtual Box為例，在選單中 Devices 下面選中 Webcams ，這樣 Ubuntu 可以共享筆記本的攝像頭，用於推理。如下圖所示：

3.1.2 安裝 Greengrass 軟體

登入到虛擬機器Ubuntu裡面，開啟 terminal 終端，在其中輸入以下命令：

sudo apt-get update
sudo apt-get install -y wget python gcc vim
wget https://bootstrap.pypa.io/get-pip.py && sudo python get-pip.py
sudo adduser --system ggc_user
sudo groupadd --system ggc_group
cd /etc/sysctl.d
ls

結果如下圖所示，你應該能看到一個名為 99-sysctl.conf 的檔案。

執行命令：

sudo vim 99-sysctl.conf

為了提高裝置上的安全性，請執行以下命令以在作業系統啟動時啟用硬連結和軟連結保護。在檔案末尾新增以下兩行：

fs.protected_hardlinks = 1
fs.protected_symlinks = 1

儲存退出編輯。之後重啟 Ubuntu 系統：

sudo reboot

重啟完畢後重新開啟 terminal 終端，輸入：

sudo sysctl -a 2> /dev/null | grep fs.protected

你可以看到 fs.protected_hardlinks = 1  和  fs.protected_symlinks = 1，如下圖所示：

在 Ubuntu 中開啟瀏覽器，並登入 AWS console ：

進去以後選擇 Greengrass，如下圖所示：

點選 “Get Started” → “Use easy creation”, 命名這個 Greengrass group 為 “Action-Detect” ,其他均採用預設配置即可，點選 “Create Group and Core” ，並下載所有生成的祕鑰檔案和配置檔案的壓縮包. 如下圖所示：

將檔案儲存到  Ubuntu的~/Downloads 目錄。

之後，回到 AWS IOT console 的頁面，找到左下方的 software 選項頁，我們需要下載其中的 AWS Greengrass Core software 以及 Mxnet/TensorFlow precompiled libraries。如下圖所示：

Greengrass Core software 的下載選項如下圖所示：

Mxnet/TensorFlow precompiled libraries 的下載選項如下圖所示：

把這兩個安裝檔案都下載到 Ubuntu 的 ~/Downloads 目錄下面。開啟 Terminal 終端，輸入以下命令以安裝 Greengrass 軟體：

cd ~/Downloads
wget -c "https://www.symantec.com/content/en/us/enterprise/verisign/roots/VeriSign-Class%203-Public-Primary-Certification-Authority-G5.pem" -O root.ca.pem
sudo tar -xzf greengrass-ubuntu-x86-64-1.5.0.tar.gz -C /
tar -xvf xxxx-setup.tar.gz（此檔案是在前文建立 Greengrass 組 “Action-Detect”時下載的檔案）
sudo cp config/config.json /greengrass/config
sudo cp certs/* /greengrass/certs/
sudo cp root.ca.pem /greengrass/certs/
sudo /greengrass/ggc/core/greengrassd start

如果你看到 Greengrass started successfully，那麼你已經成功在 Ubuntu 上執行起Greengrass。

3.1.3 安裝和更新 mxnet 環境

為了讓機器學習的模型和程式碼能夠正常執行，我們還需要安裝 mxnet 相關的環境。由於AWS IOT提供的 mxnet 版本是0.11.0，而本次實驗提供的模型是 1.1.0 的環境下建立的，我們還需要更新 mxnet 的版本。請在 Terminal 終端下執行以下命令：

cd ~/Downloads
tar -xvf ggc-mxnet-v0.11.0-python-intel.tar.gz
sudo ./mxnet_installer.sh
pip install mxnet==1.1.0（如果出錯，可以在後面跟--user +你的使用者名稱）

關掉當前 terminal ，並重新開啟一個新的terminal，並鍵入

python

之後鍵入

import mxnet
print(mxnet.__version__)

看到當前 Mxnet的版本為1.1.0，如下圖所示：

這樣就完成了環境準備工作。

3.2 AWS IOT雲端配置工作

接下來我們將完成在 AWS IOT 雲端的配置，將雲端的機器學習模型和 Lambda 推理程式碼部署到裝置端。

3.2.1 Lambda配置

下載以下Lambda程式碼zip包到你的本地電腦：

在AWS IOT Greengrass console點選選中剛才建立的 Grassgrass 組“action-Detect”：

• Greengrass→Groups→ ” action-Detect “→ Add Lambda
• 在開啟的 Lambda console 中點選 Lambda→ Add Lambda → Create new Lambda, 如下圖所示：

• 提供相應的配置引數：

-Name :  human-action-detect

-RunTime:  Python 2.7

-Role: Choose an existing role

– Exiting role:  service-role/lambda_basic_execution (如果沒有看到這個 role，則在上一步中選擇新建一個role)

• 上傳剛才下載的 zip 包，並在 Lambda 的配置介面將Handler改成 HumanActionDetect.function_handler。如下圖所示：

• 在 Configure test even 裡面，保持預設的設定，命名為 “TestEvent”。並點選 create。

點選 Save。

• 點選 Actions → Publish new version. 給它一個版本號1.0。如下圖所示：

• 點選 “Publish”.

以上步驟將會建立和釋出一個 version 1 的 lambda 函式，可供後續 Greengrass 配置使用.

3.2.2  Greengrass group 配置

• 新增 Lambda 到你建立的 group

依次點選Groups →   action-Detect  → Lambda → Add Lambda  → Use exiting Lambda  → human-action-detect  → Version 1。如下圖所示：

• 在上面的介面點選 human-action-detect 進行相應的配置：

點選 Edit, 如下圖所示：

配置相應的引數：

– Memory limit: 512 MB

– Timeout: 20 sec

– 選中 "Make this function long-lived and keep it running indefinitely"

– Enable "Read access to /sys directory"

– 其他保持預設

如下圖所示：

• 新增本地檔案系統

在 resource 介面，點選 Add Resource。如下圖所示：

點選Add local resource。如下圖所示：

配置相應的引數：

-Resource name:  tmp

-Resource type:  Volume

-Source path:  /tmp

-Destination path:  /tmp

-選中 Automatically add OS group permissions of the Linux group that owns the resource

-選中 Read and write access

如下圖所示：

點選 add another resource

• 新增攝像頭

-Resource name: webcam

-選中 device

-device path: /dev/video0

-選中 Automatically add OS group permissions of the Linux group that owns the resource

-選中 Read and write access

如下圖所示：

• 下載機器學習模型並上傳S3

下載以下模型檔案，並上傳到你自己的 S3 儲存桶中

https://s3.cn-north-1.amazonaws.com.cn/greengrass-ml-hands-on-lab/model.tar.gz

• 新增機器學習模型

-resource name: human-action-detect

-選中 Locate or upload a model in S3

–選中上一步上傳到你自己S3儲存桶中的模型檔案

-local path: /models

-選中 read-only access

如下圖所示：

• 檢查 lambda 的資源配置。如下圖所示：

• 新增 Subscriptions：

回到 greengrass group 中選中我們建立的group，在左側的選項中選中subscriptions，點選 add subscription。如下圖所示：

在 source 中選中 Lambda ，並選中剛才配置好的 lambda: human-action-detect。如下圖所示：

在 target 中選中IOT Cloud。如下圖所示：

點選 Next，在 topic filter 中輸入 your/action。如下圖所示：

點選 Next ，點選 finish

• 更新 service role：

在 AWS Console 中選中 IAM ，在 roles 選項頁中篩選出 GreengrassServiceRole ，並點選進入。如下圖所示：

在頁面中找到 Attach policy ，點選後篩選出 AmazonS3ReadOnlyAccess，點選Attach policy。如下圖所示：

最後GreengrassServiceRole的許可權如下圖所示：

回到 Greengrass group 中選中我們剛才的 group ，在左側選中 settings ，點選右上角的 Add Role。如下圖所示：

選中 GreengrassServiceRole ，並點選 save。如下圖所示：

3.2.3部署 Greengrass的資源和配置到裝置端並驗證:

依次點選Groups → “action-detect”→ Actions → Deploy。如下圖所示：

驗證模式是否成功部署， Lambda 是否正常執行

在 AWS IOT console ，點選 test ，並在右側的 subscription topic 裡面輸入 your/action ，點選 subscript to topic。如下圖所示：

此時你在筆記本攝像頭前可以做各種動作，比如將手舉起來到臉旁邊做揮手狀。保持這個動作幾秒鐘，你就能在 Console 介面看到推理的結果。

注意：

• 我們提供的Lambda 每秒鐘檢測一次你的動作
• 檢測結果成為訊息上傳到 AWS IOT ，然後被 console 的這個 IOT client 所訂閱，整個過程會有幾秒鐘時延
• 我們提供的Lambda 檢測你的動作時，如果 confidence level 不高於9，它不會上傳 MQTT 訊息，因此並不是你的所有動作它都會有訊息產生
• 可以嘗試揮手、鼓掌、刷牙、打電話等行為，檢視是否能夠正常獲取推理結果

如下圖所示：

3.3 問題排查：

你可以通過檢視 Ubuntu 上的 /greengrass/ggc/var/log 目錄中的以下日誌檔案來進行問題排查

- crash.log

-如果Greengrass程式崩潰或執行失敗，會產生相應的日誌

- system

– Greengrass軟體所產生的系統日誌，包括本地Lambda的失敗資訊

- user

– Lambda程式執行過程中產生的所有日誌

具體可以參考以下連結：

https://docs.aws.amazon.com/zh_cn/greengrass/latest/developerguide/greengrass-logs-overview.html

4. 總結

訓練模式需要大量計算資源，因此它非常適合雲端計算， AWS 的 sagemaker 使得雲端的訓練變得非常的簡單。 然而，許多客戶希望執行更接近資料來源的推理，以最大限度地減少等待時間以及通往雲端的往返頻寬問題。利用邊緣計算機器學習推理的 Greengrass ML inference ，可以使得在裝置上部署和執行機器學習模型變得更快，更容易。 這項新功能可以將推理模型應用到本地生成的資料，而無需往返雲端。 AWS Greengrass ML inference 可以與雲端的 sagemaker 良好整合，從而實現雲端訓練，本地推理的完整解決方案。而且，使用者可以通過向 Greengrass 傳送指令要求它將收集到的資料上傳到雲端，在雲端進一步訓練完成模型的更新，通過 AWS IOT 將新的模型以及新的推理程式碼推送到裝置端，從而實現一個不斷迭代和進化的機器學習生態系統。

本篇作者