作者：藍色風暴端識別團隊（張昭宗、汪祖臣、菜嘰、展義、王佳軍）
1 背景
image.png

蜂鳥騎手在餐品配送過程中會經歷以下五個主要階段：接單、到店、取貨、配送、送達。其中接單、到店與取貨階段主要涉及平臺及店鋪方面，而配送和送達階段則直接與顧客息息相關。騎手將餐品交付顧客手中，因此需要與顧客電話溝通、面對面完成送餐流程。
對於配送服務來說，與顧客直接接觸的過程對塑造品牌口碑尤其關鍵。其中有兩大方面特別影響顧客對於品牌的印象：送餐時間及騎手的服務質量。送餐時間是相對明確的量化指標，而騎手的服務質量則是包括多方面的一項綜合評斷：與顧客溝通的話術（專業的話語，得體的態度等）、騎手本身的形象（專業的送餐裝備，包括穿著和餐箱等）等。

為了提高蜂鳥騎手的服務質量、履行平臺的監管職責、提高騎手在送餐過程中的安全性以及提高蜂鳥品牌形象，本地生活平臺會對送餐過程中的騎手進行抽查，因此誕生了藍色風暴的抽檢業務。藍色風暴抽檢過程中，會對騎手是否佩戴頭盔、工服、餐箱，是否是註冊騎手本人送餐等進行檢查，在特殊時期還包括是否佩戴口罩等。
2 現狀分析
2.1 目前流程
image.png

由於蜂鳥騎手數量眾多，沒有辦法做到實時監管；同時全量檢測勢必會影響騎手效率以及增大平臺運營成本。因此當前採取的策略是對騎手進行抽檢。
目前抽檢由質控中心（QC）進行配置。考慮到抽檢本身對騎手配送會有時間影響，因此如果騎手命中抽檢計劃，會在當前送完最後一單時進行抽檢。騎手通過蜂鳥 App 在拍完自拍照（需包含頭盔、工服、人臉等資訊）後上傳至稽核臺進行稽核，稽核後的結果會告知騎手並同步服務中心。若不符合要求，服務中心會作出扣款處罰並將賬單資訊傳送給騎手平臺。

image.png
圖1 - 騎手抽檢整體流程
image.png
圖2 - 騎手通過蜂鳥 App 上傳自拍照流程

整個抽檢流程中，在騎手拍完照片上傳至稽核臺後，稽核臺首先通過 AI 進行稽核。AI 稽核系統會通過騎手身份證件照，對騎手抽檢過程中的照片進行人臉比對，識別照片中的騎手是否符合抽檢要求（是否佩戴頭盔，身穿工服等）。
當 AI 稽核結果較為明確時直接給出結果（如確定著裝不符合要求）；反之若稽核的結果不確定，則稽核單會流入到人工稽核，由稽核人員進行二次判定。
image.png
圖3 - 抽檢稽核流程
2.2 現有問題

通過引入 AI 稽核，相比最開始的全人工稽核，人工稽核單數量已經大大減少。但是通過稽核臺上的相關資料分析發現，目前AI稽核所能處理的稽核單數量只佔總量較少一部分，大量稽核單仍需要人工參與。這是因為很多線下騎手拍照的規範性、所處環境等原因，不能嚴格按照要求來進行。為了履行平臺的監管職責，會將存在歧義的單子流入人工。

對人工稽核來說，每年的人工稽核預算是有限的。在目前的稽核預算下，每年都會將預算全部用完，甚至需要找其他部門要預算。同時由於預算上的限制，也無法擴大稽核量，提高抽檢比率。這也近一步限制著騎手形象滿意度。目前在對餓了麼品牌形象減分的影響因素裡面，騎手形象佔據最多的比例。每個月使用者對於騎手的著裝不整潔等等的反饋量比較多。受制於抽檢量不足的限制，騎手的著裝規範無法得到明確落實，C端使用者對騎士形象的差評率出現走高趨勢。
因此我們可以看出，無論是為了降低成本還是擴大抽檢量化，提高機審比例是一件亟待解決的事情。
3 端智慧方案

為了降低人工稽核比例，同時確保騎手能及時的感知著裝是否符合要求，我們在與淘系技術部 - 端智慧團隊交流後，決定將 AI 識別放在端上進行：在騎手拍照過程中直接識別騎手的裝備和人臉等並實時給出對應的提示。
整個專案過程中，基礎設施方面我們直接借力集團成熟的端側推理引擎 MNN 以及配套的一站式工具 MNN 工作臺，業務則分為兩個步驟進行：

第一期先在端上試水，在騎手拍照時，AI 識別騎手符合抽檢要求時主動幫騎手拍照，在現有的抽檢流程上做一個輔助類的工具。並利用這些資料來驗證，在端上識別是否可行。

第二期完全端識別，在第一期驗證階段驗證端上識別確實有效的前提下，我們將整個識別過程放在端上處理。騎手在相機頁面，我們會根據騎手預覽畫面中的視訊流來識別騎手裝備，如果符合要求就直接透傳抽檢結果給後端，以替代後端 AI 識別和人工稽核。

整體架構如下：
image.png
圖4 - 蜂鳥 App 藍色風暴專案端智慧整體架構
3.1 第一期：端上預識別
3.1.1 端上預識別

端上預識別作為一個輔助工具，在騎手拍照預覽時，端上 AI 會識別視訊流中的幀，會和騎手進行視訊的捕捉互動，每一刻實時給到騎手抽檢狀態的反饋，便於騎手實時調整（類似支付寶刷臉場景），如下圖中淡黃色框選的區域；當未識別成功時，騎手也可以手動進行拍照。整體的抽檢判定流程還是走以前服務端邏輯。
image.png
圖5 - 端上預識別整體流程
3.1.2 演算法設計

目前一期方案：主要進行人臉檢測、頭盔識別和工服識別。首先對輸入影象進行人臉檢測，如果檢測到人臉，根據人臉位置，定位到人的頭頂位置，對影象進行裁剪得到頭頂影象，然後將其輸入到頭盔分類模型，進行頭盔分類，同理根據人臉位置，定位到上半身位置，對影象進行裁剪得到上半身影象，然後將上半身影象輸入到工服分類模型進行工服分類。演算法流程如下：
image.png
圖6 - 著裝識別流程設計

在蜂鳥 App 開發和本地生活研究院同學的合理結合下，產生了非常顯著的業務效果。這也證明只要明確業務場景，端側 AI 可以有效地成為業務創新的源動力。
3.1.3 效果展示
small-clip.gif
圖7 - 端智慧著裝識別實際演示

在經過一個版本的線上驗證，通過統計分析稽核臺和端上預識別騎手抽檢資料後（見下方表格），我們可以明顯看出端上預識別的結果與最終稽核結果保持高度一致，二者僅相差0.0292，誤差為3.3%。與此同時，在騎手抽檢過程中，端上預識別也能很好的節約騎手時間，減少騎手對抽檢專案的牴觸情緒。

備註：通過比例 = 符合稽核要求的騎手數 / 總稽核的騎手數

後端稽核通過比例(AI稽核+人工稽核) 端上預識別通過比例 相差
0.8856 0.8564 0.0292
專案 後端AI識別（以前的模式） 端上預識別（目前模式） 對比
從命中抽檢到完成抽檢 110s 82s 節省時間28s (25%)
從開始抽檢到完成抽檢 50s 40s 節省時間10s (20%)

一期基於端上智慧的預識別專案，在蜂鳥 App 團隊和本地生活研究院的通力合作下，對業務產生了非常顯著的效果。
相信藍色風暴專案的成功開展，也可以為大家在非電商場景下使用端智慧增加一些信心。
3.2 第二期：完全端識別
3.2.1 完全端識別

在統計一期識別資料後，可以看到目前端上預識別表現良好，無論是演算法準確率還是識別結果都滿足取代後端稽核系統的設想。通過將識別過程提前到端上，騎手能實時感知抽檢過程，抽檢也極短時間內給出結果。
image.png
圖8 - 二期完全端識別流程概述

在騎手抽檢過程中，當騎手開啟照相機後，通過預覽畫面，比對當前騎手的面部特徵是否與註冊資訊中一致，並對其進行活體檢測。根據抽檢等級要求，識別騎手是否有佩戴頭盔、身穿工服等等。當所有條件都滿足時，識別通過，並將識別結果透傳給後端。
在騎手抽檢過程中，在裝備符合抽檢要求的情況下，如果端上識別通過則直接通過，如果端上識別失敗，可提交人工稽核。就目前的資料來看，提交人工稽核的這部分並不會太多。
在裝備不符合要求的情況下，如果端上識別不通過，則直接給出結果。如果識別通過，就目前資料來看，這部分量也不會太多。後面我們也會持續優化演算法以及做好降級到人工稽核的方案。
image.png
圖9 - 二期完全端識別流程設計
比較項 後端識別 完全端識別
騎手感知 黑盒狀態，無法及時知道結果 實時抽檢，感知自己的抽檢姿勢和結果
活體檢測 僅有靜態二維圖片活體檢測 有動態活體檢測，反作弊大大提升
時間花費 存在反覆操作，操作鏈路相對較長 縮短操作路徑，節約時間
3.2.2 演算法設計

在二期方案中，我們在已有演算法的基礎上，增加了口罩識別，活體檢測和人臉比對功能。我們對檢測到人臉的影象，進行口罩分類，識別該騎手是否佩戴口罩；同時，對於檢測到的人臉，進行人臉對齊，然後根據面部特徵點位置採用互動式隨機動作法（包括：眨眼、張嘴、搖頭和點頭）進行活體檢測，如果輸入影象來自真實騎手，那麼將該人臉對齊到標準位置，並且提取特徵，和已經提取好的註冊人臉的特徵進行餘弦距離計算，如果得到的餘弦距離小於指定的閾值，那麼判斷為同一個人，否則則認為不是同一個人，演算法流程概要如下圖所示：
image.png
圖10 - 二期完全端識別演算法設計

目前完全端識別正在進展中，業務資料敬請期待。
4 總結與展望

在即時配送領域，配送員在觸達客戶時候的著裝、話術是消費者面對品牌的第一印象。為了提升餓了麼的服務質量和品牌形象，本地生活相關團隊開展了服務抽檢專案，通過對騎手著裝的自拍照進行稽核來履行平臺對於蜂鳥騎手的監管職責，確保送餐過程中的安全性及品牌形象。

但現有流程下的抽檢方式已無法滿足蜂鳥品牌更大規模下的應用與建設，因此我們通過與淘系技術部 - 端智慧團隊合作，借力於其優秀的端智慧基礎設施 MNN 以及 MNN 工作臺，將端智慧實時抽檢運用到騎手抽檢流程中。

通過開展端上預識別專案，一方面幫助騎手提高拍照體驗，在手抽檢流程中節省騎手20%~25%的操作時間；另一方面也大大節省了原先人工稽核中的冗長流程和成本。一期專案的成功落地也為下一階段端智慧專案的全面開展打下了堅實的基礎。

而藉助藍色風暴專案，我們切實地發現端智慧在本地生活領域的應用，能夠有效的降低抽檢業務成本、擴大抽檢量以及提高抽檢體驗；同時也通過這個專案，本地生活蜂鳥 App 團隊沉澱了一系列端智慧的能力和經驗，後續也會和淘系技術部 - 端智慧團隊合作，將其賦能給集團更多的需求方。

“阿里本地生活技術”公眾號已同步開通，歡迎關注