關於SM4 加密演算法
部落格園Logo
首頁
新聞
博問
專區
快閃記憶體
班級
程式碼改變世界
搜尋
註冊
登入
華為雲開發者社群
部落格園
首頁
新隨筆
聯絡
訂閱
管理
隨筆 - 661 文章 - 0 評論 - 89
Demo分享丨看ModelArts與HiLens是如何讓車自己跑起來的
摘要：基於HiLens Kit已經基本開發完成，可部署到HiLens Kit，模型的選擇為基於DarkNet53的YOLOv3模型，權重為基於COCO2014訓練的資料集，而車道線的檢測是基於OpenCV的傳統方法實現的，可通過ModelArts AI Gallery與HiLens Kit全流程端雲協同開發部署。
點選傳送門，先來看看最終視訊效果吧→→（PS：請忽略背景音樂）！
主體流程介紹：
（可選，忽略亦可，取決於攝像頭質量，對於相機畸變較大的需要先計算相機的畸變矩陣和失真係數，對圖片進行校正）圖片校正；
擷取感興趣區域，僅對包含車道線資訊的影象區域進行處理；
對感興趣區域使用透視變換；
針對不同顏色的車道線，不同光照條件下的車道線，不同清晰度的車道線，根據不同的顏色空間使用不同的梯度閾值，顏色閾值進行不同的處理。並將每一種處理方式進行融合，得到車道線的二進位制圖；
提取二進位制圖中屬於車道線的畫素；
對二進位制圖片的畫素進行直方圖統計，統計左右兩側的峰值點作為左右車道線的起始點座標進行曲線擬合；
使用二次多項式分別擬合左右車道線的畫素點（對於噪聲較大的畫素點，可以進行濾波處理，或者使用隨機取樣一致性演算法進行曲線擬合）；
效果顯示（可行域顯示，曲率和位置顯示）。
檢測駕駛過程中道路中其他車輛狀態，顯示車輛類別、置信度，並通過YOLOv3進行檢測車輛，然後返回的車輛檢測框的座標與當前座標進行透視變換獲取大約的距離作為車輛之間的距離dis。
說明：
本Demo的主體框架基於HiLens Kit已經基本開發完成，模型的選擇為基於DarkNet53的YOLOv3模型，權重為基於COCO2014訓練的資料集，而車道線的檢測是基於OpenCV的傳統方法實現的，所以計算量較大，導致整體速度較慢。
關於部署和訓練——基於ModelArts 和HiLens Kit的端雲協同：
1）考慮到部署，已經測試過部署到HiLens Kit了，對了，也支援在HiLens Stuido執行模擬測試，更推薦在HiLens Studio哦，比較方便，而且不需要硬體支援，只需要在HiLens Kit或HiLens Studio上安裝pillow庫就行了，關於如何在HiLens Kit和HiLens Studio上安裝第三方庫，非常簡單的哦，可參考：
在HiLens Kit上：https://bbs.huaweicloud.com/forum/thread-94316-1-1.html
在HiLens Studio上：https://bbs.huaweicloud.com/forum/thread-94317-1-1.html
2）如果想訓練或優化，由沒有硬體（比如GPU），那麼很推薦使用ModelArts了，一站式開發，無縫銜接到HiLens Kit哦，關於ModelArts的介紹可參考：https://www.huaweicloud.com/product/modelarts.html
同時也許還能提升下執行速度，這裡介紹三種演算法，親測都可以部署到HiLens Kit推理使用哦，就在最新的AI Gallery（原AI市場）中哦，這裡除了有演算法，還有模型、資料集等等，很豐富，大家可以自己探索一下，同時還可以分享自己的演算法給其他開發者，開發者訂閱即可建立訓練使用，很方便，相比於GitHub，不僅提供了原始碼，還提供了用於訓練的硬體資源，強大的Tesla V100 32GB版本哦。
（1）YOLOv3_Darknet53，沒錯，就是著名的YOLOv3，經典的目標檢測網路，後續又推出了YOLOv4、YOLOv5（暫稱此名吧），AI Gallery也推出了YOLOv5的，不過由於PyTorch框架暫不支援模 型轉換，所以暫時放棄了。
關於YOLOv3_Darknet53的使用方法，演算法介面介紹很詳細，這裡就不贅述了，可以參考使用，注意模型轉換部分請參考這篇博文中模型轉換部分哦：https://bbs.huaweicloud.com/blogs/199870
演算法備用連結為：https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=2d52a07e-ccbd-420f-8999-2ea7b4bdd691
（2）YOLOv3_Resnet18(GPU)，如果我們只想做車輛的檢測或者為了簡化模型，提高速度，可以選用主幹網路為Resnet18的YOLOv3，網路更輕量，速度會快一些哦。
同樣給上鍊接：https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=948196c8-3e7a-4729-850b-069101d6e95c
（3）YOLOv3_Resnet18(Ascend 910)，和上面（2）版本差異不大，主要改為由GPU換為Ascend 910訓練的，大家可自由選擇哦。
連結為：https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=7087008a-7eec-4977-8b66-3a7703e9fd22
好了，演算法部分解決了，資料怎麼辦呢？ModelArts的AI Gallery同樣想到了，提供了資料集哦，免費訂閱，下載到自己的OBS匯入就能用了(注意OBS需要一定花費)，這裡我也提供了開源資料集的5164張人車圖片，供大家使用哦，上鍊接：https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=a337272b-6918-4282-83d6-2b15e2a4c716
那麼資料集和演算法都有了，該訓練了吧，在ModelArts上可以很好完成，憑藉強大的Tesla V100 32GB或Ascend 910可以很快完成哦。
上述整體操作流程部分可參考下述博文完成：https://bbs.huaweicloud.com/blogs/199870
執行效果：
完成執行如視訊中所示處理的一幀需要約300ms，也就是FPS約為3，不較慢，需要優化。我覺得還有很大優化空間，比如：
（1）預處理和後處理很費時間，真正推理很快，可以從這方面加速，不知道開啟多執行緒是否有提升，應該有吧；
（2）應該可以更好發揮專用硬體，記得好像有DVPP和AIPP吧，可以用來做色域轉換的操作；
(3) YOLOv3的後處理解析比較麻煩，這裡用的是COCO的80類，但可以只用person、car兩類，或者再加一點，同時nms也比較費時間，如果能用運算元實現，融合到om模型中，會提速很多；
（4）這裡使用的是Python，如果用C++應該會提升一些，執行效率會高很多吧。
（5）優化提速要根據硬體效能，對費時的部分做分析，以最大壓榨硬體效能，需要做針對性、定製化地優化，我個人理解很淺，希望有熟悉的同學指教。
備註：
本Demo所用模型、程式碼均來自開原始碼，好像是吳恩達老師的一個課程涉及的專案，但找不到出處了，如果知道的同學，還請在在下方回覆指教，謝謝了。
本Demo的模型精度以及執行速度不做保證，僅供學習交流使用。
其他未盡事宜，還請多多指教。
程式碼會開源的，敬請期待哦，謝謝。
本文分享自華為雲社群《Demo分享 | 當自動駕駛遇到ModelArts，ModelArts AI Gallery與HiLens Kit開發》，原文作者：Tianyi_Li 。
點選關注，第一時間瞭解華為雲新鮮技術~
分類: 華為雲新鮮技術分享
標籤: 自動駕駛, YOLOv3, ModelArts, HiLens Kit, OpenCV
好文要頂 關注我 收藏該文
華為雲開發者社群
關注 - 0
粉絲 - 158
+加關注
0 0
« 上一篇： 如何通過一個SDK輕鬆搞定人臉識別，拯救初入職場的程式猿
» 下一篇： 一個企業用電有多浪費？90後開發者大顯身手，讓每度電從此更“聰明”!
posted @ 2020-12-29 10:38 華為雲開發者社群 閱讀(89) 評論(0) 編輯 收藏
重新整理評論重新整理頁面返回頂部
登入後才能發表評論，立即 登入 或 註冊， 訪問 網站首頁
寫給園友們的一封求助信
【推薦】News: 大型組態、工控、模擬、CADGIS 50萬行VC++原始碼免費下載
【推薦】有你助力，更好為你——部落格園使用者消費觀調查，附帶小驚喜！
【推薦】部落格園x絲芙蘭-聖誕特別活動：聖誕選禮，美力送遞
【推薦】了不起的開發者，擋不住的華為，園子裡的品牌專區
【福利】AWS攜手部落格園為開發者送免費套餐+50元京東E卡
【推薦】未知數的距離，毫秒間的傳遞，聲網與你實時互動
【推薦】新一代 NoSQL 資料庫，Aerospike專區新鮮入駐
相關博文：
· Centos7_sl命令跑火車
· 資料標註，自動駕駛汽車的新“引擎”丨曼孚科技
· logback.xmldemo
· Vue指令demo
· Prism7.2官方Demo
» 更多推薦…
最新 IT 新聞:
· 「逃離矽谷」愈演愈烈，舊金山正在消亡？
· 雖品質過硬 但《使命召喚手遊》成不了《和平精英》
· 小米11上手體驗：下了狠手，也留了一手
· 連摘兩項大獎 騰訊雲IPv6產品實力和領先部署能力再獲權威機構認可
· 郭德帆：2021年對科技公司的一些預判
» 更多新聞…
公告
暱稱： 華為雲開發者社群
園齡： 7個月
粉絲： 158
關注： 0
+加關注
< 2020年12月 >
日 一 二 三 四 五 六
29 30 1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31 1 2
3 4 5 6 7 8 9
搜尋
找找看
谷歌搜尋
常用連結
我的隨筆
我的評論
我的參與
最新評論
我的標籤
我的標籤
華為雲(207)
資料庫(69)
AI(45)
資料(44)
物聯網(42)
ModelArts(33)
開發者(33)
大資料(30)
程式碼(30)
容器(26)
更多
積分與排名
積分 - 131647
排名 - 6171
隨筆分類 (635)
程式設計師之家(333)
華為雲動態(70)
華為雲新鮮技術分享(209)
雲圖說-複雜技術簡單學(23)
隨筆檔案 (661)
2020年12月(87)
2020年11月(89)
2020年10月(74)
2020年9月(98)
2020年8月(93)
2020年7月(100)
2020年6月(73)
2020年5月(47)
最新評論
- Re:一個敏捷教練成長必備的8項技能
好
–君君的喵爸 - Re:基於區塊鏈的政務平臺設計探索
中國的區塊鏈必定一地雞毛，拭目以待！
–jsoft - Re:基於區塊鏈的政務平臺設計探索
任重而道遠
–coder410621 - Re:基於區塊鏈的政務平臺設計探索
{招聘} 同學，你是否還在為工作不開心而煩惱？