1.      應用背景... 2

2.      系統框架... 2

3.      AI場景識別演算法和硬體... 3

4.      AR視訊空間管理系統... 5

5.      物聯網及工業網際網路系統... 5

6.      使用者應用終端... 7

7.      應用效果... 9

1.   應用背景

最近有三個專案的技術要求中明確有視訊和AI影象場景識別的需求，並且佔用了很大的篇幅描述場景需求，即包括硬體也包括軟體。物聯網、視訊AI場景識別、業務應用的整體融合是發展的必然趨勢。

第一個專案是鋼鐵行業的安全雙控系統，要求實時識別危險區域的人員安全行為、裝置及環境的安全場景。

第二個專案是水務行業的智慧化實驗室系統，要求對人員進行區域定位、行為識別、試驗過程記錄等，同時與業務系統進行關聯。

第三個專案是航空發動機資料化製造系統，要求進行勞保防護檢測、危險動作識別、人臉識別和故障裝置定位等，同時與生產過程的質量監控、物流/人流、3D三維建模等進行融合。

現在的專案需求呈現麻雀雖小五臟俱全的趨勢，不管專案大小，技術和業務要求涉及到方方面面。

本文主要介紹物聯網及工業網際網路、視訊和AI場景識別構建AR視訊空間大資料平臺的簡要方案。有技術、有產品、有方案。

視訊介紹：

2.   系統框架

AR視訊空間大資料平臺由四層組成：感測器層、邊緣計算、應用工具平臺層、應用業務層。整體框架，如下圖：

3.   AI場景識別演算法和硬體

智慧視訊監控系統整體建設方案以智慧推理平臺為主，從資料採集終端獲取資料，通過網線網路傳輸到資料採集控制中心再通過網路網線將資料推送至智慧推理平臺中，搭配人工智慧的軟硬體處理，最後以獲取到資料的分析結果進行警報響應。支援的演算法，如下列表：

基於資料流架構的加速晶片，針對深度學習演算法推斷功能的計算加速晶片，執行不依賴任何指令集，從而避免了傳統處理器中因取指令及指令譯碼等帶來的晶片運算效能損失。

晶片可以部署在AI邊緣計算盒子、AI智慧計算主機和AI智慧計算伺服器上。硬體如下圖：

  硬體內部嵌入系統管理系統，主要負責統計資料及視訊預覽頁面，對當前資訊進行整合化展示，便於管理人員方便檢視和管理，主要功能包括：控制檯、基礎服務、演算法排程、開放能力和系統管理。如下圖：

4.   AR視訊空間管理系統

視訊攝像頭和邊緣場景識別計算節點可以接入AR視訊空間管理系統，同時AR視訊空間管理系統與物聯網及工業網際網路系統進行視訊和結構化資料互動，管理系統配置好後，使用者應用終端可以直接操作使用。

管理系統提供的功能包括：資源管理、儲存管理、標籤管理、預案管理、系統介面、國標級聯、平臺級聯、電子地圖、應用連結、人員資訊、許可權管理和系統配置。管理系統如下圖：

5.   物聯網及工業網際網路系統

物聯網及工業網際網路系統主要功能包括：裝置驅動、服務驅動、裝置模型、業務模型、計算平臺、資料查詢、資料轉發、檢視建模、機器學習、視訊服務、訊息管理、流程控制、控制日誌、使用者許可權、實時日誌和演算法分析。

（1）裝置驅動，支援物聯網裝置驅動的二次開發和裝置驅動上傳、編輯和刪除等管理。

（2）服務驅動，支援物聯網服務（演算法、資料統計、業務應用等）驅動的二次開發和服務驅動上傳、編輯和刪除等管理，主要面向複雜資料處理、分析等應用場景。

（3）裝置模型，以物理世界構建物聯網對映到系統，支援裝置驅動和服務驅動的配置、管理和執行，包括裝置資訊、資料點、計算預警等。

（4）業務模型，支援根據業務重構裝置及資料邏輯關係，支援構建複雜業務模型。

（5）計算平臺，支援數學運算子和函式對資料點進行復雜的計算，支援建立多個計算任務，支援邏輯規劃推理，並對結果進行訊息推送。

（6）資料查詢，支援以圖型和列表的形式查詢資料，支援圖型和列表資料的匯出。

（7）資料轉發，可以選擇自定義資料點，把資料點通過網路轉發到其他系統中。

（8）檢視建模，物理硬體資料建模與實時展示的問題，對現實場景進行抽象檢視快速構建，支援2D/3D檢視建模，繫結和展示接入裝置實時資料。

（9）機器學習，資料深度挖掘的問題，對裝置接入的資料進行過濾、補數、工況標記、選擇機器學習演算法，自動訓練模型和工況預測。現在支援決策樹和聚類演算法，也可以自定義演算法，滿足物聯網資料的模型訓練和模型預測。

（10）視訊轉換，提供了線上實時視訊流轉換服務，把rtsp協議轉換成rtmp協議或websocket協議，滿足低延時實時在組態上顯示視訊流的需求。工業場景向量園元、圖表和視訊可以整合到一個組態頁面上展示。

（11）訊息管理，支援預警和系統訊息查詢。

（12）流程控制，聯動控制平臺支援線上開發業務指令碼，支援多個生產過程聯動控制任務， 指令碼引擎支援6個內建函式：控制命令（ctrl）、控制延遲（delay）、控制啟動（start）、控制停止（stop）、最新數值（getvalue）和列印日誌（log）。

（13）控制日誌，可以查詢手動和自動控制操作過程記錄資訊。

（14）使用者許可權，增加、編輯和刪除使用者，許可權有：工具許可權、應用許可權和資料點許可權。

（15）實時日誌，可以實時檢視後臺服務執行和除錯過程。

（16）演算法分析，對當前資料點進行資料的基本彙總統計：資料量、均值、最大值和最小值等。現在的演算法分析平臺包括：快速傅立葉變換、包絡分析、倒頻譜和自相關等。

應用介面如下圖：

6.   使用者應用終端

使用者應用終端功能相關的配置資訊說明：

1)   地圖入口屏：在Web後臺管理系統的服務管理和地圖配置中配置

2)   預覽通道：在Web後臺管理系統中資源管理中的匯入裝置資訊和通道資訊

3)   報警：在Web後臺管理系統中的預案管理中配置自動預案資訊、在系統對接中新增第三方的報警系統資訊、關聯對應的抓拍攝像機資訊

4)   連結：在Web後臺管理的第三方連結中配置需要連結的第三方連結資訊

5)   相對位置標籤（PT標籤）：普通球機需在視場角測試工具中匯入裝置的視場角模板或手動測試視場角資訊

6)   自動標籤和手動經緯度標籤：Web後臺管理系統中新增自動標籤規則模板、內容管理平臺中關聯對應的自動標籤規則、內容管理平臺中配置圖層距離、Web服務、裝置的可視域範圍、需配置標籤服務、MQ服務、一機一檔資訊、裝置的高度、視場角模板資訊、裝置的經緯度、裝置的倍率

7)   POI自動標籤：需用POI下載工具下載POI資源、匯入到資料庫、在Web後臺管理系統中新增POI自動標籤規則模板、在內容管理平臺中新增POI自動標籤規則並關聯POI資源、配置標籤服務、MQ服務

8)   居民資訊標籤：需要先Web後臺管理系統中的住戶資訊管理中匯入房屋、住戶資訊模板

9)   VR虛擬全景標籤：需要先在Web後臺管理系統中的裝置管理和通道管理中新增VR虛擬裝置資訊和通道資訊

10) 平臺級聯：需先在Web後臺管理系統中的平臺級聯中新增相關的平臺資訊

11) 室內3D地圖標籤：需要先Web後臺管理系統中的電子地圖中新增3D模型

12) 執法儀、布控球：需先在相關裝置端配置對應的連線資訊、配置移動閘道器服務、在Web後臺管理系統中的系統對接中的移動裝置中新增執法儀、布控球裝置和通道資訊

13) 錄影：配置儲存服務、在Web後臺管理系統中的儲存管理中關聯伺服器的磁碟資訊、相關通道、新增儲存計劃

14) 國標級聯：配置國標服務、流媒體服務、cmms中心服務、裝置閘道器服務、在Web後臺管理系統中的國標級聯中新增上下級平臺資訊、同步上下級平臺中的通道資訊、匯入國標資料、更新到國標服務

15) 周邊資料看板配置：在Web後臺管理系統系統配置中的看板配置中新增相關展示資源資訊

16) 地圖巡邏：需在Web後臺管理系統中的電子地圖中的地圖巡邏中新增巡邏路線、巡邏車模型的速度、巡邏時的攝像機

17) 警衛路線：需在Web後臺管理系統中的電子地圖中的警衛路線中新增巡邏路線、車載視訊通道、沿途視訊通道、巡邏車模型的速度

18) 離線地圖：需在Web後臺管理系統電子地圖中的地圖配置修改地圖的配置、在Web服務中的cs檔案的amap中新增離線地圖瓦片

19) 無人機：在Web後臺管理系統資源管理中的裝置管理和通道管理中新增無人機資訊、新增無人機ID、選擇無人機的取流方式、新增無人機的取流URL地址

20) 報警柱：在Web後臺管理系統資源管理中的裝置管理和通道管理頁面中新增報警柱裝置和通道

21) AR標題logo：在Web後臺管理系統的基礎資訊設定頁碼上傳logo圖片

22) 人臉/車輛抓拍記錄：在Web後臺管理系統的系統對接中新增人臉/車輛抓拍系統並同步抓拍系統中的抓拍攝像機

23) 地圖網格：在Web後臺管理系統的電子地圖中的地圖網格頁面新增

24) 防護圈：在Web後臺管理系統的電子地圖中的地圖網格頁面新增，並啟動

主要分為四大部分：全景展示、預案管理、智慧報警管理、標籤管理。其中，全景展示主要包括：全景視訊展示、區域性視訊展示等模組；預案管理主要包括：預案巡航、自動報警預案等功能；智慧報警管理主要包括：報警彈窗、報警記錄、報警錄影等功能。

登陸應用終端，顯示當前接入視訊的統計資訊和電子地圖，如下圖：

  單擊區域下的攝像頭，demo事例應用，如下圖：

7.   應用效果

實景智慧管理平臺是基於物聯網、增強現實、智慧分析、GIS、大資料與軟體整合等多種先進技術，構建的實景式、網格化立體防控系統，實現在統一門戶下完成廠區重點區域的安保防控業務。

系統支援將實體生產製造及物流裝置的實時資料，將企業的生產過程、裝置執行情況、質量跟蹤狀態各種資料整合展示，完成實體資訊、經營管理、生產流程資料的無縫結合，達到資訊充分共享，有利於實時監控防範損失、減少開支，提高生產效率, 實現企業車間生產過程的視覺化實時監控，為企業打造“智慧型生產工廠”。

物聯網&大資料技術 QQ群：54256083

物聯網&大資料專案 QQ群：727664080
QQ：504547114
微信：wxzz0151
部落格：https://www.cnblogs.com/lsjwq
微信公眾號：iNeuOS