EasyNVR智慧雲終端接入AI視訊智慧分析功能,使用者可自定義接入自己的分析演算法
視訊分析的需求
人工智慧的發展和在行業中的作用就不用多說了,已經到了勢在必行的一個程度了,尤其是對於流媒體音視訊行業來說,這基本上是人工智慧重中之重的領域,視訊人工智慧,也就是視訊視覺分析的應用方式大體上可以分為兩種:
- 中心計算:所有視訊影象資料都以圖片或者視訊編碼流的形式傳輸到中心服務,再由中心服務進行視訊資料的分析,這種模式比較考驗中心服務的網路能力和中心硬體的算力;
- 邊緣計算:將大部分的計算工作都在邊緣裝置中完成,比如人臉、車牌、物體、行為等的分析和比對,這種做法相比於中心計算的優勢是不不但降低了對頻寬佔用的要求,而且分析的實時性更高,但邊緣計算設型的智慧裝置的生產和製造門檻會相對較高;
本次我們重點介紹的就是邊緣計算型的視訊智慧分析,邊緣計算型雲終端根據裝置算力和裝置晶片架構在研發成本上會有很大差異,如果選擇成本比較高、算力比較強的晶片,例如TX2這種的,對邊緣計算演算法的要求可能就要求沒那麼高,但是如果選擇採用海思常規晶片,不但在訓練模型上會被限制,而且在算力上有較大侷限,這樣對演算法的要求會非常非常高。
EasyNVR為什麼要加入AI功能
畢竟術業有專攻,EasyDarwin/EasyNVR團隊在視訊傳輸(拉流、分發、推流)領域的積澱非常雄厚,因此,我們收到了很多專注於視訊分析公司關於視訊分析接入的需求,經過多次的需求溝通和實踐論證,終於,我們成功在EasyNVR智慧雲終端中加入了AI視訊分析的功能,但是,這裡說的我們加入,實際上是我們為更多的AI人工智慧公司打開了一個口子,讓做智慧分析的公司專注做分析的事情,不用關注流轉的問題,我們會將整個視訊監控裝置從內網,到公網,到客戶端的傳輸流程都整合的非常穩定、可靠。
EasyNVR怎麼接入AI智慧分析演算法
1、EasyNVR需要對每一路接入的通道視訊進行AI+的智慧分析,在不破壞原有EasyNVR由Source(拉流)到Sink(推流)的過程,我們需要在中間加入Filter(視訊處理)的過程,即EasyNVR內部的 Source->Filter->Sink,而這個Filter過程是可選的,配置了這個過程就呼叫,不配置就不呼叫,配置了,但是沒有Load到就不呼叫,Load到了就呼叫;
2、需要在每一個通道中配置Filter的名稱以及自定義的引數,通過Filter的名稱作為Function進行執行,Function會傳入(avFrame,userData,userPtr,callback),再由Callback輸出(userPtr,userData,avFrame),這樣就形成了整個的AI+使用者自定義流程;
3、使用者回調出來的avFrame是進行下一步推流或者儲存的原材料,userData是使用者自定義的資料格式,EasyNVR可以通過介面或者SEI資料等形式,回傳到流媒體伺服器;
我們為AI視訊分析的廠家提供了一套完整的視訊分析接入的示例:https://github.com/EasyNVR/EasyAIFilter
關於EasyNVR
EasyNVR能夠通過簡單的網路攝像機通道配置,將傳統監控行業裡面的高清網路攝像機IP Camera、NVR等具有RTSP協議輸出的裝置接入到EasyNVR,EasyNVR能夠將這些視訊源的音視訊資料進行拉取,轉換為RTMP/HLS,進行全平臺終端H5直播(Web、Android、iOS),並且EasyNVR能夠將視訊源的直播資料對接到第三方CDN網路,實現網際網路級別的直播分發;
點選連結加入群【EasyNVR解決方案】:383501345
獲取更多資訊
EasyDarwin開源流媒體伺服器:www.EasyDarwin.org
EasyDSS商用流媒體解決方案:www.EasyDSS.com
EasyNVR無外掛直播方案:www.EasyNVR.com
Copyright © EasyDarwin Team 2012-2018