視訊結構化+AI,智慧安防的未來

 

導語：中國安防市場上的視訊監控系統建設，已經從基礎系統的規模化建設轉向深度應用層的功能模組建設，與此相關的各種安防新技術、IT與網際網路新技術進入到更高級別的交融發展階段，深度學習在視訊結構化方面已經處於落地應用階段了。

 

 

一、視訊結構化的定義

原始的視訊實際上是一種非結構化的資料，其中的目標只能直觀的觀看，不能直接被計算機讀取和識別。視訊結構化就是將視訊這種非結構化的資料中的目標貼上相對應的標籤，變為可通過某種條件進行搜尋的結構化資料。視訊結構化的叫法有很多，如視訊目標屬性解析、車輛結構化、行人結構化、 騎行結構化、人臉結構化、視訊向量分析、視訊智慧分析、視訊內容檢索分析、視訊內容語義分析、視訊機器學習應用等。

      

二、視訊結構化的發展

視訊智慧處理經過了三個階段，第一階段是單兵裝置，第二階段是視訊分散式處理，第三階段就是視訊結構化。前兩階段的特點是視訊分析跟業務是耦合的，這在視訊量小、業務相對簡單時是適合的，但難以滿足海量視訊分析和日益複雜的業務需求。隨著視訊大資料時代的到來，需要一種解決方案，將視訊智慧分析與業務解耦，一個專注於海量視訊的智慧分析，一個專注於大資料的分析處理和使用者的業務需求。

視訊結構化發展又分為兩個階段：

第一階段是目標識別與軌跡提取：

l  採用目標檢測、特徵提取、物件識別、深度學習等分析手段提取視訊影象中的目標物件及運動軌跡。

l  對目標物件進行分類為人、車、物、行為、事件等不同類別。

將視訊進行結構化分析,視訊會分析如下結果：

1）把目標做人、車、物分類，生成快照索引資訊

2）提取活動目標的軌跡資訊

有了如上兩類結果之後我們就可以做視訊的搜尋應用了。

1） 人、車、非機動車等分類搜尋。

2） 軌跡搜尋：

2.1)通過目標運動軌跡進行搜尋：拌線、運動方向、運動區域等

2.2) 通過主顏色搜尋目標

2.3）支援輸入圖片，通過目標外觀進行相似度搜索

優點：

1） 多種搜尋方式：型別搜尋、軌跡搜尋、顏色搜尋、以圖搜圖。

2） 顏色矯正：克服不同攝像頭的偏色問題

缺點：

所有廠商技術都是基於模式識別為基礎的。

第二階段是二次結構化：

l  進一步提取目標的高層特徵包括目標顏色特徵，分類特徵，速度特徵等，並把目標的軌跡資訊以及高層特徵形成高效的索引資料。

l  行人、人騎車、機動車結構化。

       二次結構化可以說是有智的飛躍，在原有目標分類的基礎上，可以做更多的工作，支援的屬性更多，視訊搜過的召回率、準確率得到大大的提升，具體我們看一下針對行人、人騎車、機動車的結構化。

 優點：

1）  演算法全面基於深度學習，搜尋效能顯著提升。

2）  可搜尋的向量特徵值更多，從而提高召回率、準確率。

缺點：

資料量的問題，模型訓練樣本的數量。

      

三、視訊結構化視訊源的要求

       3.1、天網、智慧城市、雪亮工程、3111工程等架設的攝像頭都沒有問題，如自已架設攝像頭宜距地面3.5-5m，最大俯視角度不超過15度。

3.1、結構化視訊目標畫素要求

四、視訊結構化伺服器

明景科技專門做視訊影象處理的，涉及的產品有兩個系列：

視訊偵查系列產品：視訊智慧摘要檢索系統、視訊影象增強處理系統、視訊快速採集下載系統、視訊勘察箱、視訊結構化伺服器。

車輛大資料系列產品：車輛大資料分析檢索系統、車輛大資料結構化分析系統、未系安全帶檢測系統。

言歸正傳，分結構化能力、應用例項、部署方式、產品形態四個方面講一下他們的結構化產品：

其一、結構化能力

       行人結構化：

1)    上身衣著型別（馬甲吊帶背心、襯衫、西服、毛衣、皮衣夾克、羽絨服、大衣風衣、外套、連衣裙、無上衣等）

2)    上身衣著顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等）

3)    下身衣著型別（長褲、短褲、長裙、短裙、連衣裙等）

4)    下身衣著顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等）

5)    鞋子型別（光腳、皮鞋、運動鞋、靴子、涼鞋等）

6)    鞋子顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等）

7)    攜帶包型別（單肩包、雙肩包、拉桿箱、錢包等）

8)    攜帶包顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等）

9)    髮型特徵（長髮、短髮、光頭、帽子等）

10) 頭部顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等）

11) 衣服紋理（純色、碎花、條紋、格子等）

12) 性別（男、女等）

13) 體態（胖、瘦、中）

14) 種族（漢族、維族、黑人、白人等）

15) 年齡段（幼兒、兒童、青年、中年、老年等）

16) 攜帶物（打傘、抱小孩、拿手機、眼鏡、墨鏡、圍巾、腰帶、無攜帶物等）

17) 朝向（正面、背面、側面）

 

汽車結構化：

1)    車牌號碼

2)    車牌顏色

3)    車身顏色

4)    車型

5)    品牌

6)    子品牌

7)    年款

8)    特徵物(年檢標、紙巾盒、遮陽板、掛件、擺件、主駕安全帶、副駕安全帶、打手機)

9)    運動方向

10) 運動距離

11) 經過時間

12) 經過地點

13) 目標大小

14) 目標快照(原始解析度)

 

人騎車結構化：

1)    上身衣著型別（T恤、馬甲吊帶背心、襯衫、西服、毛衣、皮衣夾克、羽絨服、大衣風衣、外套、連衣裙、無上衣等），

2)    上身衣著顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等），

3)    下身衣著型別（長褲、短褲、長裙、短裙、連衣裙等），

4)    下身衣著顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等），

5)    攜帶包型別（單肩包、雙肩包、無包、錢包等），

6)    攜帶包顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色等），

7)    髮型特徵（長髮、短髮、光頭、帽子、頭盔等），

8)    衣服紋理（純色、碎花、條紋、格子等），

9)    性別（男、女等），

10) 體態（胖、瘦、中），

11) 種族（漢族、維族、黑人、白人等），

12) 年齡段（幼兒、兒童、青年、中年、老年等），

13) 眼部特徵（正常眼睛、眼鏡、墨鏡等），

14) 嘴部特徵（正常嘴，戴口罩等）圍巾特徵（普通圍巾、包頭圍巾等），

15) 非機動車顏色（黑、白、紅、黃、藍、綠、紫、棕、灰、橙、多色、銀等）

16) 朝向（正面、背面、側面），

17) 車上人數（0、1、2、更多），

18) 是否打傘，

19) 是否攜帶物品。

 

其二、應用例項

 

視訊資料接入：

u  離線視訊檔案匯入

Ø  支援的廠商：相容主流廠家的視訊檔案下載（如海康、大華、宇視、華為/華賽、漢邦、天地偉業、中興力維、科達、恆憶、英飛拓、東方網力、金鵬、浙江立元、 武漢烽火、上海皓維、同尊、蘇州皓泰、蘇州中德巨集泰、中維世紀、金三立、大立、安聯銳視、索尼、藍色星際等）

Ø  支援的視訊格式：h264、264、mp4、mpg、asf、avi、flv、wmv、mpeg、3gp、rm、rmvb、hik、dav、dvr、ts、h3crd、h3cv3、sdv、zv、znv、kdm4、ifv、mbf、jwr、avx、nsf、dat、mkv、avd、ps、KSJF、HE4、sv4、sv5、rec、m4v、hav、zmp5、600、692、801、ifv、lvf、vas、hdvr、dav、jav、eye、mov、dh、snv、bsr、msv、dvf等

Ø  支援原格式匯入、轉碼後匯入兩種方式

u  實時視訊流接入

Ø  支援rtsp協議視訊流接入

Ø  支援IPC、NVR、DVR裝置實時流接入

 

智慧分析：

 

智慧搜尋：

u  智慧搜尋功能

Ø  軌跡搜尋：感興趣區域、拌線、進入駐留、行進方向、離開區域、不感興趣區域、運動距離

Ø  時間搜尋

Ø  目標分類搜尋：人、機動車、人騎車、其他

Ø  特徵搜尋：人、機動車、人騎車的屬性特徵

Ø  外觀條件搜尋：主要顏色、顏色組合、螢幕取色、目標大小

Ø  以圖搜尋

u  智慧結果顯示功能

Ø  排序方式：按時間、相似度排序

Ø  顯示型別：僅顯示目標、目標和軌跡

 

智慧播放器：

u  智慧播放器功能

Ø  播放、暫停、倒放、前一幀、後一幀、快進、慢放、片斷迴圈播放、書籤、片斷擷取、物標、校時、變速播放、跳躍播放

Ø  快照與原始視訊關聯跳轉

 

電子地圖：

u  電子地圖功能

Ø  新增攝像頭、點標記、路線、案發地點、消失地點、計算移動區域、計算終點時間、計算移動速度、上下車地點等。

 

多工並行處理：

Ø  結構化裝置管理

Ø  結構化任務管理

Ø  CPU佔用率、記憶體佔用率、磁碟空間等的監控

 

 

其三、部署方式

實時視訊流結構化分析，系統基於結構化分析結果進行告警、檢索和挖掘

 

離線視訊檔案上傳結構化分析，系統基於分析結果進行大資料分析、檢索

 

其四、產品形態

主要有兩種，一種是成套產品，包括單機版和伺服器版。另外一種是對外提供SDK的方式，值得一提的是sdk的介面特別全，整合起來比較簡單。