http://blog.csdn.net/cjsycyl/article/details/8029424

安防監控正在步入高清化、智慧化時代，海思推出的Hi3516正是針對高清IPCamera的一款專業高階SOC晶片，除了[email protected]多碼流編碼、優異的ISP和編碼視訊質量優勢外，其高效能的智慧視訊分析加速引擎和基於此的智慧視訊分析整合應用更是該產品的一大亮點。

　　從圖1中我們可以看到Hi3516在影象處理系統中增加了IVS ENGINE，即智慧視訊加速引擎，簡稱IVE。

　　圖1：Hi3516功能框圖

　　這個加速引擎的主要作用就是將智慧視訊分析演算法運算中頻繁呼叫且消耗資源較大的主要運算元實現硬化，以減少底層運算對CPU資源的消耗，節省CPU資源來做更多的智慧分析應用。

　　基於硬化的IVE以及強大的CPU，Hi3516晶片可根據使用者需要，開發各種智慧視訊分析應用，包括通用類功能，如周界防範、視訊質量診斷、人臉檢測，也可以開發行業專用類功能，如自助銀行專用功能“ATM異物加裝檢測”等。

　　本文將對智慧視訊加速引擎及其應用進行介紹。

　　首先介紹最常見的智慧視訊分析功能--周界防範與加速引擎的關係。周界防範功能屬於智慧視訊行為分析，其核心模組包括：運動目標檢測、運動目標跟蹤、運動目標分類、安全規則判別。其中運動目標檢測與跟蹤模組是整個處理流程的基礎，這兩個模組互為反饋，關聯性強。

　　運動目標檢測的目的是將視訊場景中的運動目標從背景中分割出來。由於光照的變化、背景混亂運動的干擾、運動目標的影子、攝像機的抖動以及運動目標的自遮擋和互遮擋現象的存在等等，都給運動目標的正確檢測帶來極大的挑戰。而運動目標的檢測影響著後期的跟蹤和分類，是智慧視訊監控技術中的關鍵。

　　運動目標跟蹤是在運動目標檢測的基礎上，利用目標的有效特徵，使用適當的匹配演算法，在序列影象中尋找與目標模板最相似的影象位置，對目標進行定位。在實際應用中，運動目標跟蹤不僅可以提供目標的運動軌跡和準確定位目標，為下一步的目標行為分析與理解提供了可靠的資料來源，而且也可以為運動目標檢測提供有效反饋，對目標檢測進行修正更新，從而形成一個良性迴圈，因此運動目標檢測和運動目標跟蹤演算法是密不可分的，相輔相成。

　　運動目標分類是在運動目標檢測和跟蹤的基礎上，通過對運動目標進行有效特徵提取，分類器訓練，對視訊影象中的人、車、動物進行準確分類。其中，特徵提取用於提取目標的空間特徵和時間特徵；分類器的訓練通過細化分類採用多特徵的樹型分類器，逐層細化分類，提高分類器的準確性。

　　安全規則判別是在運動目標檢測、跟蹤、分類的基礎上，得到準確的目標資訊，通過判斷當前時刻目標的行為特徵是否違反了使用者自定義的安全規則，從而觸發報警。其中安全規則判別也就是最終形成了使用者應用功能，如周界入侵（進入、離開、出現、消失）、單警戒線、多警戒線、逆行、徘徊、異常速度、非法停車、計數、PTZ跟蹤等等。

下圖為智慧視訊行為分析處理流程圖。

　　圖2：智慧視訊行為分析處理流程圖

　　根據長期的實際工作測試，智慧視訊行為分析演算法最大的資源消耗部分就在於檢測模組，基本佔用全部消耗的80%以上。

　　以一個檢測解析度CIF格式、時長3分30秒、光照度間歇變化、人車目標持續出現的典型的視訊序列為例，在Hi3520晶片上應用周界檢測、絆線、逆行、徘徊功能進行測試，各模組消耗的資源如下表所示：

　　表1：各模組資源消耗資料表

　　各模組消耗資源分佈圖如圖3所示：

　　圖3：各模組消耗資源分佈圖

　　從Hi3516提供的硬化運算元來看，其選取了與運動目標檢測模組關聯性強且本身消耗資源大的部分的主要運算元進行了硬化，涉及影象下采樣、色彩空間轉換、濾波器、形態學處理、梯度與邊緣處理、影象運算操作、塊統計等多個方面。

　　該類硬化運算元稱為智慧視訊引擎IVE。IVE是硬體方式實現了智慧視訊分析演算法中的影象處理基礎運算元，大大提高了基礎運算元的運算效率，為智慧視訊分析技術的實時性以及多演算法的並行性提供了技術手段。

　　IVE提供的影象以幀級運算為主，主要包括影象操作運算元（兩幅影象減操作、兩幅影象閾值化操作、兩幅影象與操作、兩幅影象或操作）、高斯濾波運算元、數學形態學運算元（腐蝕、膨脹）、sobel邊緣運算元、影象比較運算元、積分圖運算元、直方圖統計運算元。IVE所提供的基礎運算元是智慧視訊分析中使用頻率較高的運算元，這樣可以最大限度提升智慧分析演算法的效率。IVE的硬化運算元會頻繁應用於檢測器模組，包括幀間差分（影象操作運算元）、背景差分（影象操作運算元）、影象平滑（高斯濾波運算元）、邊緣檢測（sobel邊緣運算元）、閾值分割（影象比較運算元）、噪聲過濾（數學形態學運算元）等等。

　　經測試，IVE對運動目標檢測演算法效能的提高可達40%左右。

　　接下來介紹基於Hi3516 IVE的另一項重要的智慧視訊分析應用--視訊質量診斷。該應用以計算機視覺原理為基礎，針對視訊影象出現的雪花、滾屏、模糊、偏色、畫面凍結、增益失衡和雲臺失控等常見攝像頭故障做出準確判斷，併發出報警資訊，及時有效地報告因硬體導致的影象質量問題從而避免所帶來的不必要損失，同時檢測破壞監控裝置的行為，保證監控系統的正常工作。

　　該應用的主要功能包括：

　　1.視訊訊號亮度異常檢測

　　自動檢測視訊中由於攝像頭故障、增益控制紊亂、照明條件異常或人為惡意遮擋等原因引起的畫面過暗、過亮或黑屏。

　　2.視訊訊號清晰度異常檢測

　　自動檢測視訊中由於聚焦不當、鏡頭損壞或異物遮蔽引起的視野主體部分的影象模糊。自動檢測鏡頭對準無意義物體的情況。

　　3.視訊訊號噪聲檢測

　　自動檢測視訊影象中混有雜亂的“橫道”、“波紋”或一陣陣雜亂的飛點、刺、線狀干擾導致的影象模糊、扭曲、雪花、抖動或滾屏等噪聲現象。

　　4.視訊訊號偏色檢測

　　自動檢測由於線路接觸不良、外部干擾或攝像頭故障等原因造成的視訊中的畫面偏色現象，主要包括全屏單一偏色或多種顏色混雜的帶狀偏色。

　　5.視訊訊號缺失檢測

　　自動檢測因前端雲臺、攝像機工作異常、損壞、人為惡意破壞或視訊傳輸環節故障而引發的間發性或持續性的視訊缺失現象。

　　6.畫面凍結檢測

　　自動檢測由於視訊傳輸排程系統故障一起的視訊畫面凍結，避免遺漏真實的現場視訊影象。

　　7.PTZ失控檢測

　　自動檢測前端雲臺和鏡頭是否出現旋轉失控狀態。

　　8.人為干擾檢測

　　自動檢測由於人為惡意行為引起的畫面遮擋等現象。

　　在這個應用系統中可分為三部分：塔基、塔身、塔頂。塔基負責收集資料和初步加工資料；塔身部分負責根據初步資料得出9種特徵的評價結果；而負責觸發告警的塔頂部分，使用者在此可調節的高階引數，並且根據自身應用需要變化報警策略。
 

　　
圖4 自下而上的資料金字塔

　　在塔基和塔身部分主要完成以下三個處理過程：

　　1.資料來源

　　根據技術樹(圖5)表示，所有功能由9個特徵完成。而9個特徵的提取源於3類資料來源，分別是：RGB圖、梯度圖、亮度圖。因此在這3個數據源的資料加工中存在著公用資料或結論，可以大幅減少相同資料的重複運算，正是硬體加速引擎的主要方面；另一方面是規格化的加工手段，通過儘可能相同的流水線處理來規格化特徵的提取，使不同的特徵提取過程使用盡可能多的相同的處理子模組，從而達到資源的最大化利用。

　　圖5 技術樹和9種特徵

　　1.指標統計

　　統計方法使用：直方圖，均值和方差，FFT變換。其中首先把CIF影象(352×288)進行橫縱4×4等間隔劃分成16塊(88×72)（見圖6），然後分別對每個區域進行直方圖、均值和方差分別統計，這樣不僅在塊區域分析時可以使用資料結果，而且在整幅資料統計時，僅需要簡單把各個塊資訊進行簡單對應相加即可。這不僅可以用於亮度圖、RGB圖的處理,還可以用於梯度圖。對於FFT變換，則直接對彩色圖進行運算。詳情見表二。

　　圖6 劃分為16塊區域的影象

　　表2 資料來源與統計方法

　　1.指標差異分析

　　差異分析主要使用：時域幀差、空域求比、頻域求比等手段。

　　時域幀差：用於統計t時刻影象與t+k(k根據需要可以取1,2，…63)時刻影象的差異，若正常視訊應該始終在各個特徵保持在一個恆定水平，時域幀差可以使影象在時間域上的變化得以顯現並統計。

　　空域求比：對於16個塊的統計，可以為每個塊在每個資料來源上做出一個二值判定以表徵此塊是否處於異常，再通過對異常塊佔全部塊（16塊）的比例來判定整個影象是否處於異常。

　　頻域求比：用於統計某一頻段內畫素出現次數佔總頻段次數的百分比，來評估畫素的分佈特性。例如可以通過大於200亮度值的畫素數與總影象素的比例來判斷整圖是否亮度過亮。

　　塔頂部分報警觸發是使用者最終需要的產品功能。此功能可根據不同場景和目標以及使用者個性需求表現出不同的靈敏性和傾向性。為了達到這一目的，報警策略設定完全開放給使用者。使用者可以根據需要設定閾值門限、增強或減弱所希望的特徵（甚至遮蔽掉無效特徵），以達到準確檢測的目的。

　　基於Hi3516 IVE提供的硬化運算元，配合上層的演算法處理和規則判斷，可以用較少的資源來實現視訊質量診斷的應用。

　　結束語：

　　Hi3516獨有的智慧視訊加速引擎IVE，為智慧視訊的深入應用提供了優秀的平臺。而且核心採用了ARM CortexA9處理器，並帶有256K的二級快取，其優異的媒體處理引擎（MPE）、浮點運算單元（FPU）、單指令多資料流（SIMD）等技術更是為智慧視訊分析技術應用提供了無限的優化空間。

　　我們相信Hi3516晶片的推出，將對監控行業的高清化、智慧化發展起到強勁的推動作用。