SVAC 2.0對于嵌入式智能攝像機的邊緣計算智能分析數據方面,進行了全面的改進與支持,引入實時智能分析結果描述等監控信息,增加地理位置信息,規定了常用前端實時智能分析信息的結構化數據格式和攜帶方式,通過專門語法與視音頻壓縮編碼數據一起傳輸和存儲,對智能分析數據進行了規范化管理,同時,存在保留空間便于兼容更多智能數據的更多形式,為大規模監控網絡的智能管理提供重要技術保障。
1. SVAC 2.0的壓縮技術
SVAC 2.0標準主要技術特點包括:支持高精度視頻數據編碼,支持多樣化的幀內及幀間預測、變換量化、二進制算術編碼等技術,支持感興趣區域(ROI)變質量編碼、可伸縮性視頻編碼(SVC)技術,支持代數碼書激勵線性預測(ACELP)和變換音頻編碼(TAC)切換的雙核音頻編碼,支持聲音識別特征參數的編碼,支持時間參考信息、智能分析信息等監控信息,支持數據安全保護,支持視頻數據加密、認證功能。
具體來說,SVAC 2.0的圖像空間分割不再支持多條帶,而支持編碼片(Tile)的劃分,如圖1(a)一幅圖像可以從水平和垂直方向上分割為若干個Tile區域,而這些Tile由一系列的CTU(Coding Tree Unit,樹形編碼單元)組成。據此,SVAC 2.0增加并行運算支持,多Tile同時編碼,加快了編碼速度。SVAC2.0的基本運算單元尺寸由之前的16X16提升為128X128,并可進一步劃分為預測單元(PU)和變換單元(TU),劃分方式由編碼樹決定。幀內預測模式由SVAC 1.0的5種增加至37種,如圖1(b)細化預測方向,更好地適應視頻內容不同方向的紋理,使預測更為準確。同時,提升了運動搜索插值精度為1/8像素精度,如圖1(c)采用8抽頭濾波器進行插值,優化了插值結果。SVAC2.0加入4種尺寸的離散正弦變換(DST),并增大原有的離散余弦變換尺寸至zui大32X32,進一步提高了壓縮性能。
圖1 SVAC2.0 改進技術
2.SVAC2.0智能分析數據支持
時代與科技的發展使越來越多的新技術應用在攝像機中,隨著深度學習、人工智能以及高性能計算等技術的逐漸推廣,越來越多的智能算法應用于前端設備。為保證智能信息統一管理,SVAC2.0在保證實時視音頻編解碼的前提下,結合智能分析技術,細化智能信息并整理分類,加入智能分析信息,提供了對智能視頻處理信息的結構化支持。
在支持前端嵌入式智能分析數據應用方面,如圖2所示,SVAC2.0主要從圖像分析規則、目標檢測與特征分析、目標識別、行為分析、目標數量統計等方面對智能數據進行規范化格式定義,增加地理位置信息,規定了常用前端智能分析信息的數據格式和攜帶方式,zui終通過專門的語法將分析結果以及產生的相關報警信息等,隨視頻碼流同步傳輸和存儲,如此可以節省資源,規范管理,便于快速檢索、分類查詢、視音頻同步和監控數據的綜合應用。
圖2 SVAC2.0智能分析數據描述
3. SVAC2.0邊緣計算智能數據的攜帶方式
SVAC2.0對邊緣計算智能信息和常用的智能分析結果規定了具體的攜帶方式。在監控擴展數據單元中增加智能分析信息擴展語法,對監控視頻進行智能分析算法得到的結果編碼進入視頻流中的方式做了定義。以此將中心與編碼端的數據智能分析過程相分離,視頻編碼端將智能分析得到的結果攜帶到碼流中并傳輸,中心只需要讀取邊緣計算后智能分析的結果,然后進行綜合比對、碰撞,大大地減輕中心分析數據的壓力,對監控視頻大數據分析應用提供了。
在碼流結構方面,如圖3所示,SVAC2.0采用了類似于SVAC1.0的分層結構,將屬于GOP層、Tile層中共用的大部分語法游離出來,組成序列參數集SPS(Sequence Parameter Set)、圖像參數集PPS(Picture Parameter Set)、安全參數集SePS(Security Parameter Set)和擴展參數集EPS(Extension Parameter Set)。其中,序列參數集的內容大致包括解碼相關信息,如檔次級別、分辨率、某檔次中編碼工具開關標識和涉及的參數、時域可分級信息等。圖像參數集的內容大致包括一幀圖像所用的公共參數集,如量化參數、Tile相關語法元素、去方塊濾波相關語法元素等。安全參數集包含了解碼所需的加密與認證的開關以及視頻密鑰加密密鑰版本號等安全參數信息,擴展參數集主要用來記錄監控信息,如時間信息、OSD信息等。
圖3 SVAC2.0的碼流結構
由圖3可知,經過網絡傳輸后重新組合載荷包,經過PS解封裝后可以得到ES視頻流,當解析至nal_unit_type=5的數據單元時,解碼器將其解析為監控數據單元。SVAC2.0細化了此單元的內容,根據Extension_id的不同可以分為時間擴展信息(0x04)、地理信息擴展(0x10)、智能分析信息擴展(0x11)和OSD信息擴展(0x12)四種監控信息。
圖4 智能分析數據analysis_id[i]與智能特征的對應關系
SVAC2.0充分考慮了與公共安全息息相關的視頻特征,這些特征在公安辦案、監控輿情、維護社會治安等方面起著非常重要的作用,支持對圖像分析規則、目標檢測與特征分析、目標識別、行為分析、目標數量統計的主要數據進行了規范性格式化定義。圖4中展示的是這些特征與語法元素analysis_id[i](第i項分析結果的分析功能標識)的映射關系,在一段視頻流中可以攜帶0個、1個或多個智能分析結果,結果的數量可以用語法元素analysis_num表示,每個分析結果的表示形式也定義了結構化規范格式,通過值description_type[i]可知第i項分析結果的描述形式,當為0x02時廠家可自定義描述形式,當為0x03時則必須遵循國標中對結構化描述的規定。同時,SVAC2.0還具有*的兼容性和可擴展性,在analysis_id的值中保留0x0E~0xFF的值為更加細化視頻特征做好鋪墊,保留description_type值為0x00和0x03的描述形式,兼容更多的描述結構。在視頻流中可以清晰的知道當前視頻流所攜帶的智能分析結果的數量以及分別代表哪項識別功能。