目前智能攝像機的構成以及硬件技術已經相對穩定和成熟，要zui終完成智能攝像機的監控任務和智能技術還需要軟件功能的密切配合，的視頻編解碼技術以及有效的計算機視覺算法是智能攝像機的核心技術，為攝像機完成智能分析任務提供了重要的技術保障。由圖1所示，從視頻采集到智能結果結構化輸出主要包括：運動目標提取、運動目標跟蹤、運動目標分類和運動目標行為分析以及結構化描述等步驟。
圖1 智能攝像機分析流程
1.運動目標提取
運動目標提取是智能分析的準備工作，基于此項工作攝像機可以從圖像序列中將變化區域從背景區域中提取出來，運動目標的有效提取將大大減少后續過程的運算量，對于后期的目標識別和行為分析具有重要意義，目前較為主流的方法有背景減除法、時間差分法和光流法，zui經典的全局光流場計算方法是L-K (Lueas&Kanada)法和H-S(Hom&Schunck)法。
2.運動目標跟蹤
運動目標的跟蹤，即通過目標的有效表達，在圖像序列中尋找與目標模板zui相似候選目標區位置的過程。簡單說，就是在序列圖像中為目標定位。運動目標的有效表達除了對運動目標建模外，目標跟蹤中常用到的目標特性表達主要包括：視覺特征(圖像邊緣、輪廓、形狀、紋理、區域)、統計特征(直方圖、各種矩特征)、變換系數特征(傅里葉描繪子、自回歸模型)、代數特征(圖像矩陣的奇異值分解)等。除了使用單一特征外，也可通過融合多個特征來提高跟蹤的可靠性，目前主流的方法有：基于區域匹配跟蹤算法、基于輪廓匹配跟蹤算法、基于特征匹配跟蹤算法。
3.運動目標分類
運動目標分類，顧名思義，從檢測到的運動區域中將特定類型的物體提取出來，例如分類場景中的人、機動車、人群等不同的目標。目前比較主流的方法有基于運動特性的分類和基于形狀信息的分類。
4.運動目標行為分析
行為分析是智能攝像機的關鍵目標之一，也是視頻監控在維護公共安全中的重點難點問題。行為分析涉及計算機視覺、模式識別、人工智能等多個領域。它是在對視頻圖像序列進行低級處理的基礎上，通過分析處理監控場景的圖像、視頻，獲取監控場景的信息或場景中運動目標的信息，進一步研究圖像中各目標的性質以及相互之間的，從而得出對客觀場景的解釋和高層次的語義描述，經常借助于神經網絡和決策樹來進行行為分析。
