【智慧城市網(wǎng) 產(chǎn)品評測】2021年12月第十八屆深圳安博會期間，上海海思智慧視覺領(lǐng)域總經(jīng)理劉志揚先生在由深圳市安全防范行業(yè)協(xié)會、CPSE安博會共同主辦，CPS中安網(wǎng)承辦，希捷科技冠名的第十六屆中國安防論壇技術(shù)論壇上發(fā)表了主題演講，并在主題演講中發(fā)布了用于物聯(lián)網(wǎng)智能終端的新一代智能圖像處理引擎——海思越影®AI ISP。
 

　　劉志揚先生表示，越影是基于海思對ISP算法和場景的深厚積累，引入AI智能技術(shù)的最新成果，是海思對過去十余年傳統(tǒng)ISP技術(shù)的一次重大創(chuàng)新與自我突破，為行業(yè)樹立畫質(zhì)的新樣板，可為千行百業(yè)物聯(lián)網(wǎng)智能終端提供領(lǐng)先的智慧視覺能力。

　　•超感光降噪，黑夜情況下信噪比比傳統(tǒng)的ISP提升了4倍。

　　•多光譜融合，噪度進一步降低的情況下，需要紅外補光，把多光譜的技術(shù)融合在一起，既能有全彩又能有細節(jié)。

　　•超級寬動態(tài)，在強烈的明暗對比的情況下，采取數(shù)據(jù)處理的技術(shù)，把動態(tài)范圍擴大12dB，同時獲得明亮細節(jié)和暗部細節(jié)。

　　•超級穩(wěn)像，在運動條件下獲得穩(wěn)定畫面。

　　•多維度感知，圖像技術(shù)和熱感技術(shù)、3D技術(shù)及雷達技術(shù)結(jié)合，形象感知的同時進行物理量的標注。

 

　　在主題演講當中，劉志揚先生對越影的能力和其職責進行了更詳盡的闡述。
 

　　首先，視覺占了整個人的信息量感知的80%以上。在產(chǎn)品研發(fā)過程中經(jīng)過十幾年的積累，海思團隊發(fā)現(xiàn)圖像處理的幾個經(jīng)典場景非常常見，處理起來也非常有挑戰(zhàn)。
 

　　比如夜間的低照度場景：
 

　　和白天相比只有千分之一亮度，在這個環(huán)境之下視頻就有大量的噪點，顏色紋理都會出現(xiàn)失真。這種情況下的圖像對后續(xù)處理、物體識別會增加很大的難度，存儲也會有很大的帶寬上的消耗。
 

　　第二種是強烈明暗反差情況，拍攝照片也會遇到到這個場景。逆光的時候?qū)е屡臄z主體，暗部很難看到細節(jié)，人臉識別也出現(xiàn)很大困難。
 

　　第三種是環(huán)境快速變化過程，比如車駛出隧道口的時候，曝光要不斷調(diào)整，但是如果速度很快的時候就會出現(xiàn)盲區(qū)，一片白或者一片黑，這種情況都有可能出現(xiàn)，會有安全隱患。
 

　　第四種情況是，移動攝像機越來越多，不管是個人DV還是汽車安裝的攝像機，都會出現(xiàn)視頻抖動的情況，這樣帶來的主觀體驗會非常差，碼率也會不斷上升，增加編碼器負擔。
 

　　最后一種是在雨雪霧和惡劣天氣下帶來的目標難以識別和可視距縮短，影響行車安全。
 

　　以上五個場景都是海思在圖像處理中發(fā)現(xiàn)的比較難以處理的情況，因為整個圖像從傳感器進入系統(tǒng)一直到處理器處理其實有很多環(huán)節(jié)。
 

　　解決以上五個場景的挑戰(zhàn)，可以通過一些物理的方式。比如可以加大鏡頭的充光量、加大圖像傳感器的感面；但是攝像機作為一個終端產(chǎn)品，數(shù)量龐大，這就意味著成本敏感。
 

　　以上的處理方式都會大幅度增加成本，如果能夠通過數(shù)字信號的處理器來解決，也就是ISP(圖像信號處理器)——如果通過算法、AI來解決的話，成本就會大幅度下降。
 

　　還有一些簡單的物理的方式，例如解決明暗反差強烈的場景問題，要加大動態(tài)范圍，這只能在數(shù)字信號領(lǐng)域解決，所以這些條件決定了ISP承擔了這部分職責并且非常重要。
 

　　傳統(tǒng)的ISP經(jīng)過十幾年的發(fā)展有了長足的進步：不管是在清晰度還是動態(tài)范圍，3DNR、WDR等技術(shù)都得到了應用。
 

　　圖像質(zhì)量不斷進步的情況下，也出現(xiàn)了一個瓶頸期，現(xiàn)在主要的問題是傳統(tǒng)的ISP這十幾個流水線環(huán)節(jié)，參數(shù)眾多——上千個參數(shù)。
 

　　業(yè)界都清楚，要適配一款新的傳感器和后端的ISP處理芯片，要花費長達三個月以上的時間。而且要具備專業(yè)能力的專業(yè)人士來調(diào)教。
 

　　未來傳感器的型號越來越多，手機、安防、汽車、無人機等等，不同板面，不同特性越來越多，會大量消耗資源，這是痛點。以及畫質(zhì)進一步提升也遇到了很大難題——大量的投資、精細調(diào)優(yōu)之后，性能也只能提升很有限。
 

　　這幾年AI技術(shù)有了長足的進步，算力正在變得越來越便宜，軟件和生態(tài)變得越來越成熟。所以海思率先把AI技術(shù)引進了ISP技術(shù)，帶來的好處是非常顯著的：
 

　　01圖像調(diào)優(yōu)智能化了，調(diào)優(yōu)時間大大縮短，也不需要很多專業(yè)人士投入到這項工作里去，有效提高了勞動生產(chǎn)力。
 

　　02我們把算力和大數(shù)據(jù)結(jié)合起來，帶以前傳統(tǒng)的畫質(zhì)極限上又增加了一塊，以前的很多參數(shù)平衡是像跳跳板一樣，現(xiàn)在通過智能識別可以把整個畫面分割得更加精細，根據(jù)不同場景和物體來做配置，突破了很多以前畫質(zhì)的極限。
 

　　其次以前攝像機一旦部署了以后，基本上能力就固定了。AI的ISP部署后，會不斷根據(jù)所處的場景、補充數(shù)據(jù)進一步學習，相機會越來越智能。這是在AI的ISP相比傳統(tǒng)ISP重大的優(yōu)勢。
 

　　AI ISP有很高的門檻，在算法、數(shù)據(jù)、算力等方面。在算法上，AI ISP基于對圖像質(zhì)量有PQ調(diào)優(yōu)經(jīng)驗，多年的ISP迭代才能作為它的基礎(chǔ)。第二，AI需要有數(shù)據(jù)來作為模式識別、模型的抽取的支持。第三，是要有一定的算力。終端作為一個場景，成本有一定的限制，功耗有一定的限制，體積有一定的限制。完成特定的功能、在特定的場景，消耗的算力小的情況下，設(shè)計猜是更優(yōu)的。在這三方面，海思都有深厚的積累，因此為發(fā)展AI ISP技術(shù)打下良好的基礎(chǔ)。
 

　　據(jù)劉志揚先生介紹，海思最新的越影AI ISP具有以下五大特性。
 

　　01超感光降噪：
 

　　通過抽取噪聲和有效信號的模型，以及大量的數(shù)據(jù)訓練，形成智能AI網(wǎng)絡(luò)。智能算法能夠在光照條件非常差的情況下區(qū)分出小信號和噪聲，從而進行噪聲消除。

 

　　通過紅外補光，在ISP將可見光、850nm、940nm等常見光譜融合，在不增加光污染的同時，最終使圖像效果達到暗光全彩，細節(jié)紋理豐富，過曝區(qū)和非過曝區(qū)準確處理，解決低照環(huán)境下可見光感光能力不足所造成的信噪比低和細節(jié)損失的問題，實現(xiàn)圖像色彩與細節(jié)的雙重保證。

 

　　基于價值目標進行場景識別自適應多重曝光，對不同曝光時間的長幀、中幀、短幀的圖像數(shù)據(jù)，通過智能算法進行融合，使圖像獲得暗、亮區(qū)域的完美整合，亮處不過曝、暗部細節(jié)不丟失。
 

　　逆光場景下，動態(tài)范圍高達120dB。同時基于場景識別的智能曝光策略，在光線快速變化的場景下，能夠避免圖像畫面瞬間過暗或過曝，融合之后的數(shù)據(jù)位寬20bit，動態(tài)范圍相對于上一代提升12dB。

 

　　基于六軸IMU對動態(tài)視頻智能修正，有效減少由于外部環(huán)境晃動或抖動對視頻造成的影響、大幅提升各種振動環(huán)境下視頻穩(wěn)定性。在交通管理等場景中，防止高頻小幅的震動導致目標模糊、影響目標的有效識別。

 

　　結(jié)合紅外熱感測溫相機，紅外熱感與視覺的融合，遠程非接觸測溫，廣泛應用于疫情防控的各種場景中；智能零售，3D結(jié)構(gòu)光/ToF與視覺的融合，高效支付，提升支付安全；雷達視頻一體機，雷達與視覺的融合，對橫向來車實時精確預警，提升復雜場景的交通安全。

 

　　海思在傳統(tǒng)ISP畫質(zhì)技術(shù)方面長期積累，結(jié)合在AI架構(gòu)和性能上創(chuàng)新，深度融合推出新一代的智能圖像處理引擎— 越影®AI ISP，使能智能終端在全場景視覺能力更智能，更清晰，為圖像處理帶來了變革式的演進。
 

　　劉志揚先生表示：“成就”和“挑戰(zhàn)”這兩個關(guān)鍵詞，不僅適用于這個時代，這個行業(yè)，也非常適用于海思。海思將專注于產(chǎn)業(yè)和產(chǎn)品，專注于技術(shù)，完成技術(shù)到產(chǎn)品的跨越、技術(shù)對產(chǎn)業(yè)的創(chuàng)新。
 

　　上海海思將堅持在智慧視覺領(lǐng)域的投入，服務(wù)于千行百業(yè)產(chǎn)業(yè)伙伴，為智能終端帶來全場景、更智能、更清晰的視覺能力。