通信電纜 網(wǎng)絡(luò)設(shè)備 無線通信 云計算|大數(shù)據(jù) 顯示設(shè)備 存儲設(shè)備 網(wǎng)絡(luò)輔助設(shè)備 信號傳輸處理 多媒體設(shè)備 廣播系統(tǒng) 智慧城市管理系統(tǒng) 其它智慧基建產(chǎn)品
智慧云天（深圳）技術(shù)有限公司
智慧云天（深圳）技術(shù)有限公司
閱讀：29發(fā)布時間：2023-7-2
通過拍攝你的一段人臉視頻，就可以測量出你的心率，甚至還可以獲得你的呼吸率等生理指標，這種“黑科技"就是近年（本文發(fā)布時間：2021-12-03）來出現(xiàn)的 rPPG （remote photoplethysmography）技術(shù)。rPPG 技術(shù)主要是通過捕捉人臉表面由于心臟跳動所帶來的皮膚顏色變化來實現(xiàn)對心率等生理量的測量，在健康監(jiān)控等領(lǐng)域有著重要的應(yīng)用價值。
為什么可以通過人臉表面皮膚的顏色變化就能實現(xiàn)對心率的測量呢？這主要是因為在人臉皮膚的真皮層和皮下組織層里有著豐富的毛細血管。如圖1所示，當(dāng)心臟跳動時，毛細血管內(nèi)的血流量會產(chǎn)生一個周期性的變化，從而導(dǎo)致對外界光照的吸收量有一個周期性的變化。這樣的一個周期性變化雖然我們?nèi)庋蹮o法觀察到，但是卻可以被攝像頭所捕捉。通過利用攝像頭捕捉這樣的皮膚顏色變化，就可以做進一步的生理指標測量了。
通過利用rPPG技術(shù)實現(xiàn)對皮膚表面顏色變化的捕捉，不僅可以測量心率，還可以測量一系列其他的生理量。這一測量過程的核心的步驟為恢復(fù)出BVP（blood volume pulse）信號，即心率信號。
如圖2所示，在通過人臉視頻獲得原始的顏色變化信號之后，首先可以直接利用不同顏色通道信號直流量和交流量的比值來估計血氧含量（SpO2）。而利用不同顏色通道信號的交流量，經(jīng)過一定的方法，可以恢復(fù)出BVP信號。通過對恢復(fù)得到的BVP信號的頻域特征進行分析，就可以得到心率和呼吸率。而通過對BVP信號進行時序上的峰值檢測，可以獲得IBI（Inter-beat-intervals），進而可以計算得到每個時刻的瞬時心率值。在IBI序列中，除了包含著瞬時心率的信息，還可以通過其頻譜特征來計算呼吸率和對于睡眠監(jiān)控、壓力檢測十分重要的心跳變異性等生理量。
雖然可以通過人臉皮膚的顏色變化來實現(xiàn)心率等生理量的測量，但是這樣的顏色變化十分微弱，很容易受到頭部姿態(tài)，外界光照條件等因素的影響。如圖3所示，為了解決這些問題，研究者們提出了一系列的方法，這些方法可以分為傳統(tǒng)手工設(shè)計方法和數(shù)據(jù)驅(qū)動方法。其中傳統(tǒng)手工設(shè)計方法主要通過建模人臉皮膚對于光照的吸收和反射情況，或者建模心率信號的物理特性，從而實現(xiàn)對周期性的生理信號的提取。而數(shù)據(jù)驅(qū)動的方式則通過設(shè)計相應(yīng)的顏色變化信號的特征，利用機器學(xué)習(xí)或者深度學(xué)習(xí)的方式來學(xué)習(xí)一個良好的特征到生理量的映射。
傳統(tǒng)手工設(shè)計方式的優(yōu)勢在于更加可控，在一些限定的場景下能夠做到非常準確，但是其問題也在于對于非常復(fù)雜的場景，例如環(huán)境光照在一直變化，被試者一直搖頭晃腦的情況，算法的有效性較為有限。而對于數(shù)據(jù)驅(qū)動的方法而言，其算法上限更高，對復(fù)雜場景的適應(yīng)性更強，但同時，算法也更加不可控。如何采集足夠的覆蓋各種場景的數(shù)據(jù)，如何設(shè)計和訓(xùn)練一個能有效遷徙到各個應(yīng)用場景的模型，在現(xiàn)階段仍然是一個未解決的開放性問題。對相關(guān)方法更詳細的介紹和討論可以參考文獻 [2]。
算法設(shè)計為了實現(xiàn)算法的可控性，我們選擇基于傳統(tǒng)的手工設(shè)計算法來恢復(fù)心率信號并進行心率的估計。在獲得原始的 R/G/B 顏色空間信號之后，通過尋找的顏色空間投影來組合不同顏色空間的信號。這一方法能有效消除頭部運動等因素所帶來的不穩(wěn)定，于此同時，我們還基于恢復(fù)的心率信號的質(zhì)量，設(shè)計了信號的組合和算法的重啟策略，從而讓算法能夠適應(yīng)更多的應(yīng)用場景.
[1] Hao-Yu Wu, Michael Rubinstein, Eugene Shih, John Guttag, Fredo Durand, William T. Freeman. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 2012
[2] 牛雪松,韓琥,山世光. “基于rPPG的生理指標測量方法綜述" 《中國圖像圖形學(xué)報》 2020
智慧城市網(wǎng) 設(shè)計制作，未經(jīng)允許翻錄必究 .? ? ?
請輸入賬號
請輸入密碼
請輸驗證碼