機器學習與應用會議ICMLA2020（International Conference on Machine Learning）將于2020年12月在美國佛羅里達舉行，會議由IEEE主辦。近日，神目科技創新科研成果《Application of Face Recognition in Tracing Fever Patients and Close Contacts》被大會收錄為oral論文。

ICMLA2020機器學習與應用會議旨在匯集的學術科學家、研究人員和研究學者，交流和分享在機器學習和應用的經驗和研究成果，展示和討論機器學習和應用領域的創新、趨勢以及遇到的實際挑戰和采用的解決方案。

本次神目科技被收錄的oral論文主要闡述了yiqing爆發的背景下，神目基于人臉識別云平臺，集成熱成像、人臉識別、人臉檢索引擎技術，來檢測具有發熱癥狀的病人，對其密切接觸者追蹤，并將預警信息實時推送給管理人員以及時采取應對措施的創新技術和解決方案。論文中所闡述的產品與方案已被應用于園區、醫院、校園、菜市場等場景，助力防疫抗疫工作，阻斷疫情傳播。

神目科技一直專注于人工智能及物聯網前沿技術的探索，并致力于將前沿技術應用于智慧城市的建設中，用科技力量服務社會民生。

Application of Face Recognition in Tracing  Fever Patients and Close Contacts

在有效疫苗問世之前，及時發現并隔離發熱病人及其密切接觸者，切斷傳播鏈至關重要。在挽救更多生命的使命感驅使下，我們開發了基于邊緣智能設備和云平臺的人臉識別系統，用于檢測有發熱癥狀的患者，并對密切接觸者進行追蹤。危險人員信息可通過web/APP推送給管理人員發出實時警報，以及時采取干預行動，控制病毒的傳播。

1.體溫篩查

發熱病人的體溫篩查主要通過紅外熱成像技術來實現。發熱篩查的邊緣設備配置有雙攝像頭：一個RGB攝像頭和一個熱成像攝像頭。RGB攝像頭用于檢測人臉并定位額頭部位，熱敏攝像頭用來測量額頭皮膚的溫度，為了提供溫度測量的準確性，可以選擇使用黑體。在我們的方案中，我們將黑體內置于設備中，以實現部署及使用的便捷性、準確性。根據應用需求，體溫篩查設備可以是一個平板，可以是一個攝像頭，或者是一個帶有HDMI接口的盒子。

體溫篩查設備還配置有本地人臉識別模塊。當異常體溫被發現之后，可通過人臉識別技術確認他的身份，以及人臉聚類技術進行其活動軌跡的追溯。除此之外，體溫篩查設備還具備門禁控制、人臉考勤

體溫篩查流程

2.人臉識別平臺

系統中有兩類人臉識別平臺。一類在邊緣設備中，只能識別已在設備中注冊的人員，其他人員識別為訪客，該平臺更適合用于小型企業的智能化管理（防疫體溫篩查、門禁、考勤、在崗狀態）。還有一類是云端的人臉識別模塊。這是一個模塊化設計、并具備開放接口的平臺，也是實現發熱病人軌跡及密切接觸者跨鏡追蹤的必要選擇。該平臺可以添加一系列智能邊緣設備，滿足多場景應用需求，例如，除了人臉識別，還可以實現車牌識別、商品識別、摔倒識別等算法加載及智能設備的接入。

平臺構成

系統架構

我們在平臺設計上采用流行的微服務架構——Spring Cloud大數據架構，為開發者提供了快速構建分布式系統的常見模式工具，例如配置管理，服務發現，斷路器，智能路由，微代理，控制總線。

系統主要的功能模塊包括人臉圖像提取、人臉圖像對象存儲、人臉特征提取、人臉特征比對、服務器及數據分析和報表。可根據應用需要添加更多的功能模塊，如人臉屬性（年齡、性別）模塊。

功能模塊的中心是一個隊列管理器，我們使用的是rabbitmq，它管理了以下信息：1）圖片信息，2）特征向量信息， 3）特征聚類信息 ， 4）特征監測信息。

人臉圖像提取模塊負責從邊緣設備獲取圖像。這些邊緣設備具備嵌入式的通訊能力，可以進行人臉檢測、本地人臉識別和一些控制邏輯。當檢測到人臉時，人臉圖像和幀圖像都會被發送到云服務器。

第二個模塊是圖像上傳模塊，它負責從rabbitmq上傳人臉或幀圖到云端存儲。

第三模塊是特征提取模塊。這是人臉識別的一個關鍵功能。它通過socket通信從rabbitmq接收人臉圖像。特征提取可以使用任何人臉識別模型，如基于ArcFace、Circleloss或其他。

特征提取模塊采用的是GPU服務器集群，具有自動路由、負載均衡和故障恢復功能。GPU集群支持單機和批處理模式。在批處理模式中，在緩沖區中積累了許多請求。當人臉數量達到一個閾值時，它們會被一次性發送到GPU服務器。而提取的特征向量被返回到rabbitmq，并保存至VIP/visitor redis數據庫中。

特征向量比對模塊接收來自rabbitmq的特征向量，并調用向量搜索引擎（VSE）獲取人臉的聚類信息。聚類信息被保存至Elasticsearch

……

向量搜索引擎VSE

向量搜索引擎VSE是關鍵的模塊之一。它可以在幾千萬到幾十億規模的大數據人臉圖像中提供準確、快速（根據實際應用需求，來決定是否需要實時）的搜索和數據檢索。

根據不同的應用規模，我們可提供全局搜索引擎，也支持小型VIP搜索引擎。在全局搜索引擎中，所有進入系統的數據會形成一個大的數據庫，搜索引擎可以在數據庫中為某一特定主體找到同行人，或者形成同一人的人臉聚類，以滿足應用的需求。

VIP搜索引擎在給定的數據集中進行搜索，比如搜索某個客戶在一個門店，或者多個門店，或者所有門店的人臉。VIP的設定可以是銀行或門店的重要客戶，或者某個藥店的慣偷。

VSE中的關鍵算法是KNN（k nearest neighbour）搜索算法。在實際應用中，為了將效率提升幾級，同時只損失邊際性能，通常采用近似近鄰ANN為6. 我們的ANN算法是業界*的技術之一，它支持在數億條數據中進行毫秒級的對象檢索。

VSE命令接口從管道服務層接收人臉特征向量，并接收查詢人臉特征向量。當在人臉特征向量庫中沒有找到有效記錄時，會在數據庫中插入新的記錄。當數據庫中找到有效記錄時，將余弦相似度與給定閾值進行比較。當相似度高于閾值的記錄，將返回其人臉ID.

發熱病人及密切接觸者追蹤算法

3. 發熱病人及密切接觸者追蹤

面對給人民帶來的生命威脅，促使我們在已有的人臉平臺上進一步擴展開發，根據疫情防疫需求接入體溫篩查設備，并生成數據報表。

我們的人臉識別平臺提供了支持體溫篩查報告以及患者軌跡追溯以及密切接觸者追蹤的能力，我們同時在邊緣設備中增加了蒙面人臉檢測能力。發送到云端的人臉數據同時包括蒙面的人臉信息。

當一個病人的發熱癥狀被確認后，他在所有測溫設備及人臉識別設備中被采集到的人臉圖像都能夠被追溯。通過全局搜索引擎檢索到該病人的人臉聚類結果，還能夠進一步確定其密切接觸者，由此可以根據需求采取后續行動，阻斷病毒的傳播。

近距離接觸者追蹤

除了人臉圖像外，我們的系統向云端發送及保存的還包括一個幀圖像，這使得實現發熱病人和密切接觸者追蹤成為可能。

當系統檢測到一個人的體溫高于一個閾值，例如37.3℃時，此時，跟蹤算法啟動。通過上傳發熱人員的人臉圖像，可以從人臉聚類結果中按照攝像頭ID及時間檢索出這個人在不同位置的被抓拍的所有人臉。然后，所有人臉的幀圖像被上傳檢索，以檢測幀圖像中出現的其他人臉，從而確認為密切接觸者。此外，還可以通過估測幀圖像上人與人之間的距離，檢測其是否小于某個物理距離，如2米。基于利用真實人物臉部的標稱寬度，兩個人的物理距離與圖像中的像素距離成正比，由此確認密切接觸者。

另一種檢索方法是采用攝像頭ID和時間戳來定義密切接觸者。由于體溫篩查設備是典型的小視野，它只允許一次測量一個人或測量多個人。因此可以通過判定在某個時間間隔內，如小于1秒的時間內，在同一設備測量體溫的人判定為密切接觸者。同時，可根據需要通過上述方法進行重復檢索，直至追溯出N代密切接觸者。

體溫篩查及密切接觸者追蹤示例

4. 結論

yiqing人類帶來的巨大威脅，我們希望找到一個控制疫情傳播的有效方法，拯救更多生命。因此，我們開發了這套人臉識別系統，應用于發熱癥狀人員快速篩查，并對發熱癥狀的患者軌跡以及密切接觸者進行追溯，以幫助阻斷病毒的傳播鏈條。