本日學術分享為2020年中國科學院大學的科研人員合作發表于IEEE IEEE Transactions on Industrial Informatics的研究工作。

論文題目： A Deep Nonnegative Matrix Factorization Approach via Autoencoder for Nonlinear Fault Detection

論文作者：Zelin Ren, Wensheng Zhang, Zhizhong Zhang

論文來源：《IEEE Transactions on Industrial Informatics》，IF：12.3，中科院JCR分區1區TOP期刊，DOI：10.1109/TII.2019.2951011

這篇文章主要考慮了故障檢測的潛在復雜性，提出了一種基于非負矩陣分解（NMF）的非線性方法。在自動編碼器的推動下，本文首先利用輸入數據來學習適當的非線性映射函數，將原始空間轉換為高維特征空間。然后，根據NMF的分解規律，將學習到的特征空間劃分為兩個子空間，并在這些子空間中適當設計兩個統計量進行非線性故障檢測。所建立的方法，即深度非負矩陣分解（DNMF），由編碼器模塊、NMF模塊和解碼器模塊三部分實現。與傳統使用隱式和預定核的基于NMF的非線性方法不同，DNMF提供了一種新的非線性方案，通過深度自編碼器框架應用于NMF，并自動實現輸入數據的非線性映射。此外，DNMF突破了非負輸入的限制，極大地擴展了NMF的應用范圍。采用田納西州伊士曼工藝作為工業基準，驗證了所提方法的有效性。（ 對于自編碼器或者非負矩陣分解的研究，此篇論文具有借鑒性，推薦有需要的同學進行精讀學習 ）

02

文獻背景

近年來，隨著工業體系的快速發展，現代工業正朝著大規模、復雜的方向發展。為了確保安全可靠的運行，工業過程監控和故障檢測是高度需要的，最近得到了廣泛的研究。由于工業系統的復雜性，實現基于模型的方法很困難，甚至不可能。大數據時代，存儲容量越來越大，算力不斷提高。僅基于傳感器測量數據的數據驅動方法已受到廣泛關注。多變量統計過程監測（ MSPM ）作為一類數據驅動方法已被廣泛研究并成功應用于實際工業系統的過程監測。 (Ding 對數據驅動的故障診斷方法進行了全面總結，并詳細描述了幾種經典的 MSPM 技術，如主成分分析（ PCA ）、偏最小二乘法和典型變量分析 ) 。上述方法屬于線性方法 ; 一些非線性算法被提出并得到有效應用。

在眾多數據驅動方法中，非負矩陣分解（NMF）是一種經典且實用的降維方法，最初由Paatero和Tapper開發。NMF旨在通過局部系統特征的非負組合來獲得整體系統特性。最近，它受到了很多關注。它可以捕獲數據的全局結構信息，比圖像分類的局部信息更健壯。基于NMF的方法具有較強的特征提取能力，在MSPM框架下已成功應用于過程監控和故障檢測。然而，傳統的NMF方法存在一些局限性。作為線性的，它很難應用于實際的非線性情況。它允許基數據之間的高階依賴關系。對于KNMF，其基矩陣是通過核函數映射輸入數據獲得的高維特征的線性組合。利用核函數開發非線性改進的NMF方法已成為非線性故障檢測的趨勢。但是，內核函數的形式需要預先確定，其參數很難選擇。這些缺點給這些內核方法的應用帶來了瓶頸。(為了解決這個問題，一些研究人員考慮通過使用神經網絡方法代替核方法來實現線性方法的非線性變換，例如一類神經網絡)NMF的另一個主要限制是它需要非負輸入數據，而某些傳感器測量數據可能無法滿足此要求，例如溫度，壓力等。此外，提出了廣義NMF來緩解原始數據的非負限制。然而，上述解決NMF非負輸入的方法是線性的，可能不適用于復雜的非線性過程。即使非線性化，它們也需要采用核方法。因此，共同克服NMF的兩大局限性在研究中是不夠的，開發非負非線性NMF挑戰性。

如今，深度自編碼器（AE）作為一種流行的深度學習技術，被廣泛應用于圖像處理、自然語言處理和相關領域。由于深度AE精通非線性過程的特征提取和分類，因此已成功應用于故障檢測領域。然而，這些方法中的大多數在兩種情況下無法處理故障檢測：1）當系統具有未知類型的故障時和/或2）當無法獲得故障數據時。因此，采用MSPM框架，在故障檢測中引入了改進的AEs方法和相應的設計統計量，如收縮AE、去噪AE和變分AE。這些方法具有良好的檢測效果，但其目的不是改進基于多元統計分析的現有方法。

這篇文章的主要貢獻總結如下1) 提出了一種數據驅動的非線性工業系統故障檢測方法。提出的DNMF使用深度AE框架為NMF提供了新的解決方案。2) DNMF可以利用工業數據自動學習適當的非線性映射函數，這是通過可學習的網絡結構實現的，這與內核功能隱含且需要預先確定參數的核方法不同。3) DNMF中提出的非線性框架具有很強的泛化性和很大的靈活性，可以推廣到MSPM的其他線性方法。4) 盡管DNMF是一種基于NMF的方法，但它不需要輸入數據來滿足非負條件，從而大大擴展了應用范圍。

03

研究方法

所提出的DNMF是一種利用DCAE實現的新型NMF非線性方法。圖1顯示了整個網絡結構，大致由三個模塊組成：編碼器模塊、NMF模塊和解碼器模塊。編碼器和解碼器模塊主要實現原始空間的非線性變換，而NMF模塊則是實現網絡中NMF的功能。

DNMF投影原始數據進入高維特征空間F獲取向量通過使用非線性映射函數，得到

由CNN組成的編碼器網絡實現。在此CNN中，最后一個卷積層的輸出特征圖被展平為向量。由于NMF模塊要 求輸入為非負數，因此可以通過激活函數整流線性單元（ReLU）激活獲得的矢量

ReLU可以保證特征的所有元素都是非負的。由此，得到的高維特征向量從輸入數據投影是非負的，可以是 NMF 模塊的輸入。編碼器網絡結構后，可以從輸入數據中自動學習映射函數。通過這種方式，編碼器根據需要實現非線性操作。

兩個矩陣W和H的NMF通過梯度下降法以交替迭代方式求解。在這里，神經網絡還執行梯度下降法，通過反向傳播收斂到局部優解。因此，構建神經網絡來實現NMF算法是合適的。因此，該模塊的輸出是重建的值與的損失函數約束下損失1，定義為

通過這種方式，NMF 模塊實現了NMF算法

解碼器的目標是重新映射回到原始輸入空間，其中輸入數據x將在損失函數約束中重建損失2

解碼器網絡結構與編碼器網絡結構幾乎對稱，因此可以將其視為編碼器的逆過程，有效地實現了無監督學習。通過上面對DNMF框架的分析，整個網絡的損失函數可以表示為：

得益于DNMF精心設計的網絡結構，非線性框架可以進一步轉移到MSPM的其他線性方法中。更具體地說，首先將線性方法（例如，PCA和局部保持投影（LPP）轉換為可訓練模塊，該模塊基于其相應的優化問題。然后，將NMF模塊替換為設計的模塊，并將其與編碼器和解碼器模塊組合在一起。最后，結合設計整個網絡的損失函數損失1,損失2，以及與線性方法相關的損失。（這里僅僅介紹了主要的算法，有想做數據分析方向的可下載文章，詳細學習其優化算法）

04

實驗驗證

TE工藝是美國田納西州公司首先開發的工業過程的真實模擬基準。它已廣泛應用于各種控制和過程監控方法的模擬和驗證。TE工藝的結構流程圖如圖2所示。由于TE過程沒有可用的數學模型，因此使用傳感器測量的數據設計了故障檢測方法。這個過程中的變量由兩個變量塊組成：一個是XMV塊，包含11個操縱變量，另一個是XMEAS塊，它包含41個測量變量，包括22個過程變量和19個分析變量。在此模擬中，選擇22個過程變量[XMEAS（1-22）]和11個操縱變量[XMV（1-11）]作為輸入數據變量，其中我們刪除了分析變量。此外，基準測試的更多信息可以參考，MATLAB代碼可以從在線下載。

通過對上述三個故障的詳細分析，PNMF的性能甚至比其線性版本的NMF還要差，而另一種內核方法KNMF具有更好的檢測能力。內核的選擇似乎在性能中起著關鍵作用。DNMF作為一種新提出的故障檢測算法，比線性方法和核方法具有更令人滿意的故障檢測能力，主要是因為它能夠自動學習適當的非線性映射函數。

從另一個角度來看，故障檢測任務可以看作是一個特殊的二元分類問題。從以上三個故障的圖結果來看，我們的方法在正常數據和故障數據之間的分類裕度大于其他方法;這表明我們的方法比其他方法具有更高的分類精度。

總結

在本文中，在這篇文中，提出了一種新型的改進非線性NMF方法DNMF。首先采用深度神經網絡自動查找當前輸入系統數據的非線性映射函數。然后，將原始輸入數據投影到非負高維特征空間中。NMF算法是由神經網絡實現的。同時，將特征空間劃分為FS和RS，并設計了兩個監控統計量，H2和SPE。此外，還使用KDE方法來確定它們的閾值。最后，將所提方法用于TE過程中的故障檢測，并驗證了其有效性。（提出的方法主要是提出一個基于神經網絡的非線性NMF框架。通過簡單的修改，它可以進一步推廣到MSPM的其他線性方法）