本文根據《Zhang Neural Network for Online Solution of Time-Varying Sylvester Equation》做的論文總結。

該篇論文主要比較GNN與ZNN，模擬結果證明了張神經網路在時變問題求解方面要比傳統的遞迴神經網路高效得多。以下是論文中的主要知識點。

1、ZNN與基於梯度的神經網路用於求解時變Sylvester方程相比，是基於矩陣值誤差函式E(t) = A(t)X(t)-X(t)B(t) + C(t) 而不是標量值誤差函式。它以隱式動力學描述，而不是顯性動力學。

2.西爾維斯特方程也就是線性矩陣方程，AX-XB+C=0

3、動態系統方法，以遞迴神經網路的形式，是解決優化和方程問題的重要並行處理方法之一

4、梯度下降法：首先，我們構造一個誤差函式（例如，||AX -XB + C||），使其最小點是方程的解。 其次，開發了遞迴神經網路，以沿著該誤差函式的下降方向演化，直到達到誤差函式的最小值。 典型的下降方向由負梯度定義。

5、方程係數是時變的，梯度模型不能很好的收斂。因為時間變化係數的影響，負梯度方向不再能保證這種誤差函式的減少。通常，如果採用基於梯度的方法，實時求解需要一個比時變係數收斂快得多的遞迴神經網路。將這種方法應用於時變情況的缺點有兩方面。1)更快的收斂速度通常是以精度為代價的，或者對設計引數有嚴格的限制。2)這種方法不適用於係數變化快或涉及大型複雜控制系統的情況。

6、這裡值得一提的是，對西爾維斯特方程的簡化可能會導致各種新的問題，如矩陣逆問題和線性方程問題

7、一般來說,任何單調遞增的奇的啟用函式f (·), ijth元素的矩陣對映f (·)∈Rm×n,可用於神經網路的設計

8、GNN與ZNN模型比較

第一，ZNN基於矩陣值誤差函式的每一項的消去E(t) = A(t)X(t)-X(t)B(t) + C(t).

GNN是在消除標量值誤差函式的基礎上設計的（其中ABC只能為常數）

第二，Zhang神經網路(3)系統地利用係數矩陣A(t)、B(t)和C(t)在求解過程中的時間導數。這就是為什麼張氏神經網路(3)全域性指數收斂於一個時變問題的精確解。相比之下，基於梯度的遞迴神經網路(4)並沒有充分利用這些重要資訊。

第三,張神經網路(3)描述了一個隱式動力學,或簡潔地安排形式M(t)˙y(t)= P(t)y(t)+(t)M(t),P(t)(t)和y(t)可以由使用克羅內克積和向量化技術[1][2][10]。基於相反,梯度遞迴神經網路(4)描述了一個顯式動力學,或簡潔地安排形式y˙(t)= Py¯(t)+¯。值得指出的是，由於基爾霍夫的規則，隱式動態方程(或說隱式系統)經常出現在類比電子電路和系統中。此外，與顯式系統相比，隱式系統具有更強的動態系統表示能力。隱式動力學方程可以在係數/質量矩陣中保持物理引數，即M (t)在M (t)˙y (t) = P (t) y (t) + (t)。它們可以用同樣的形式描述一個動態系統中通常和不尋常的部分。從這個意義上說，隱式系統要比顯式動力學系統優越得多。此外，如果需要的話，隱式動力學方程(或隱式系統)可以在數學上轉換為顯式動力學方程(或顯式系統)

1. ZNN公式設計

1. GNN設計公式

文章是為了方便自己學習做的簡單粗暴的學習總結，勿介意。