平衡有向圖上的異步隨機投影算法
阿新 • • 發佈：2019-05-12
叠代 AMM amp ron 特征 取值 quad 現在 最優
$$
\begin{aligned}
v_i(k)&= \sum^m_{j=1}[W(k)]_{ij}x_j(k-1)\\
p_i(k)&=\sqcap_{\chi_i\Omega_i(k)}[v_i(k)-\alpha_i(k)\nabla f_i(v_i(k))]-v_i(k) \\
x_i(k)&=v_i(k)+p_i(k){\chi_{ \{i\in \{I_k,J_k\}\}}}
\end{aligned}
$$
Asynchronous Gossip-Based Random Projection Algorithm Over Networks
概述
本篇論文討論的是在有向平衡的拓撲結構下的，帶約束的分布式次梯度投影算法。
首先，根據次梯度下降算法的性質，步長必定是逐漸下降的才能最終收斂於最優解；對於一個固定的步長，也是可以獲得一個有限誤差的最優解，但是一般不能精確。
基本問題是：
$$
\begin{aligned}\min f(x) = \sum^m_{i=1}{f_i(x)} \quad s.t. x\in \chi = \cap^m_{i=1}\chi_i
\end{aligned}$$
這裏為了方便投影的計算，假定所有的投影都是閉式表達式，即由初等函數經過有限次的初等運算復合而成，例如超平面，半空間和球。
$$
\begin{aligned}
v_i(k)&= \sum^m_{j=1}[W(k)]_{ij}x_j(k-1)\\
p_i(k)&=\sqcap_{\chi_i\Omega_i(k)}[v_i(k)-\alpha_i(k)\nabla f_i(v_i(k))]-v_i(k) \\
x_i(k)&=v_i(k)+p_i(k){\chi_{ \{i\in \{I_k,J_k\}\}}}
\end{aligned}
$$
其中，轉移矩陣\(W(k)\)是雙隨機矩陣，函數\(\chi_\varepsilon\)是一個事件特征函數，取值是0或1. 這就構成一個隨機投影的叠代函數。
變化的步長取
$$\alpha_i(k)= \frac{1}{\Gamma_i(k)}$$
\(\Gamma_i(k)\)表示的是智能體\(i\)已經更新的次數。
改進
基於原先的帶約束的隨機投影優化算法，這次的算法改良體現在對步長的優化。步長不再是全局協調的，而是給出了非協調步長下的精確收斂性和固定步長下的誤差分析。
局限和條件
平衡有向圖上的異步隨機投影算法