機器學習002-LDA與KNDA
阿新 • • 發佈：2018-10-07
http 矩陣 學習 參考 函數 滿足 n) 坐標軸 ref
將核函數引入之後：
\[ J(\alpha)=argmax_{(\alpha)}\frac{|\alpha^TG_b\alpha|}{|\alpha^TG_w\alpha|}\\begin{align} 其中，&G_b=\sum_{i=1}^{C}N_i(m_i-\overline m)(m_i-\overline m)^T\&G_w=\sum_{i=1}^{C}\sum_{K_j∈X_i}(K_j-m_i)(K_j-m_i)^T\&m_i=\frac{1}{N_i}\sum_{j=1}{N_i}K_j\&K_j=(k(x_i,x_1),...,k(x_i,x_N))^T&K_j為核函數矩陣的一個列向量 \end{align}\\]
參考：LDA kernel LDA
kernel LDA 用到了散度(scatter)的概念，目標是使樣本點在高維空間中的投影滿足：類內散度最小，類間散度最大。即：
\[
J(W^\phi)=argmax_{(W^\phi)}\frac{W^{\phi T} S_b^\phi W^\phi}{W^{\phi T} S_w^\phi W^\phi}\\begin{align}
其中，&\phi 表示高維空間下的;\&S_b^\phi類間散度，S_b^\phi=\sum_{i=1}^{C}N_i(\mu_i-\mu)(\mu_i-\mu)^T; \&S_w^\phi類內散度，S_w^\phi=\sum_{i=1}^{C}\sum_{\phi(x_j)∈X_i}(\phi(x_j)-\mu_i)(\phi(x_j)-\mu_i)^T;\&W^\phi是單位正交化的特征向量矩陣，即高維空間中的坐標軸w^\phi，\&w^\phi=\sum_{i=1}^N\alpha_i\phi(x_i)這是未知的，難以直接計算的，需要借助核函數。\\end{align}
\]
將核函數引入之後：
\[ J(\alpha)=argmax_{(\alpha)}\frac{|\alpha^TG_b\alpha|}{|\alpha^TG_w\alpha|}\\begin{align} 其中，&G_b=\sum_{i=1}^{C}N_i(m_i-\overline m)(m_i-\overline m)^T\&G_w=\sum_{i=1}^{C}\sum_{K_j∈X_i}(K_j-m_i)(K_j-m_i)^T\&m_i=\frac{1}{N_i}\sum_{j=1}{N_i}K_j\&K_j=(k(x_i,x_1),...,k(x_i,x_N))^T&K_j為核函數矩陣的一個列向量 \end{align}\\]
機器學習002-LDA與KNDA