改進的迭代尺度演算法（Improved Iterative Scaling ，IIS）

改進的迭代尺度演算法是一種最大熵模型學習的最優化方法，其核心思想是：假設最大熵模型當前的引數向量是 $w$，希望找到一個新的引數向量 $w+\delta$，使得當前模型的對數似然函式值 $\Psi$ 增加。重複這一過程，直至找到對數似然函式的最大值。

已知最大熵模型為：
$P_{w}(y|x)=\frac{1}{Z_{w}(x)}\exp\left (\sum_{i=1}^{n}w_{i}f_{i}(x,y)\right ) \tag{1}$

其中$Z_{w}(x)=\sum_{y}\exp\left (\sum_{i=1}^{n}w_{i}f_{i}(x,y)\right )（規範化因子）\tag{2}$
$f(x,y)=\left\{\begin{matrix} 1，若 x,y 滿足某一事實\\ 0，否則\end{matrix}\right.$
對數似然函式：
$\Psi(w) =\sum_{x,y}\tilde{p}(x,y)\sum_{i=1}^{n}w_{i}f_{i}(x,y)-\sum_{x}\tilde{p}(x)\log Z_{w}(x)\tag{3}$
其中，$\sum_{x,y}\tilde{p}(x,y)=\sum_{x}\tilde{p}(x)$

可以看到 $\Psi \leq 0$，所以，$\Psi(w)=0$ 是最優的。

現在我們需要求的就是使 $\Psi(w)$ 值最大時所對應的引數 $w$ 的值。

給定特徵函式集 ${f_{1},f_{2},...,f_{n}}$，最大熵模型（1）和經驗分佈 $\tilde{P}(x,y)$，下面求 $W^{*}$，使得 $W^{*}=\arg \max_{x}L_{\tilde{P}}(w)$
由定義：$\Psi(w)=\sum_{x,y}\tilde{p}(x,y)\log p_{w}(y|x)\tag{4}$

IIS 的想法是：假設最大熵模型當前的引數向量是 $w=(w_{1},w_{2},...,w_{n})^T$，我們希望找到一個新的引數向量 $w+\delta=(w_{1}+\delta_{1},w_{2}+\delta_{2},,...,w_{n}+\delta_{n})^{T}$，使得模型的對數似然函式值增大。如果能有一種向量的更新方法：$w:w+\delta$，那麼就可以重複使用這一方法直到找到對數似然函式得最大值。

第一步：

由（4）得，模型引數從 $w$ 到 $w+\delta$，對數似然函式得改變數為：
$\Psi(w+\delta)-\Psi(w)\overset{由（4）式}{=}\sum_{x,y}\tilde{p}(x,y)\log p_{w+\delta}(y|x)-\sum_{x,y}\tilde{p}(x,y)\log p_{w}(y|x)\\ \overset{由（3）式}{=}\sum_{x,y}\tilde{p}(x,y)\sum_{i=1}^{n}(w_{i}+\delta_{i})f_{i}(x,y)-\sum_{x}\tilde{p}(x)\log Z_{w+\delta}(x)-\left (\sum_{x,y}\tilde{p}(x,y)\sum_{i=1}^{n}w_{i}f_{i}(x,y)-\sum_{x}\tilde{p}(x)\log Z_{w}(x)\right )\\ =\sum_{x,y}\tilde{p}(x,y)\sum_{i=1}^{n}\delta_{i}f_{i}(x,y)-\sum_{x}\tilde{p}(x)\log \frac{Z_{w+\delta}(x)}{Z_{w}(x)}$

相關推薦