from [http://blog.csdn.net/thisinnocence]

1 一個問題：換零錢方式的統計

SICP 第一章 1.2.2 樹形遞迴中，有這麼一問題：給了半美元，四分之一美元，10美分，5美分和1美分的硬幣，將1美元換成零錢，一共有多少種不同方式？更一般的問題是，給定了任意數量的現金，我們能寫一個程式，計算出所有換零錢方式的種數嗎？

2 動態規劃的基本模型

1. 確定問題的決策物件
2. 對決策過程劃分階段
3. 對各階段確定狀態變數
4. 根據狀態變數確定費用函式和目標函式
5. 建立各階段狀態變數的轉移過程，確定狀態轉移方程

3 使用動態規劃的一般前提

3.1 滿足動態規劃的最優化原理

通俗理解就是子問題的區域性最優將導致整個問題的全域性最優，即問題具有最優子結構的性質，也就是說一個問題的最優解只取決於其子問題的最優解，非最優解對問題的求解沒有影響。

3.2 滿足動態規劃的無後效性原則

具體地說，如果一個問題被劃分各個階段之後，階段 I 中的狀態只能由階段 I+1 中的狀態通過狀態轉移方程得來，與其他狀態沒有關係，特別是與未發生的狀態沒有關係，這就是無後效性。從圖論的角度去考慮，如果把這個問題中的狀態定義成圖中的頂點，兩個狀態之間的轉移定義為邊，轉移過程中的權值增量定義為邊的權值，則構成一個有向無環加權圖，因此，這個圖可以進行“拓撲排序”，至少可以按他們拓撲排序的順序去劃分階段。

4 動態規劃設計方法

4.1 一般方法

1. 劃分階段：按照問題的時間或空間特徵，把問題分為若干個階段。在劃分階段時，注意劃分後的階段一定要是有序的或者是可排序的，否則問題就無法求解。
2. 確定狀態和狀態變數：將問題發展到各個階段時所處於的各種客觀情況用不同的狀態表示出來。當然，狀態的選擇要滿足無後效性。
3. 確定決策並寫出狀態轉移方程：因為決策和狀態轉移有著天然的聯絡，狀態轉移就是根據上一階段的狀態和決策來匯出本階段的狀態。所以如果確定了決策，狀態轉移方程也就可寫出。但事實上常常是反過來做，根據相鄰兩段各狀態之間的關係來確定決策。
4. 尋找邊界條件：給出的狀態轉移方程是一個遞推式，需要一個遞推的終止條件或邊界條件。
5. 程式設計實現：動態規劃的主要難點在於理論上的設計，一旦設計完成，實現部分就會非常簡單。

4.2 逆向推導

• 分治法要求各個子問題是獨立的(即不包含公共的子問題)，因此一旦遞迴地求出各個子問題的解後，便可自下而上地將子問題的解合併成原問題的解。如果各子問題是不獨立的，那麼分治法就要做許多不必要的工作，重複地解公共的子問題。
• 動態規劃與分治法的不同之處在於動態規劃允許這些子問題不獨立(即各子問題可包含公共的子問題)，它對每個子問題只解一次，並將結果儲存起來，避免每次碰到時都要重複計算。這就是動態規劃高效的一個原因。

1. 分析最優值的結構，刻畫其結構特徵；
2. 遞迴地定義最優值；
3. 按自底向上或自頂向下記憶化的方式計算最優值；

4.3 正向推導

1. 構造狀態網路；
2. 根據狀態轉移關係和狀態轉移方程建立最優值的遞推計算式：
3. 按階段的先後次序計算每個狀態的最優值；

動態規劃需要按階段遍歷整個狀態空間，因此動態規劃的效率取決於狀態空間的大小和計算每個狀態最優值的開銷：如果狀態空間的大小是多項式的，那麼應用動態規劃的演算法就是多項式時間的；如果狀態空間的大小是指數的，那麼應用動態規劃的演算法也是指數時間的。因此，找一個好的狀態劃分對動態規劃的效率是至關重要的。