看了 《Foundations of stochastic inventory theory》 中的另一個例子，下面把這個例子描述下。
一個駕駛員到達目的地之前選擇停車位，停車位的狀態： 0 或 1, 表示停車位是否為空，0 表示空著，1 表示不空。空的概率為 $p$， 不空的概率為

1−p $1-p$$1-p$。當前停車位舉例重點距離為 $x$，停車成本為 $x$。若到了目的地還沒找到停車位，只能聽到付費停車位，成為為 $c$。

1. 狀態變數

s=(x,i) $s=(x,$

i ) $s=(x, i)$，當前狀態包括與終點的距離 $x$，以及停車位是否空著 $i$。

2. 決策

$a=0$ 表示停車, $a=1$ 表示不停車繼續走。決策集合 $A={0,1}$

3. 狀態轉移方程

這個問題的狀態轉移方程不好表示，但並不影響最優遞推表示式

4. 即時成本(immediate value)

這個問題的即時成本也不好表示，但也不影響最優遞推表示式

5. 最優遞推方程(recursion function)

設 $f(x,i)$ 表示當前狀態 $(x, i)$ 最小期望停車成本。對該問題反向遞推

$$f(1,i)=\begin{cases}\min\{1,c\}\quad &i=0\\c\quad &i=1\end{cases}$$

為了分析方便，引入一個輔助函式 $F(x)$ （這個函式很巧妙），定義 $F(0)=c$

$$F(x)=pf(x,0)+(1-p)f(x,1)$$
則可以得到遞推函式：
$$f(x,i)=\begin{cases}\min\{x, F(x-1)\}\quad &i=0\\F(x-1)\quad &i=1\end{cases}$$

6. 分析最優解性質

為了分析性質，一般都要先猜測最優解的特點，然後根據這個特點尋找性質並證明。

最優解的特點：存在一個最優距離 $S$，大於這個值時繼續開車，小於這個值時則儘量停車。

因此需要分析 $x$ 與 $F(x-1)$ 的大小關係，因此構造一個新的函式

$$g(x)=F(x-1)-x$$
可以證明， $F(x)$ 為單調減函式，而 $g(x)$ 為嚴格單調減函式 （ 一個單調減函式與嚴格單調減函式的和為嚴格單調減函式）

並且 $g(1)>0$，$g(c)\leq 0$，因此一定存在一個 $S$， $g(S)>0$, $g(S+1)\leq 0$

7. 構造馬爾科夫鏈

定義 $V(x, S)$ 表示在當前距離為 $x$，採用分位點 $S$ 的停車策略時的最小期望成本。則該策略下的馬爾科夫連結串列達式如下：

V(x,S)=⎧⎩⎨cpx+(1−p)V(x−1,S)V(S,S)x=00<x≤Sx>S $$V(x,S)=$$