計劃、動作和學習

基於搜尋的規劃方法依賴於幾個很強的假設：

• agent必須能在圖節點中表示所有相關的環境狀態，它必須有在一對節點間如何動作的精確模型。

• 動作必須總有其模型化的結果，即在agent的作業系統中不能有錯誤或不確定性。

• agent感知系統必須精準的指定開始節點，並且沒有任何其他的agent或動態過程會改變環境。

如果這些假設滿足，且搜尋到目標狀態的時間允許，就能進行規劃，並執行一個完整序列的動作，不需要任何環境的資訊反饋。

感知/計劃/動作迴圈

由於以下原因，上面的那些假設通常得不到滿足：

• 知覺過程不可能總是提供環境狀態的必須資訊，當兩種不同狀態的環境引起相同感測輸入時，我們稱這種情況為感知混淆（perceptual aliasing）

• 動作並不總有其模型效果（模型可能不夠精準，或者受動器系統在執行動作時偶爾會產生錯誤）

• 可能在環境中有其他物理過程或其他agent。這些過程可能會改變環境以致於干擾agent動作。

• 外部作用的存在會引起其他問題：在構造一個計劃期間，環境可能變得與原來的計劃不相干。

• agent可能在完成一個到達目標狀態的搜尋之前被要求動作。

• 即使agent有充分的計算時間，但是計算要求的空間資源不允許搜尋進行到目標狀態。

有兩種方法可以用來解決這些困難，同時又保留基於搜尋的計劃的主要特徵：

• 用概率的方法來形式化知覺、環境和受動器的不確定性。

• 用各種附加的假設和近似來消除這些困難的影響。

在這裡暫時先不討論正式的、基於概率的方法，而是提出一個叫感知/計劃/動作的結構，在很多應用上避開了上述的一些複雜性。該結構的基本原理是即使動作偶爾產生了沒有預料的結果，或者agent有時不能決定它處於哪一種環境狀態下，但是通過保證agent從它執行環境中得到的連續的反饋，這些困難可以被充分的解決。

確保連續反饋的一個方法是計劃一個動作序列，只執行這個序列中的第一個動作，感知結果環境狀態，重新計算開始節點，然後重複上述過程。這種方式，選擇動作的agent被叫做感知/計劃/動作agent。為了使這個方法有效，計算一個計劃的時間必須比每個動作執行時間要少。

逼近搜尋

1. 孤島驅動搜尋

在孤島驅動（island-driven）搜尋中，來自問題領域的啟發知識被用於在搜尋空間中建立一個“島節點”序列，假定有好的路徑通過這個搜尋空間。例如，在計劃通過有障礙的地形時，這些島就是相應的山。假如n0是開始節點，ng是目標節點，(n1,n2,......,nk)是這些島的一個序列。我們用n0作為開始節點，n1作為目標節點開始一個啟發式搜尋，當搜尋找到了一條到n1的路徑時，再用n1作為目標點開始另一個搜尋，等等，直到我們發現了一條到達ng的路。

2. 層次搜尋

3. 建立反應過程

相關推薦