李巨集毅機器學習P7 Gradient Descent (Demo by AOE) 筆記、P8 Gradient Descent (Demo by Minecraft) 筆記
阿新 • • 發佈:2018-12-14
P7 Gradient Descent (Demo by AOE) 筆記:
在進行Gradient Decent時,我們可以類似玩遊戲帝國時代時探索地圖的情況。
在地圖沒有探索前,你的視野範圍只有很小的一個圈,你不知道圈外的黑幕下面有什麼東西。
現在我們假設地圖上的海拔就是loss function的值,我們現在要尋找地圖上海拔的最低點。
我們控制一個單位,這個單位所在位置就是一個初始點。使用gradient decent方法來尋找最低點,其實就類似於我們看看可視圈的範圍內哪一邊比較低,我們就控制單位向低點走去。到新點後,我們再次重複上述過程,再向更低點走去。
重複多次後,我們找到了一個最低點,這個位置就是local minima位置。
但是我們無法知道這個local minima位置是否就是global minima的位置。
P8 Gradient Descent (Demo by Minecraft) 筆記:
我們還可以類比在Minecraft遊戲中玩的情況。
如圖,我們現在想找出這個人物前面的洞內的最低點。
我們現在觀察到人物的右前方是比較低的,按照gradient decent,我們操作人物向右前方前進。
接下來再次觀察,我們發現人物的右前方還是比較低的,按照gradient decent,我們操作人物再向右前方前進。
接下來我們發現人物前面和右邊比較低,但是右前方卻是比較高的,但按照gradient decent,我們的人物仍然向右前方前進了。這時就出現了沒有向local minima收斂的情況。