• 《Head pose estimation in the wild using Convolutional Neural Networks and adaptive gradient methods》 2017，Massimiliano Patacchiola, Angelo Cangelosi. adaptive gradient methods

本文使用4種最新的網路結構來訓練頭部姿態估計，作者也探討dropout和adaptive gradient methods對結果效能得影響。 網路結構： 四種網路結構得細節： 對於Dropout： The probability p is another hyperparameter to tune. However numerous experimental results suggest that a value of p = 0.5 produces the best performance , so we used this value in our experiments.

實驗結果： 可以發現：Adam和RMSProp優化器效果最好。

訓練階段比較：

收斂速度比較：

小結： 可以發現，在進行CNNs訓練過程中，與更傳統的優化器相比，Adam和RMSProp優化器效果和收斂速度都比較好，建議使用這兩種優化器。

注：博眾家之所長，叢集英之薈萃。