作者：豐曉霞
學校：太原理工大學
時間：2015
型別：碩士學位論文

思想
深度學習和支援向量機結合–>構建影象識別的模型
利用卷積限制性玻爾茲曼機–>構建深度網路、改進訓練過程

摘要
本文研究的主要工作包括：
（1）認真分析了影象識別的方法及存在的問題，對現有的影象識別演算法進行了對比研究，詳細敘述了深度學習的發展和進展，對比了深度學習結構相比淺層結構的優勢所在，總結了深度學習的常用方法，詳細介紹了限制性玻爾茲曼機和卷積限制性玻爾茲曼機的原理和訓練過程。
（2）將深度學習和支援向量機相結合，將多個限制性玻爾茲曼機與支援向量機連線構建多層分類模型，用深度學習的方法提取樣本特徵，然後用支援向量機方法進行分類，並將其應用到影象識別任務中。通過實驗驗證，在樣本較少的情況下，與支援向量機和深度信念網路進行比較效果良好，並且通過不同樣本數、層數、節點數與正確率的比較，討論了隱含層節點數與支援向量數的關係，並且討論了相關引數對結果的影響。
（3）對由卷積限制性玻爾茲曼機構成的卷積深度信念網路的訓練過程進行改進，通過交替進行無監督和有監督學習來訓練網路，最後將該網路用於影象識別中，通過實驗驗證了可行性和有效性，討論了卷積核大小對結果的影響。

關鍵詞
深度學習，影象識別，限制性玻爾茲曼機，卷積限制性玻爾茲曼機，支援向量機

創新點
（1）將深度學習和支援向量機相結合，構建了用於影象分類的模型，詳述了訓練過程，通過實驗，在樣本較少的情況下，與支援向量機和深度信念網路進行比較，效果均優於二者，並對不同樣本數、層數、節點數與正確率進行了比較，討論了隱含層節點數與支援向量數的關係，另外，討論了相關引數對結果的影響。
（2）對用卷積限制性玻爾茲曼機構建深度網路訓練過程進行改進，通過交替進行無監督和有監督學習來訓練網路的方法，將該網路用於影象識別任務中，取得了良好的效果。

問題
（1）深度學習的理論研究還不夠充分，深度學習的有效性還缺乏嚴格的證明，如對比散度演算法，並沒有獲得充分的研究，其收斂性等問題並不明確。
（2）在資料量比較大的情況下，深度學習演算法雖然有準確率的優勢，但相比傳統演算法速度比較慢。如何提高演算法的效率，需要程式設計人員較高的程式設計水平，並且模型的質量受限於程式設計人員的經驗。
（3）如何降低相關引數調整的難度，降低深度學習演算法的難度，也是亟需解決的問題。

改進思路
（1）從深度學習方法同其他方法相結合的思路完善網路，從而提高準確率或者訓練速度。
（2）進一步優化相關引數的選取方法，訓練方法以及適用範圍。
（3）預先通過其他較優的特徵提取方法來提取特徵，以及使用特徵的融合技術，再用深度學習方法來進行識別。