TensorFLow的GPU

只採用CPU在大規模資料集中訓練卷積神經網路的速度很慢，因此可以結合圖處理單元（Graphic Processing Unit，GPU）進行加速。GPU具有單指令多資料流結構，非常適合用一個程式處理各種大規模並行資料的計算問題。最常用的GPU是英偉達（nvidia）生產的。編寫GPU程式碼可在CUDA環境下進行。

CUDA

CUDA（Compute Unified Device Architecture）是一種用於GPU通用計算的平行計算平臺和程式設計模型。它以C語言為基礎，並多C語言進行了擴充套件，能夠在顯示卡晶片上執行程式。

cuDNN

CUDA提供了一個深度神經網路的GPU加速庫cuDNN（CUDA Deep Neural Network），完成了對卷積、池化、歸一化和啟用函式層等標準操作的快速實現。