GPU 架構

　　NVIDIA 的 GPU 計算產品被稱作 Tesla，這是從第一代針對 GPU 計算的 G80（Tesla 8，當時的 GPU 微架構也叫 Tesla）開始，NVIDIA 將傳統微架構意義上的核心稱作 streaming multiprocessor，簡稱 SM 或 SMX，SM 對來自並行執行的眾多執行緒的指令進行建立、管理、排程和執行，而“核心”這個稱呼則被 NVIDIA 用作 SIMD 中單個處理單元。（參考）

GPU 整體結構

• Streaming Multiprocessor(SM)
  
  • A set of CUDA cores (SP)
  • 其他資源
• Global memory

SM 結構

• 控制單元
  
  • Warp 排程器
  • 指令分發器
• 執行單元
  
  • CUDA cores/SP
  • special function units (SFU)
  • load/store units (LD/ST)
• Memory
  
  • 64K 32-bit registers
  • Cache
    
    • Texture/Constant memory
    • L1 Cache
    • Shared memory

Pascal GPU

Pascal 是 NVIDIA 引入 GPU 計算後的第五代 GPU 架構。在NVIDIA GTC2016 上首次向公眾公佈了基於 Pascal 的兩款 GPU：Tesla P100 和架構名尚不清楚的中端版 Pascal。其中，Tesla P100 採用頂級大核心 GP100

GP100 GPU 引數

• 6 個圖形處理簇（GPC）
  
  • 每個 GPC 包含 10 個 SM，共 60 個 SM
    
    • 64 個單精 CUDA Cores/32 個雙精 CUDA Cores
    • 4 個紋理單元
    • 2 個分塊區，每個含有 1 個 Warp 排程器，2 個指令分發器
• 30 個紋理處理簇（TPC）
  
  • 分佈在 2 個 SM 內
• 240 紋理單元
• 3840 單精度 CUDA Cores/1920 雙精度 CUDA Cores
• 8 個 512 位記憶體控制器（共 4096 位）
  
  • 每個記憶體控制器搭配 512KB L2 Cache，共 4096KB L2 Cache
  • 每個 HBM2 DRAM 堆疊由一對記憶體控制器控制

GP100 的 SM 包括 64 個單精度 CUDA 核心。而 Maxwell 和 Kepler 的 SM 分別有 128 和 192 個單精度 CUDA 核心。雖然 GP100 SM 只有 Maxwell SM 中 CUDA 核心數的一半，但總的 SM 數目增加了，每個 SM 保持與上一代相同的暫存器組，則總的暫存器數目增加了。這意味著 GP100 上的執行緒可以使用更多暫存器，也意味著 GP100 相比舊的架構支援更多執行緒、warp 和執行緒塊數目。與此同時，GP100 總共享記憶體量也隨 SM 數目增加而增加了，頻寬顯著提升不至兩倍。

GP100 架構特性

• 高效能低功耗
  
  • 支援單精度、雙精度、半精度，適合 HPC 和 Deep Learning
  • 支援 FMA
  • 工藝 16 納米 FinFET，300w
  • 頂級大核心 P100
    
    • 5.3 TFLOPS 的雙精度浮點 (FP64) 效能
    • 10.6 TFLOPS 的單精度 (FP32) 效能
    • 21.2 TFLOPS 的半精度 (FP16) 效能
• HBM2 高速 GPU 記憶體架構
  
  • HBM2 記憶體是堆疊式記憶體並且與 GPU 處於同一個物理封裝內
  • 高頻寬：720GB/s
  • 高容量：16GB
• Pascal 流式多處理器
  
  • SM 核心數減少，核心利用率提高
    
    • 每個 SM 的暫存器和 warp 數\執行緒數不變
    • 每個 SM 的shared memory 為 64KB
• NVLink 高速互聯技
  
  • P100
    
    • 每個GPU支援 4 個 Nvlink 鏈路
    • 每個鏈路單向 20GB/s，雙向 40GB/s
• 簡化程式設計
  
  • 統一記憶體
    
    • CPU 和 GPU 記憶體提供無縫統一的單一虛擬地址空間
    • 程式設計和記憶體模型簡單
  • 計算搶佔
    
    • 可防止長期執行的應用程式獨佔系統 (防止其它應用程式執行)
    • 程式設計師無再需要修改其長期執行的應用程式即可使其很好地相容其它 GPU 應用程式