1.優化的等級

2.應該有一個系統化的優化過程（類似於一個優化的週期，缺少哪一步效果都不好）

在真實資料集上跑很重要

不要“真空”優化

別忘了

思考你到底想實現啥

和在現實世界中執行收到反饋

3.具體過程

a.分析

4.強縮放和弱縮放

弱縮放：時間不變，問題數量增多

強縮放：問題不變，時間縮短

 

 

5.分析

瞭解熱點

Amdah's law

 

 

6.並行化

用GPU做矩陣轉置

分配空間呼叫

但是

計時

擴大問題規模

這有一個值不值得優化的問題

466ms是相當的慢了，但是如果這段程式只在你的整體中執行一次或者規模極小，比如第一次例子中的8*8矩陣，就犯不上優化了

優化：

剛剛是對整個矩陣只啟用一個執行緒

現在對每一行啟動一個執行緒

n是矩陣的行列數

留作業：按照每個元素啟用一個執行緒

注意

你看都是 Idx.   只是 . 後面的在改變 x或者y，什麼時候需要Idy？應該是啟動了二維執行緒塊的時候？沒有Idy吧！

k是線上程塊中，每行每列啟動了多少執行緒

N/K 是每行每列啟動了多少執行緒塊

呼叫的時候是放進了兩個dim3型別的變數，分別指定了每個grid用多少個執行緒塊，和每個執行緒塊用多少個thread

 

 

分析一下子

 

1024*1024個元素

每個元素4個位元組

讀一次寫一次，共2次

一共用了0367*10的3次秒

總量除以時間等於效率（頻寬）

7.

看讀與寫 記憶體的距離

（傳一張自己畫的圖）

確實，讀是按照方矩陣從左到右的方向讀的，那怎麼能保證執行緒跑過去讀記憶體的順序？是併發無序執行的，還是說本質其實有一定順序？

寫的時候是按照方矩陣從上到下寫的，當然與記憶體儲存的順序不一致，會很分散，但是疑問同上

還是說這個是針對CPU讀取記憶體來說的？？

好像是CPU，翻一下前面的引數部分

還是對全域性記憶體來說的？？

執行緒訪問全域性記憶體時候有沒有順序

 

8.

剛剛做的用時間來找到優化的點，是很原始的，現在有專門的外掛來幫你分析

工具只是用來幫助你分析，給你一些指導性意見

 

？？？

在關注為啥記憶體利用率變小之前，來看一個原則

Little 原則

（自己的 圖）

把記憶體比作管道

就是怎麼能把管道填滿：1）加大執行緒數，2）加大每個執行緒的資料量

以下是方法2）（但是這屬於忍者優化，在邊緣了，先不太深入探討，討論一種大眾的）

執行的程序太少造成的利用率不足的情況：

大部分執行緒等待時間長：

怎樣降低等待時間

一個SM中能包含很多個塊，但不可能無窮吧，什麼在限制？？

先看另一個問題

佔用率（occupancy）

 

限制一.

限制二.

限制三.

限制四.

可檢視核心佔用率的工具

 

 

優化計算效能

第一個方法的示例就是上面那個

warp是命令執行的一個單位

在分支結構中執行緒是咋執行的

紅執行緒和藍執行緒是交錯執行的

相關推薦