此部落格為博主的自學筆記 ，歡迎大家共同交流，如果有錯誤的地方歡迎留言指正。

在各種基礎演算法中，如排序，求極值，求和，求平均等等，如果用並行的方式進行的計劃顯然不是很難，但是對於硬體來講，如果想最大發揮出硬體的效能那並不是一件容易的事情。

此次先介紹一個簡單的並行求和演算法，並初步利用CUDA進行實現，雖然並沒有達到最佳的效果，但是為以後的優化進行一下鋪墊。

求和演算法：

    對 1，2，3，4，5，6，7，8，9 ，10，11，.....................，1024進行求和計算。

    這個計算雖然對CPU來講極其容易，但是對GPU來講，確實需要費一番工夫。

    一般來說，平行計算求和，最容易理解的無外乎就是相鄰兩人個數相加，再存到其中一個地址中，變成一個新的中間和數列。然後再重複上面的步驟，直到所有的收縮到一個地址中。在這裡，我們用括號() 來表示兩人個數的加和關係，和儲存到左邊的數的地址中。

     step1:   (1,2),  (3,4) ,(5,6),(7,8), (9, 10), (11,12),...........................(1023,1024)

        新陣列為：  3，2，7，4，11，6，15，8，................................................2047, 1024

     step2:    （3，7）， （11，15），...........................(2043, 2047)

       新陣列為:,10, 7, 26,15, .......................4090,2047

    step3:   (10,26)........................

    以此類推，進行(>=log2N的最小整數 ）次迴圈計算，將N個數不斷收縮到一個數中。例：N = 8時，迴圈3次， N=9時，迴圈4次。

下面為一段CUDA的核函式求和演算法程式碼：

        假定A_d中存在按地址順序依次儲存了0到1023的1024個數據。執行緒3維空間定義為（1024，1，1 ）， 塊3維空間定義為（1，1，1） ，求和後，結果存在A_d的首地址中。

 __global__  void   sum(float *A_d){

　　　　__shared__   float mem[1024];

        mem[threadIdx.x] = A_d[threadIdx.x]; //將global　memory的資料複製到shared memory中

　　　　for(int s = 1; s < blockDim.x; s*=2){　//迴圈(>=log2N的最小整數 ）次,   S初始值為1，之後依次為2，4，8，16.....

　　　　　　　　if(threadIdx.x%(2*s)==0){   //所有的偶數執行緒，開始為每隔兩個，之後依次為每隔4個，8個，16個，32個   

　　　　　　　　mem[threadIdx.x]+= mem[threadIdx.x+s];     ·//將上次迴圈的相鄰兩和相加

　　　　　　　　}

　　　　__syhnthreads();                             //執行緒同期（很重要，如果不同期，相鄰的和就會讀取錯誤）

　　　　　}

　　　　if(threadIdx.x==0){

　　　　　　　　A_d[0] = mem[0];         //將和包存在global memory的首地址中

　　　　}

}