一.定義

如果給定一個數列a[n]，令S[k] ＝ a[0]+a[1]+…+a[k]，（k = 0, 1, 2…n-1），數列S[k]即為數列a[n]的字首和。

二.序列演算法

很容易就能想到序列的演算法：

S[0] = a[0];
for (int i = 1; i < n; i++)
    S[i] = S[i-1] + a[i];

三.並行演算法

我們用一個實際的例子來說明本問題的並行解題思路。

假設有4個處理器要計算以下16個整數的字首和：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

1.將上面資料平分成4組，每個處理器計算一組資料的字首和（單個處理器內部序列計算，多個處理器並行）：

（1 2 3 4） （5 6 7 8） （9 10 11 12） （13 14 15 16）
—>
（1 3 6 10） （5 11 18 26） （9 19 30 42） （13 27 42 58）

2.選取每組的最後一個數據，對這幾個資料計算字首和：

（1 3 6 10） （5 11 18 26） （9 19 30 42） （13 27 42 58）
–>
（1 3 6 10） （5 11 18 36） （9 19 30 78） （13 27 42 136）

此時，每組最後一個數據的值已經變成了原始資料在它所處位置之前（包含本位置）的所有資料的和。例如：

36 ＝ 1 + 2 + 3 + 4 + 5 + 6 + 7 + 8

78 = 1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9 + 10 + 11 + 12

3.從第2組數開始，將每組中的數（除最後一個數外）加上它的前一組數的最後一個數，即可得到所有數的字首和：

(1 3 6 10) (5+10 11+10 18+10 36) (9+36 19+36 30+36 78) (13+78 27+78 42+78 136）
–>
(1 3 6 10) (15 21 28 36) (45 55 66 78) (91 105 120 136）

至此，並行字首和計算結束，實際應用中我們推廣到p個處理器，n個數即可。

**在平行計算中，我們應該使用盡量多的處理器，這樣子才能發揮出並行的優勢！（如果處理器過少，通訊成本以及其他並行開銷將使得演算法效率不如序列演算法）