轉載（有微弱改動）至：美女Rachel-Zhang的部落格：http://blog.csdn.net/abcjennifer/article/details/17610705；http://blog.csdn.net/abcjennifer/article/details/17843787。

本文講一下matlab中的並行方法與技巧，這裡我們不涉及GPU加速，主要考慮for迴圈並行和資料並行。分為以下幾個板塊：

1. 怎麼並行？

2. parfor vs. SPMD

3. 注意事項及經驗總結

-----------------------------------------------------------

1. 如何並行？

1. Request a number of workers;（指定核心數）
2. Issue the normal command to run the program. The client program will call on the workers as needed;
3. Release the workers;（釋放核心）

具體到程式碼：

1. matlabpool local 2;  
2.     %parallel program  
3. matlabpool close  

具體實現parallel program呢，主要是通過parfor（parallel for）和SPMD（single program, multiple data）完成的。

-----------------------------------------------------------

2. parfor vs. SPMD

2.1 什麼時候用parfor

parfor只用於matlab並行迴圈。當你需要簡單計算的多次迴圈迭代時，例如蒙特卡洛(Monte Carlo)模擬，parfor迴圈就很有用。parfor將迴圈迭代分組，那麼每個worker執行迭代的一部分。當迭代耗時很長的時候parfor迴圈也是有用的，因為workers可以同時執行迭代。

注意當迴圈中有迭代依賴其他迭代的結果時不應該使用parfor迴圈。每個迭代都必須不依賴其他迭代，若依賴其他迭代，則顯示警告“發現迴圈對話interactive session”。由於parfor迴圈內有通訊消耗，當只有小數量的簡單計算時使用parfor可能得不到什麼好處。

1. c = 1:10;  
2. a = ones(10,1);  
3. tic  
4. parfor i = 1:length(c)  
5.     a(i)= a(i)+ c(i); 
6.     Zi=Zi+1；              %像這種就是迭代，要顯示“Found an interactive session. You cannot have                                  % multiple interactive sessions open simultaneously.” 
7. end  
8. toc  
9. fprintf('%d\n',a);  

2.2 什麼時候用SPMD（Single Program/Multiple Data）單程式多工進行任務並行

Spmd中的“Single program”方面指的是同一段程式碼執行在不同的多個lab上。你在一個Matlab客戶端上執行一個程式，被標誌為spmd模組的其他部分執行在其他lab上。當這些塊執行完畢後，你的程式繼續在客戶端執行。 “Multiple data”方面指的是雖然spmd語句在所有的lab上執行相同的程式碼，但每一個lab可以有不同的，獨有的資料。所以多資料集可以在多個lab上同時被容納。一下是我總結的SPMD使用的兩個場景：

The "single program" aspect of spmd means that the identical code runs on multiple labs. 就是說同一段程式應用於不同的樣本（資料），所以一般針對隨機抽樣的並行，如

1. %% SPMD  
2. %example 1  
3. spmd   
4. A = rand(3,2); %generate a matrix A for each lab(worker)  
5. end  
6. for i = 1:length(A)  
7.     figure; imagesc(A{i});   
8. end  
9. %example 2  
10. a = 3;  
11. b = 4;  
12. spmd  
13.     c = labindex();  
14.     d = c+a;  
15. end  
16. c{2} = 5;  
17. spmd  
18.     f = c*b;  
19. end  
20. for i = 1:length(f)  
21.     fprintf('%d\t',f{i});%access the value of each lab  
22. end  

另外，SPMD也可以用於可替代parfor的塊並行，在不同lab（worker）上對相同或不同的資料執行不同的並行操作，說起來有些拗口，具體看一下例子就明白了，下面我寫的example3,4分別針對在不同lab上對相同資料和不同資料執行不同操作。它們都可以用parfor代替，對吧，這裡我就不寫了，相信大家的能力。。

1. %example3 - deal with same Data by different parameters  
2. %add different values to same array Data  
3. Data = 1:100;  
4. spmd  
5.     switch labindex  
6.         case 1  
7.             Data = Data+1;  
8.         case 2  
9.             Data = Data+2;  
10.     end  
11. end  
12. % print Data{1} & Data{2} for checking  
13. %example4   
14. %add different values for different parts of array Data  
15. % [1:50]+1  
16. % [51:100]+2  
17. spmd  
18.     if labindex == 1  
19.         Data(1:50) = Data(1:50)+1;  
20.     else  
21.         Data(51:100) = Data(51:100)+2;  
22.     end  
23. end  

2.3 Composite型別

spmd中每個lab返回值以composite儲存，如上面[code]example 1中的f就是以composite的形式展現。f{i}為第i個lab的返回值。最開始我們也可以建立Composite物件並進行初始化賦值。

>>  f = Composite(2);

-----------------------------------------------------------

4. 注意事項及經驗總結

注意事項：

1. parfor中慎用（最好勿用）eval幅值。

一個程式並行時要共享記憶體，而eval語句可能使程式進入錯誤的workspace，因此不要用eval，改用不同index賦值。

1. matlabpool local 2;  
2. c = 1:5;  
3. parfor i = 1:length(c)  
4.     a(i) = c(i);  
5. end  

2. parfor迴圈不能很好利用所有處理器怎麼辦？

是這樣，

1. parfor i = 1:4
2. ........  
3. end  

3. parfor，spmd不可以相互或者自身巢狀。

4. parfor使用有很多約束，比如for迴圈內的表示式需要顯式表達(透明性)，不依賴前項。如

parfor i = 3:10

       f(i) = f(i-1)+f(i-2);

end

是不行滴。。

歡迎留言其他並行技巧和方法，謝謝！

Reference：

2. 詳細講解並行用法（貌似阿拉伯人寫的……o(╯□╰)o）

3. 詳細並行程式碼

5. Parallel Computing Toolbox User's Guide