主要內容來自維基百科

先上一張圖大略直觀感受一下：

分布式系統是聯網計算機組，其工作目標相同。術語“ 並發計算 ”，“ 並行計算 ”和“分布式計算”有很多重疊，它們之間沒有明顯的區別。^[15]同一系統可以表征為“並行”和“分布式”; 典型分布式系統中的處理器並行運行。^[16]並行計算可以被看作分布式計算的一個特定的緊密耦合的形式，^[17]和分布式計算可以被視為並行計算的松散耦合形式。^[7] 盡管如此，可以使用以下標準將並發系統粗略地分類為“並行”或“分布式”：

• 在並行計算中，所有處理器可以訪問共享存儲器以在處理器之間交換信息。^[18]
• 在分布式計算中，每個處理器都有自己的專用內存（分布式內存）。
  通過在處理器之間傳遞消息來交換信息。^[19]

右圖說明了分布式系統和並行系統之間的區別。圖（a）是典型分布式系統的示意圖; 系統表示為網絡拓撲，其中每個節點是計算機，並且連接節點的每條線是通信鏈路。圖（b）更詳細地顯示了相同的分布式系統：每臺計算機都有自己的本地內存，只能通過使用可用的通信鏈路將消息從一個節點傳遞到另一個節點來交換信息。圖（c）顯示了一個並行系統，其中每個處理器都可以直接訪問共享內存。

由於並行和分布式算法的術語的傳統使用與並行和分布式系統的上述定義不完全匹配，情況進一步復雜化（更多詳細討論見下文）。然而，根據經驗，共享內存多處理器中的高性能並行計算使用並行算法，而大規模分布式系統的協調使用分布式算法。

並行計算與分布式計算