在學習粒子群演算法的時候，找到一份不錯的資料，複製過來，方便自己以後學習用，內容來源於：https://www.cnblogs.com/kexinxin/p/9858664.html

粒子群演算法是在1995年由Eberhart博士和Kennedy博士一起提出的，它源於對鳥群捕食行為的研究。它的基本核心是利用群體中的個體對資訊的共享從而使整個群體的運動在問題求解空間中產生從無序到有序的演化過程，從而獲得問題的最優解。設想這麼一個場景：一群鳥進行覓食，而遠處有一片玉米地，所有的鳥都不知道玉米地到底在哪裡，但是它們知道自己當前的位置距離玉米地有多遠。那麼找到玉米地的最佳策略，也是最簡單有效的策略就是搜尋目前距離玉米地最近的鳥群的周圍區域。

在PSO中，每個優化問題的解都是搜尋空間中的一隻鳥，稱之為"粒子"，而問題的最優解就對應於鳥群中尋找的"玉米地"。所有的粒子都具有一個位置向量（粒子在解空間的位置）和速度向量（決定下次飛行的方向和速度），並可以根據目標函式來計算當前的所在位置的適應值（fitness value）,可以將其理解為距離"玉米地"的距離。在每次的迭代中，種群中的例子除了根據自身的經驗（歷史位置）進行學習以外，還可以根據種群中最優粒子的"經驗"來學習，從而確定下一次迭代時需要如何調整和改變飛行的方向和速度。就這樣逐步迭代，最終整個種群的例子就會逐步趨於最優解。

上面的解釋可能還比較抽象，下面通過一個簡單的例子來進行說明

在一個湖中有兩個人他們之間可以通訊，並且可以探測到自己所在位置的最低點。初始位置如上圖所示，由於右邊比較深，因此左邊的人會往右邊移動一下小船。

現在左邊比較深，因此右邊的人會往左邊移動一下小船

一直重複該過程，最後兩個小船會相遇

得到一個區域性的最優解

將每個個體表示為粒子。每個個體在某一時刻的位置表示為，x(t),方向表示為v(t)

p（t）為在t時刻x個體的自己的最優解，g(t)為在t時刻所有個體的最優解，v(t)為個體在t時刻的方向，x(t)為個體在t時刻的位置

下一個位置為上圖所示由x,p,g共同決定了

種群中的粒子通過不斷地向自身和種群的歷史資訊進行學習，從而可以找到問題的最優解。

但是，在後續的研究中表表明，上述原始的公式中存在一個問題：公式中V的更新太具有隨機性，從而使整個PSO演算法的全域性優化能力很強，但是區域性搜尋能力較差。而實際上，我們需要在演算法迭代初期PSO有著較強的全域性優化能力，而在演算法的後期，整個種群應該具有更強的區域性搜尋能力。所以根據上述的弊端，shi和Eberhart通過引入慣性權重修改了公式，從而提出了PSO的慣性權重模型：

每一個向量的分量表示如下

其中w稱為是PSO的慣性權重，它的取值介於【0,1】區間，一般應用中均採用自適應的取值方法，即一開始令w=0.9，使得PSO全域性優化能力較強，隨著迭代的深入，引數w進行遞減，從而使的PSO具有較強的區域性優化能力，當迭代結束時，w=0.1。引數c1和c2稱為學習因子，一般設定為1,4961；而r1和r2為介於[0,1]之間的隨機概率值。

整個粒子群優化演算法的演算法框架如下：

step1種群初始化，可以進行隨機初始化或者根據被優化的問題設計特定的初始化方法，然後計算個體的適應值，從而選擇出個體的區域性最優位置向量和種群的全域性最優位置向量。

step2 迭代設定：設定迭代次數，並令當前迭代次數為1

step3 速度更新：更新每個個體的速度向量

step4 位置更新：更新每個個體的位置向量

step5 區域性位置和全域性位置向量更新：更新每個個體的區域性最優解和種群的全域性最優解

step6 終止條件判斷：判斷迭代次數時都達到最大迭代次數，如果滿足，輸出全域性最優解，否則繼續進行迭代，跳轉至step 3。

　　對於粒子群優化演算法的運用，主要是對速度和位置向量迭代運算元的設計。迭代運算元是否有效將決定整個PSO演算法效能的優劣，所以如何設計PSO的迭代運算元是PSO演算法應用的研究重點和難點。

4. 對粒子群優化演算法中慣性權重的認識

引數w被稱之為是慣性權重，顧名思義w實際反映了粒子過去的運動狀態對當前行為的影響，就像是我們物理中提到的慣性。如果w<<1，從前的運動狀態很少能影響當前的行為，粒子的速度會很快的改變；相反，w較大，雖然會有很大的搜尋空間，但是粒子很難改變其運動方向，很難向較優位置收斂，由於演算法速度的因素，在實際運用中很少這樣設定。也就是說，較高的w設定促進全域性搜尋，較低的w設定促進快速的區域性搜尋。

  1 function z = Sphere(x)
  2     z = sum(x.^2);
  3 end
  4 
  5 
  6 
  7 function out = PSO(problem, params)
  8     %% Problem Definiton
  9     CostFunction = problem.CostFunction;  % Cost Function
 10     nVar = problem.nVar;        % Number of Unknown (Decision) Variables
 11     VarSize = [1 nVar];         % Matrix Size of Decision Variables
 12     VarMin = problem.VarMin;    % Lower Bound of Decision Variables
 13     VarMax = problem.VarMax;    % Upper Bound of Decision Variables
 14     %% Parameters of PSO
 15     MaxIt = params.MaxIt;   % Maximum Number of Iterations
 16     nPop = params.nPop;     % Population Size (Swarm Size)
 17     w = params.w;           % Intertia Coefficient
 18     wdamp = params.wdamp;   % Damping Ratio of Inertia Coefficient
 19     c1 = params.c1;         % Personal Acceleration Coefficient
 20     c2 = params.c2;         % Social Acceleration Coefficient
 21     % The Flag for Showing Iteration Information
 22     ShowIterInfo = params.ShowIterInfo;    
 23     MaxVelocity = 0.2*(VarMax-VarMin);
 24     MinVelocity = -MaxVelocity;
 25     %% Initialization
 26     % The Particle Template
 27     empty_particle.Position = [];
 28     empty_particle.Velocity = [];
 29     empty_particle.Cost = [];
 30     empty_particle.Best.Position = [];
 31     empty_particle.Best.Cost = [];
 32     % Create Population Array
 33     particle = repmat(empty_particle, nPop, 1);
 34     % Initialize Global Best
 35     GlobalBest.Cost = inf;
 36     % Initialize Population Members
 37     for i=1:nPop
 38         % Generate Random Solution
 39         particle(i).Position = unifrnd(VarMin, VarMax, VarSize);
 40         % Initialize Velocity
 41         particle(i).Velocity = zeros(VarSize);
 42         % Evaluation
 43         particle(i).Cost = CostFunction(particle(i).Position);
 44         % Update the Personal Best
 45         particle(i).Best.Position = particle(i).Position;
 46         particle(i).Best.Cost = particle(i).Cost;
 47         % Update Global Best
 48         if particle(i).Best.Cost < GlobalBest.Cost
 49             GlobalBest = particle(i).Best;
 50         end
 51     end
 52     % Array to Hold Best Cost Value on Each Iteration
 53     BestCosts = zeros(MaxIt, 1);
 54     %% Main Loop of PSO
 55     for it=1:MaxIt
 56         for i=1:nPop
 57             % Update Velocity
 58             particle(i).Velocity = w*particle(i).Velocity ...
 59                 + c1*rand(VarSize).*(particle(i).Best.Position - particle(i).Position) ...
 60                 + c2*rand(VarSize).*(GlobalBest.Position - particle(i).Position);
 61             % Apply Velocity Limits
 62             particle(i).Velocity = max(particle(i).Velocity, MinVelocity);
 63             particle(i).Velocity = min(particle(i).Velocity, MaxVelocity);
 64           
 65             % Update Position
 66             particle(i).Position = particle(i).Position + particle(i).Velocity;
 67             % Apply Lower and Upper Bound Limits
 68             particle(i).Position = max(particle(i).Position, VarMin);
 69             particle(i).Position = min(particle(i).Position, VarMax);
 70             % Evaluation
 71             particle(i).Cost = CostFunction(particle(i).Position);
 72             % Update Personal Best
 73             if particle(i).Cost < particle(i).Best.Cost
 74                 particle(i).Best.Position = particle(i).Position;
 75                 particle(i).Best.Cost = particle(i).Cost;
 76                 % Update Global Best
 77                 if particle(i).Best.Cost < GlobalBest.Cost
 78                     GlobalBest = particle(i).Best;
 79                 end            
 80             end
 81         end
 82         % Store the Best Cost Value
 83         BestCosts(it) = GlobalBest.Cost;
 84         % Display Iteration Information
 85         if ShowIterInfo
 86             disp(['Iteration ' num2str(it) ': Best Cost = ' num2str(BestCosts(it))]);
 87         end
 88         % Damping Inertia Coefficient
 89         w = w * wdamp;
 90     end
 91     
 92     out.pop = particle;
 93     out.BestSol = GlobalBest;
 94     out.BestCosts = BestCosts;
 95     
 96 end
 97 
 98 
 99 %% Problem Definiton
100 problem.CostFunction = @(x) Sphere(x);  % Cost Function
101 problem.nVar = 5;       % Number of Unknown (Decision) Variables
102 problem.VarMin =  -10;  % Lower Bound of Decision Variables
103 problem.VarMax =  10;   % Upper Bound of Decision Variables
104  
105 %% Parameters of PSO
106 params.MaxIt = 1000;        % Maximum Number of Iterations
107 params.nPop = 50;           % Population Size (Swarm Size)
108 params.w = 1;               % Intertia Coefficient
109 params.wdamp = 0.99;        % Damping Ratio of Inertia Coefficient
110 params.c1 = 2;              % Personal Acceleration Coefficient
111 params.c2 = 2;              % Social Acceleration Coefficient
112 params.ShowIterInfo = true; % Flag for Showing Iteration Informatin
113  
114 %% Calling PSO
115 out = PSO(problem, params);
116  
117 BestSol = out.BestSol;
118 BestCosts = out.BestCosts;
119  
120 %% Results
121 figure;
122 % plot(BestCosts, 'LineWidth', 2);
123 semilogy(BestCosts, 'LineWidth', 2);
124 xlabel('Iteration');
125 ylabel('Best Cost');
126 grid on;

粒子群優化

引入收斂因子，不要慣性權重

Clerc引入收斂因子（contriction factor）保證收斂性

與使用慣性權重的PSO演算法相比，使用收斂因子的PSO有更快的收斂速度。其實只要恰當的選取,兩種演算法是一樣的。因此使用收斂因子的PSO可以看作使用慣性權重PSO的特例。恰當的選取演算法的引數值可以改善演算法的效能。