1、什麼是gearman

Gearman是一套可以一個work傳遞其他機器，或者呼叫其他機器功能的應用程式框架。它允許並行工作，負載平衡處理，並排程不同語言之間的職能。它可用於各種應用，從高可用性的網站資料庫複製事件的運輸。簡單來說，Gearman是一個分散式的任務排程框架，它包括 a client，a worker ，a job server這三部分組成。

Gearman的執行過程：客戶端通過客戶端API（PHP，C，Perl等）建立一個任務傳送到job server上，Job Server 通過客戶端的function name 查詢合適的worker，並分到該worker上，worker接收到任務後根據worker的規則執行，並返回資料到job Server，而Job Server則把資料返回給客戶端，這樣Gearman的執行過程就結束了。

使用者可以根據不同的需求制定不同的worker來處理不同的任務，將這些worker存放到不同的伺服器上，Job Server會根據不同的客戶端傳送來的任務的function name尋找worker來執行，從而達到為業務伺服器減輕壓力；

2、Gearman的應用場景：

伺服器的訪問壓力比較大時，我們可以通過負載均衡來將負載分散到多臺伺服器上. 但有些比較耗時的請求.比如：

(1) 需要連線郵件伺服器，傳送一封超長的HTML郵件。

(2) 需要對使用者上傳的圖片進行裁剪，生成多份縮圖。

(3) 需要將使用者上傳的檔案分發到多臺伺服器上。

等等

在我們的日常應用中經常遇到，使用者需要等待一段時間，這個請求才能完成，比如在使用者上傳照片時，照片上傳成功後，然後是裁剪，最後生成縮圖，在這麼一 個過程中，使用者只能等待，所以對使用者的體驗來講是相當不好的。可能在使用者第一次使用過後，下次就很難再讓他使用這個圖片的上傳功能了。

那麼有沒有一種方法將這些處理過程放在後臺慢慢執行呢？答案是肯定的，通過分散式處理可以將這些比較耗時的任務放在後臺，甚至分散到多臺伺服器上去 處理，對於這個問題非同步處理就派上了用場。

現在有很多開源的軟體能實現非同步通訊，比如ActiveMQ、Hadoop、Gearman和MecacheMQ等，它們巧妙的將計算轉移到其他伺服器上，而這一切都是隱藏在API中，同時，這些機制都是跨語言的，可以用PHP來分配一個任務，然後將後臺的C/C++程式來進行處理，這一切都不是什麼問題。

3、安裝gearman：(1) 安裝gcc

$ yum install gcc44 gcc44-c++ libstdc++44-devel -y

   增加環境變數：
   export CC=/usr/bin/gcc44 or export CC=/usr/bin/gcc 
   export CXX=/usr/bin/g++44
   
   $ source /etc/profile  重新整理

(2) 安裝 boost

  $ cd /usr/local 
  $ mkdir boost
  $ tar xvzf boost_1_52_0.tar.gz
  $ cd boost_1_52_0
  $ ./bootstrap.sh –prefix=/usr/local/boost
  
    執行後會生成一個b2的可執行檔案
  $./b2 install
  
  安裝完成後需要修改一下環境變數
  $ vim /etc/profile
  新增：export CPPFLAGS=-I/usr/local/boost/include
  　　　export LDFLAGS=-L/usr/local/boost/lib

　　$ source /etc/profile 重新整理

  boost安裝成功 

(3) 安裝 gearmand

  在/usr/local目錄下建立gearmand目錄

  $ tar xvzf gearmand-1.1.4.tar.gz
  $ cd gearmand-1.1.4
  $  CC=gcc44 CXX=g++44 ./configure --disable-libmemcached --disable-libsqlite3 --with-boost=/usr/local/boost --prefix=/usr/local/gearmand/
  $ make
  $ make install
  $ vim /etc/ld.so.conf 
  增加 /usr/local/boost/lib
  $/sbin/ldconfig –v  更新配置（解決各種詭異的無法找到so包問題）
 
  $ /usr/local/gearmand/sbin/gearmand -p 4730 -u root --log-file=/tmp/gearmand-4730.log -d
  

(4) 安裝php擴充套件

  $ tar xvzf gearman-1.1.1.tgz 
  $ cd gearman-1.1.1
  
  
  $ /data1/adbox/local/php/bin/phpize
  $ ./configure --with-php-config=/data1/adbox/local/php/bin/php-config --with-gearman=/usr/local/gearmand
  $ make
  $ make install   
  
  cd /data1/adbox/local/php/lib/php/extensions/no-debug-non-zts-20090626/
  如果目錄裡面有gearman擴充套件 
  vim /data1/adbox/local/php/lib/php.ini  
  增加 extension = gearman.so；
  
  然後重啟php
  $kill -USR2 php 2742 (php-fpm的主程序號)
  
  安裝好後可以通過一個小程式測試下是否安裝成功，儲存為verify_gearman.php：
  
  <?php
        print gearman_version() . "\n";
  ?>
  
  如果返回1.1.4 ，證明安裝成功。

4、gearman功能測試

(1) 開啟gearmand 守護程序

   
   $ gearmand -L 127.0.0.1 -p 4730  -u root –d
   

(2) php 例項

  給出了用 PHP 編寫的一個 Gearman worker。將這些程式碼儲存在一個名為 worker.php 的檔案中。

   <?php
   
        $worker= new GearmanWorker();
        
        $worker->addServer();
        
        $worker->addFunction("gangfeng", "gangfeng_feed_function");
        
        while ($worker->work());
        
        function gangfeng_feed_function($job)
        
        {
        
           $enter_string = ($job->workload());
           
           $welcome = "welcome to the feed queue , I am worker\n";
           
           return $welcome.$enter_string;
           
        }
        
   ?>

  給出了用 PHP 編寫的一個 Gearman client。將這些程式碼儲存在一個名為 client.php 的檔案中。

  <?php
        $client= new GearmanClient();             
        
        $client->addServer();
        
        echo "start\n";
        
        echo $client->do("gangfeng", json_encode("abcd"));
        
        echo "end\n";   
   ?>
   

現在，可以用如下的命令列連線客戶機與 worker 了：

   
   /data1/adbox/local/php/bin/php worker.php &
   
   /data1/adbox/local/php/bin/php client.php
   
   如果返回
   
   start
   welcome to the feed queue , I am worker
   "abcd"end
   
   證明執行成功。
   
   
   解釋：
   
   json_encode(“abcd”) 這個引數值必須是字串 不能是陣列， 可以進行序列化或json 傳送

5、gearman 擴充套件

(1) 如果有多個worker會怎麼樣呢，我們繼續操作上面的例子：

   $ cp worker.php worker1.php (修改裡面的I am worker 為 I am worker1);
   
   $ /data1/adbox/local/php/bin/php worker1.php &
   
   $ /data1/adbox/local/php/bin/php client.php (執行多次前，思考下返回結果)
   
   start
   welcome to the feed queue , I am worker
   "abcd"end
   
   start
   welcome to the feed queue , I am worker1
   "abcd"end 
   

(2) 非同步處理

給出了用 PHP 編寫的一個 Gearman worker。將這些程式碼儲存在一個名為 worker2.php 的檔案中。

<?php

      $worker = new GearmanWorker();
      $worker->addServer();
      $worker->addFunction("reverse","my_reverse_function");
      while ($worker->work());
      function my_reverse_function($job) {
              sleep(1);
              echo strrev($job->workload());
              echo "I am worker2\n";
      }

?>

給出了用 PHP 編寫的一個 Gearman worker。將這些程式碼儲存在一個名為 worker3.php 的檔案中。

<?php

      $worker = new GearmanWorker();
      $worker->addServer();
      $worker->addFunction("reverse","my_reverse_function");
      while ($worker->work());
      function my_reverse_function($job) {
              sleep(1);
              echo strrev($job->workload());
              echo "I am worker3\n";
      }

?>

給出了用 PHP 編寫的一個 Gearman client。將這些程式碼儲存在一個名為 client2.php 的檔案中。

<?php

      $client = new GearmanClient();
      $client->addServer();
      echo "beginning...\n";
      for ($i = 0; $i < 100; $i++) {
              $client->doBackground('reverse',($i+1).'_Hello World!')."\n";
      }
      echo "finishing...\n";

?>

這裡的Client2.php就是任務的發起者，這裡用兩個worker連續處理100次字串反轉任務

        $ /data1/adbox/local/php/bin/php worker2.php &
        $ /data1/adbox/local/php/bin/php worker3.php &
        $ /data1/adbox/local/php/bin/php client2.php

        會返回
        beginning...
        finishing...
        然後我們看下worker返回
        !dlroW olleH_1I am worker2
        !dlroW olleH_2I am worker3
        !dlroW olleH_3I am worker2
        !dlroW olleH_4I am worker3
        !dlroW olleH_5I am worker2...
        發現在client2.php執行完成後,Worker2 和work3 則是每秒輸出一條處理結果,直到所有的任務全部處理完成.

以上主要是說明非同步處理是怎麼回事，在目前的開發中,怎麼將耗時過長的任務進行非同步來處理。但在日常的開發中，可能有些任務耗時確實很長，但處理後的結果又需要很快的反饋給使用者時，這裡我們就需要將處理後的結果即時的儲存到資料庫中，然後靠專門的程式將結果反饋給使用者。可能還會有一個問題，這樣非同步處理，萬一處理失敗了怎麼辦，同樣的道理，我們可以將每個任務的處理狀態儲存起來，然後用程式定時的去掃描，將處理失敗的任務再重啟執行一次，反覆下去，直接它成功完成為止。

(3) 持久化儲存

如果我們執行一個 worker 後，然後執行client2.php,在client2.php的過程中，試著kill掉worker2.php,然後client2.php會終止執行。然後再重新開啟worker2.php ，結果client2.php還是正常地完成它的工作；這是因為Job Server 幫我們把需求先放在 Queue 裡，等待 Worker 啟動後再處理。

Gearman 的最新版本已經將系統特性擴充套件到了包含持久的作業佇列和用一個新協議來通過 HTTP 提交工作請求。對於前者，Gearman 工作佇列儲存在記憶體並在一個關係型資料庫記憶體有備份。這樣一來，如果 Gearman 守護程式故障，它就可以在重啟後重新建立這個工作佇列。另一個最新的改良通過一個 memcached 叢集增加佇列永續性。memcached 儲存也依賴於記憶體，但被分散於幾個機器以避免單點故障。

(4) 高階特性

一個連線客戶機和 worker 的 Gearman 網路實際上可以使用任何您能想象得到的結構。很多配置能夠執行多個代理並將 worker 分配到許多機器上。負載均衡是隱式的：每個可操作的可用 worker（可能是每個 worker 主機具有多個 worker）從佇列中拉出作業。一個作業能夠同步或非同步執行並具有優先順序。