1. 程式人生 > 實用技巧 >學c的第四天,入坑了!

學c的第四天,入坑了!

一.執行緒池的簡介與實現類

1.什麼是執行緒池

字面意思可以抽象為所有水裝在一個池子中,執行緒池就是所有執行緒集合在一個棧空間所開闢出來的一個空間就是執行緒池,我們可以把要執行的多執行緒交給執行緒池來處理,和連線池的概念一樣,通過維護一定數量的執行緒池來達到多個執行緒的複用我可以這麼理解。

2.執行緒池的好處

每個執行緒都要通過new Thread(xxRunnable).start()的方式來建立並執行一個執行緒亦或者繼承Runnable()介面實現run()來實現執行緒的使用,當啟用過多的執行緒會造成執行緒併發或者出現阻塞,這是有的可以使用MQ訊息佇列亦或者JVM底層優化進行full.gc()亦或者進行STW進行執行緒優化,執行緒池就是屬於一種方法執行緒少的話這不會是問題,而真實環境可能會開啟多個執行緒讓系統和程式達到最佳效率,當執行緒數達到一定數量就會耗盡系統的CPU和記憶體資源,也會造成GC頻繁收集和停頓,因為每次建立和銷燬一個執行緒都是要消耗系統資源的,如果為每個任務都建立執行緒這無疑是一個很大的效能瓶頸。所以,執行緒池中的執行緒複用極大節省了系統資源,當執行緒一段時間不再有任務處理時它也會自動銷燬,而不會長駐記憶體。

3.執行緒池的類

   

  • corePoolSize:執行緒池的核心大小,也可以理解為最小的執行緒池大小。
  • maximumPoolSize:最大執行緒池大小。
  • keepAliveTime:空餘執行緒存活時間,指的是超過corePoolSize的空餘執行緒達到多長時間才進行銷燬。
  • unit:銷燬時間單位。
  • workQueue:儲存等待執行執行緒的工作佇列。
  • threadFactory:建立執行緒的工廠,一般用預設即可。
  • handler:拒絕策略,當工作佇列、執行緒池全已滿時如何拒絕新任務,預設丟擲異常。

 4.執行緒池的流程

1、判斷核心執行緒池是否已滿,沒滿則建立一個新的工作執行緒來執行任務。已滿則。
2、判斷任務佇列是否已滿,沒滿則將新提交的任務新增在工作佇列,已滿則。
3、判斷整個執行緒池是否已滿,沒滿則建立一個新的工作執行緒來執行任務,已滿則執行飽和策略。

(1、判斷執行緒池中當前執行緒數是否大於核心執行緒數,如果小於,在建立一個新的執行緒來執行任務,如果大於則
2、判斷任務佇列是否已滿,沒滿則將新提交的任務新增在工作佇列,已滿則。
3、判斷執行緒池中當前執行緒數是否大於最大執行緒數,如果小於,則建立一個新的執行緒來執行任務,如果大於,則執行飽和策略。)

5.Java中提供的執行緒池

Executors類提供了4種不同的執行緒池:newCachedThreadPool, newFixedThreadPool, newScheduledThreadPool, newSingleThreadExecutor。且這四種實現功能各有不同

1、newCachedThreadPool:用來建立一個可以無限擴大的執行緒池,適用於負載較輕的場景,執行短期非同步任務。(可以使得任務快速得到執行,因為任務時間執行短,可以很快結束,也不會造成cpu過度切換)

2、newFixedThreadPool:建立一個固定大小的執行緒池,因為採用無界的阻塞佇列,所以實際執行緒數量永遠不會變化,適用於負載較重的場景,對當前執行緒數量進行限制。(保證執行緒數可控,不會造成執行緒過多,導致系統負載更為嚴重)

3、newSingleThreadExecutor:建立一個單執行緒的執行緒池,適用於需要保證順序執行各個任務。

4、newScheduledThreadPool:適用於執行延時或者週期性任務。

6.execut()和submit()方法

1、execute(),執行一個任務,沒有返回值。
2、submit(),提交一個執行緒任務,有返回值。
submit(Callable<T> task)能獲取到它的返回值,通過future.get()獲取(阻塞直到任務執行完)。一般使用FutureTask+Callable配合使用(IntentService中有體現)。

submit(Runnable task, T result)能通過傳入的載體result間接獲得執行緒的返回值。
submit(Runnable task)則是沒有返回值的,就算獲取它的返回值也是null。

Future.get方法會使取結果的執行緒進入阻塞狀態,知道執行緒執行完成之後,喚醒取結果的執行緒,然後返回結果。

二.實現原理與簡介

1.執行緒池狀態

  在ThreadPoolExecutor中定義了一個volatile變數,另外定義了幾個static final變量表示執行緒池的各個狀態:

  

   volatile int runState;
 static final int RUNNING    = 0;
 static final int SHUTDOWN   = 1;
 static final int STOP       = 2;
 static final int TERMINATED = 3;

  

 unState表示當前執行緒池的狀態,它是一個volatile變數用來保證執行緒之間的可見性;

 下面的幾個static final變量表示runState可能的幾個取值。

 當建立執行緒池後,初始時,執行緒池處於RUNNING狀態;

 如果呼叫了shutdown()方法,則執行緒池處於SHUTDOWN狀態,此時執行緒池不能夠接受新的任務,它會等待所有任務執行完畢;

 如果呼叫了shutdownNow()方法,則執行緒池處於STOP狀態,此時執行緒池不能接受新的任務,並且會去嘗試終止正在執行的任務;

 當執行緒池處於SHUTDOWN或STOP狀態,並且所有工作執行緒已經銷燬,任務快取佇列已經清空或執行結束後,執行緒池被設定為TERMINATED狀態。

2.執行操作

ThreadPoolExecutor類中其他的一些比較重要成員變數:

  private final BlockingQueue<Runnable> workQueue;              //任務快取佇列,用來存放等待執行的任務
   private final ReentrantLock mainLock = new ReentrantLock();   //執行緒池的主要狀態鎖,對執行緒池狀態(比如執行緒池大小、runState等)的改變都要使用這個鎖
  private final HashSet<Worker> workers = new HashSet<Worker>();  //用來存放工作集
   private volatile long  keepAliveTime;    //執行緒存貨時間 
  private volatile boolean allowCoreThreadTimeOut;   //是否允許為核心執行緒設定存活時間
  private volatile int   corePoolSize;     //核心池的大小(即執行緒池中的執行緒數目大於這個引數時,提交的任務會被放進任務快取佇列)
  private volatile int   maximumPoolSize;   //執行緒池最大能容忍的執行緒數
 private volatile int   poolSize;       //執行緒池中當前的執行緒數
 private volatile RejectedExecutionHandler handler; //任務拒絕策略
 private volatile ThreadFactory threadFactory;   //執行緒工廠,用來建立執行緒
 private int largestPoolSize;   //用來記錄執行緒池中曾經出現過的最大執行緒數
· private long completedTaskCount;   //用來記錄已經執行完畢的任務個數

 execut()或submit()方法實現方法操作

public void execute(Runnable command) {
    if (command == null)//首先,判斷提交的任務command是否為null,若是null,則丟擲空指標異常
        throw new NullPointerException();
    if (poolSize >= corePoolSize || !addIfUnderCorePoolSize(command)) {
        if (runState == RUNNING && workQueue.offer(command)) {
            if (runState != RUNNING || poolSize == 0)
                ensureQueuedTaskHandled(command);
        }
        else if (!addIfUnderMaximumPoolSize(command))
            reject(command); // is shutdown or saturated
    }
}

  程式碼實現操作:

  

if (poolSize >= corePoolSize || !addIfUnderCorePoolSize(command))

如果執行緒池中當前執行緒數不小於核心池大小,那麼就會直接進入下面的if語句塊了。如果執行緒池中當前執行緒數小於核心池大小則執行addIfUnderCorePoolSize(command)如果執行完返回false責第一層判斷完成然後執行第二層

if(runState == RUNNING && workQueue.offer(command))

如果當前執行緒池處於RUNNING狀態,則將任務放入任務快取佇列;如果當前執行緒池不處於RUNNING狀態或者任務放入快取佇列失敗,則執行:

addIfUnderMaximumPoolSize(command)

如果執行addIfUnderMaximumPoolSize方法失敗,則執行reject()方法進行任務拒絕處理。

if(runState == RUNNING && workQueue.offer(command))

這句的執行,如果說當前執行緒池處於RUNNING狀態且將任務放入任務快取佇列成功,則繼續進行判斷

if(runState != RUNNING || poolSize ==0)

這句判斷是為了防止在將此任務新增進任務快取佇列的同時其他執行緒突然呼叫shutdown或者shutdownNow方法關閉了執行緒池的一種應急措施。如果是這樣就執行:

ensureQueuedTaskHandled(command) 進行應急處理新增到任務快取佇列中的任務得到處理。

addIfUnderCorePoolSize和addIfUnderMaximumPoolSize()方法:

private boolean addIfUnderCorePoolSize(Runnable firstTask) {
    Thread t = null;
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
        if (poolSize < corePoolSize && runState == RUNNING)
            t = addThread(firstTask);        //建立執行緒去執行firstTask任務   
        } finally {
        mainLock.unlock();
    }
    if (t == null)
        return false;
    t.start();
    return true;
}

  首先獲取到鎖,因為這地方涉及到執行緒池狀態的變化,先通過if語句判斷當前執行緒池中的執行緒數目是否小於核心池大小,有朋友也許會有疑問:前面在execute()方法中不是已經判斷過了嗎,只有執行緒池當前執行緒數目小於核心池大小才會執行addIfUnderCorePoolSize方法的,為何這地方還要繼續判斷?原因很簡單,前面的判斷過程中並沒有加鎖,因此可能在execute方法判斷的時候poolSize小於corePoolSize,而判斷完之後,在其他執行緒中又向執行緒池提交了任務,就可能導致poolSize不小於corePoolSize了,所以需要在這個地方繼續判斷。然後接著判斷執行緒池的狀態是否為RUNNING,原因也很簡單,因為有可能在其他執行緒中呼叫了shutdown或者shutdownNow方法。然後就是執行

t = addThread(firstTask);

該方法傳的引數為提交的任務,返回值為Thread型別。然後接著在下面判斷t是否為空,為空則表明建立執行緒失敗(即poolSize>=corePoolSize或者runState不等於RUNNING),否則呼叫t.start()方法啟動執行緒

addThread()方法:

private Thread addThread(Runnable firstTask) {
    Worker w = new Worker(firstTask);
    Thread t = threadFactory.newThread(w);  //建立一個執行緒,執行任務   
    if (t != null) {
        w.thread = t;            //將建立的執行緒的引用賦值為w的成員變數       
        workers.add(w);
        int nt = ++poolSize;     //當前執行緒數加1       
        if (nt > largestPoolSize)
            largestPoolSize = nt;
    }
    return t;
}

  用提交的任務建立了一個Worker物件,然後呼叫執行緒工廠threadFactory建立了一個新的執行緒t,然後將執行緒t的引用賦值給了Worker物件的成員變數thread,接著通過workers.add(w)將Worker物件新增到工作集當中

Worker實現類:

private final class Worker implements Runnable {
    private final ReentrantLock runLock = new ReentrantLock();
    private Runnable firstTask;
    volatile long completedTasks;
    Thread thread;
    Worker(Runnable firstTask) {
        this.firstTask = firstTask;
    }
    boolean isActive() {
        return runLock.isLocked();
    }
    void interruptIfIdle() {
        final ReentrantLock runLock = this.runLock;
        if (runLock.tryLock()) {
            try {
        if (thread != Thread.currentThread())
        thread.interrupt();
            } finally {
                runLock.unlock();
            }
        }
    }
    void interruptNow() {
        thread.interrupt();
    }
 
    private void runTask(Runnable task) {
        final ReentrantLock runLock = this.runLock;
        runLock.lock();
        try {
            if (runState < STOP &&
                Thread.interrupted() &&
                runState >= STOP)
            boolean ran = false;
            beforeExecute(thread, task);   //beforeExecute方法是ThreadPoolExecutor類的一個方法,沒有具體實現,使用者可以根據
            //自己需要過載這個方法和後面的afterExecute方法來進行一些統計資訊,比如某個任務的執行時間等           
            try {
                task.run();
                ran = true;
                afterExecute(task, null);
                ++completedTasks;
            } catch (RuntimeException ex) {
                if (!ran)
                    afterExecute(task, ex);
                throw ex;
            }
        } finally {
            runLock.unlock();
        }
    }
 
    public void run() {
        try {
            Runnable task = firstTask;
            firstTask = null;
            while (task != null || (task = getTask()) != null) {
                runTask(task);
                task = null;
            }
        } finally {
            workerDone(this);   //當任務佇列中沒有任務時,進行清理工作       
        }
    }
}

  workes繼承了Runble所以Thread t = threadFactory.newThread(w)跟Thread t =newThread(w);效果等同

Worker實現了Runnable介面並實現run()方法

public void run() {
    try {
        Runnable task = firstTask;
        firstTask = null;
        while (task != null || (task = getTask()) != null) {
            runTask(task);
            task = null;
        }
    } finally {
        workerDone(this);
    }

  首先執行的是通過構造器傳進來的任務firstTask,在呼叫runTask()執行完firstTask之後,在while迴圈裡面不斷通過getTask()去取新的任務來執行,那麼去哪裡取呢?自然是從任務快取佇列裡面去取,getTask是ThreadPoolExecutor類中的方法,並不是Worker類中的方法,下面是getTask方法的實現:

Runnable getTask() {
    for (;;) {
        try {
            int state = runState;
            if (state > SHUTDOWN)
                return null;
            Runnable r;
            if (state == SHUTDOWN)  // Help drain queue
                r = workQueue.poll();
            else if (poolSize > corePoolSize || allowCoreThreadTimeOut) //如果執行緒數大於核心池大小或者允許為核心池執行緒設定空閒時間,
                //則通過poll取任務,若等待一定的時間取不到任務,則返回null
                r = workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS);
            else
                r = workQueue.take();
            if (r != null)
                return r;
            if (workerCanExit()) {    //如果沒取到任務,即r為null,則判斷當前的worker是否可以退出
                if (runState >= SHUTDOWN) // Wake up others
                    interruptIdleWorkers();   //中斷處於空閒狀態的worker
                return null;
            }
            // Else retry
        } catch (InterruptedException ie) {
            // On interruption, re-check runState
        }
    }
}

 在getTask中,先判斷當前執行緒池狀態,如果runState大於SHUTDOWN(即為STOP或者TERMINATED),則直接返回null。

 如果runState為SHUTDOWN或者RUNNING,則從任務快取佇列取任務。

 如果當前執行緒池的執行緒數大於核心池大小corePoolSize或者允許為核心池中的執行緒設定空閒存活時間,則呼叫poll(time,timeUnit)來取任務,這個方法會等待一定的時間,如果取不到任務就返回null。

 然後判斷取到的任務r是否為null,為null則通過呼叫workerCanExit()方法來判斷當前worker是否可以退出,我們看一下workerCanExit()的實現: 

private boolean workerCanExit() {
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    boolean canExit;
    //如果runState大於等於STOP,或者任務快取佇列為空了
    //或者  允許為核心池執行緒設定空閒存活時間並且執行緒池中的執行緒數目大於1
    try {
        canExit = runState >= STOP ||
            workQueue.isEmpty() ||
            (allowCoreThreadTimeOut &&
             poolSize > Math.max(1, corePoolSize));
    } finally {
        mainLock.unlock();
    }
    return canExit;
}

  如果執行緒池處於STOP狀態、或者任務佇列已為空或者允許為核心池執行緒設定空閒存活時間並且執行緒數大於1時,允許worker退出。如果允許worker退出,則呼叫interruptIdleWorkers()中斷處於空閒狀態的worker,我們看一下interruptIdleWorkers()的實現

void interruptIdleWorkers() {
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
        for (Worker w : workers)  //實際上呼叫的是worker的interruptIfIdle()方法
            w.interruptIfIdle();
    } finally {
        mainLock.unlock();
    }
}

  interruptIfIdle()方法:

void interruptIfIdle() {
    final ReentrantLock runLock = this.runLock;
    if (runLock.tryLock()) {    //注意這裡,是呼叫tryLock()來獲取鎖的,因為如果當前worker正在執行任務,鎖已經被獲取了,是無法獲取到鎖的
                                //如果成功獲取了鎖,說明當前worker處於空閒狀態
        try {
    if (thread != Thread.currentThread())  
    thread.interrupt();
        } finally {
            runLock.unlock();
        }
    }
}

 addIfUnderMaximumPoolSize方法的實現和addIfUnderCorePoolSize方法的實現思想非常相似,只不過前一個方法是線上程池中的執行緒數達到了核心池大小並且往任務佇列中新增任務失敗的情況下執行的:

private boolean addIfUnderMaximumPoolSize(Runnable firstTask) {
    Thread t = null;
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
        if (poolSize < maximumPoolSize && runState == RUNNING)
            t = addThread(firstTask);
    } finally {
        mainLock.unlock();
    }
    if (t == null)
        return false;
    t.start();
    return true;
}

  只是if語句判斷條件中的poolSize < maximumPoolSize不同而已

  • 如果當前執行緒池中的執行緒數目小於corePoolSize,則每來一個任務,就會建立一個執行緒去執行這個任務;
  • 如果當前執行緒池中的執行緒數目>=corePoolSize,則每來一個任務,會嘗試將其新增到任務快取隊列當中,若新增成功,則該任務會等待空閒執行緒將其取出去執行;若新增失敗(一般來說是任務快取佇列已滿),則會嘗試建立新的執行緒去執行這個任務;
  • 如果當前執行緒池中的執行緒數目達到maximumPoolSize,則會採取任務拒絕策略進行處理;
  • 如果執行緒池中的執行緒數量大於 corePoolSize時,如果某執行緒空閒時間超過keepAliveTime,執行緒將被終止,直至執行緒池中的執行緒數目不大於corePoolSize;如果允許為核心池中的執行緒設定存活時間,那麼核心池中的執行緒空閒時間超過keepAliveTime,執行緒也會被終止。

3.執行緒池初始化

  • prestartCoreThread():初始化一個核心執行緒;
  • prestartAllCoreThreads():初始化所有核心執行緒
public boolean prestartCoreThread() {
    return addIfUnderCorePoolSize(null); //注意傳進去的引數是null
}
 
public int prestartAllCoreThreads() {
    int n = 0;
    while (addIfUnderCorePoolSize(null))//注意傳進去的引數是null
        ++n;
    return n;
}

  如果傳進去的引數為null,則最後執行執行緒會阻塞在getTask方法中的r = workQueue.take();且有任務在等待中

4.任務快取佇列及排隊策略

workQueue的型別為BlockingQueue<Runnable>,通常可以取下面三種類型:

  1)ArrayBlockingQueue:基於陣列的先進先出佇列,此佇列建立時必須指定大小;

  2)LinkedBlockingQueue:基於連結串列的先進先出佇列,如果建立時沒有指定此佇列大小,則預設為Integer.MAX_VALUE;

  3)synchronousQueue:這個佇列比較特殊,它不會儲存提交的任務,而是將直接新建一個執行緒來執行新來的任務。

5.任務拒絕策略

執行緒池的任務快取佇列已滿並且執行緒池中的執行緒數目達到maximumPoolSize可以實現下面四種形式

ThreadPoolExecutor.AbortPolicy:丟棄任務並丟擲RejectedExecutionException異常。
ThreadPoolExecutor.DiscardPolicy:也是丟棄任務,但是不丟擲異常。
ThreadPoolExecutor.DiscardOldestPolicy:丟棄佇列最前面的任務,然後重新嘗試執行任務(重複此過程)
ThreadPoolExecutor.CallerRunsPolicy:由呼叫執行緒處理該任務

6.執行緒池的關閉

  • shutdown():不會立即終止執行緒池,而是要等所有任務快取佇列中的任務都執行完後才終止,但再也不會接受新的任務
  • shutdownNow():立即終止執行緒池,並嘗試打斷正在執行的任務,並且清空任務快取佇列,返回尚未執行的任務

7.執行緒池容量的動態調整

  • setCorePoolSize:設定核心池大小
  • setMaximumPoolSize:設定執行緒池最大能建立的執行緒數目大小

8.實現方法

public class Test {
     public static void main(String[] args) {   
         ThreadPoolExecutor executor = new ThreadPoolExecutor(5, 10, 200, TimeUnit.MILLISECONDS,
                 new ArrayBlockingQueue<Runnable>(5));
          
         for(int i=0;i<15;i++){
             MyTask myTask = new MyTask(i);
             executor.execute(myTask);
             System.out.println("執行緒池中執行緒數目:"+executor.getPoolSize()+",佇列等待執行的任務數目:"+
             executor.getQueue().size()+",已執行完的任務數目:"+executor.getCompletedTaskCount());
         }
         executor.shutdown();
     }
}
 
 
class MyTask implements Runnable {
    private int taskNum;
     
    public MyTask(int num) {
        this.taskNum = num;
    }
     
    @Override
    public void run() {
        System.out.println("正在執行task "+taskNum);
        try {
            Thread.currentThread().sleep(4000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("task "+taskNum+"執行完成");
    }
}

  Java中建議使用Executors類中提供的幾個靜態方法來建立執行緒池

Executors.newCachedThreadPool();        //建立一個緩衝池,緩衝池容量大小為Integer.MAX_VALUE
Executors.newSingleThreadExecutor();   //建立容量為1的緩衝池
Executors.newFixedThreadPool(int);    //建立固定容量大小的緩衝池

/**
*靜態實現方法
**/
publicstaticExecutorService newFixedThreadPool(intnThreads) { returnnewThreadPoolExecutor(nThreads, nThreads, 0L, TimeUnit.MILLISECONDS, newLinkedBlockingQueue<Runnable>()); } publicstaticExecutorService newSingleThreadExecutor() { returnnewFinalizableDelegatedExecutorService (newThreadPoolExecutor(1,1, 0L, TimeUnit.MILLISECONDS, newLinkedBlockingQueue<Runnable>())); } publicstaticExecutorService newCachedThreadPool() { returnnewThreadPoolExecutor(0, Integer.MAX_VALUE, 60L, TimeUnit.SECONDS, newSynchronousQueue<Runnable>()); }

  newFixedThreadPool建立的執行緒池corePoolSize和maximumPoolSize值是相等的,它使用的LinkedBlockingQueue;

  newSingleThreadExecutor將corePoolSize和maximumPoolSize都設定為1,也使用的LinkedBlockingQueue;

  newCachedThreadPool將corePoolSize設定為0,將maximumPoolSize設定為Integer.MAX_VALUE,使用的SynchronousQueue,也就是說來了任務就建立執行緒執行,當執行緒空閒超過60秒,就銷燬執行緒。

著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。/** * Creates a new {@code ThreadPoolExecutor} with the given initial * parameters and default thread factory. */publicThreadPoolExecutor(int corePoolSize,int maximumPoolSize,long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler){if(corePoolSize <0|| maximumPoolSize <=0|| maximumPoolSize < corePoolSize || keepAliveTime <0)thrownewIllegalArgumentException();if(workQueue == null || threadFactory == null || handler == null)thrownewNullPointerException();this.acc = System.getSecurityManager()== null ? null : AccessController.getContext();this.corePoolSize = corePoolSize;this.maximumPoolSize = maximumPoolSize;this.workQueue = workQueue;this.keepAliveTime = unit.toNanos(keepAliveTime);this.threadFactory = threadFactory;this.handler = handler;}