epoll原理詳解及epoll反應堆模型

阿新 • • 發佈：2018-11-25

設想一個場景：有100萬用戶同時與一個程序保持著TCP連線，而每一時刻只有幾十個或幾百個TCP連線是活躍的(接收TCP包)，也就是說在每一時刻程序只需要處理這100萬連線中的一小部分連線。那麼，如何才能高效的處理這種場景呢？程序是否在每次詢問作業系統收集有事件發生的TCP連線時，把這100萬個連線告訴作業系統，然後由作業系統找出其中有事件發生的幾百個連線呢？實際上，在Linux2.4版本以前，那時的select或者poll事件驅動方式是這樣做的。

這裡有個非常明顯的問題，即在某一時刻，程序收集有事件的連線時，其實這100萬連線中的大部分都是沒有事件發生的。因此如果每次收集事件時，都把100萬連線的套接字傳給作業系統(這首先是使用者態記憶體到核心態記憶體的大量複製

)，而由作業系統核心尋找這些連線上有沒有未處理的事件，將會是巨大的資源浪費，然後select和poll就是這樣做的，因此它們最多隻能處理幾千個併發連線。而epoll不這樣做，它在Linux核心中申請了一個簡易的檔案系統，把原先的一個select或poll呼叫分成了3部分：

int epoll_create(int size);  
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);  
int epoll_wait(int epfd, struct epoll_event *events,int maxevents, 
 int timeout);

1. 呼叫epoll_create建立一個epoll物件(在epoll檔案系統中給這個控制代碼分配資源)；

2. 呼叫epoll_ctl向epoll物件中新增這100萬個連線的套接字；

3. 呼叫epoll_wait收集發生事件的連線。

這樣只需要在程序啟動時建立1個epoll物件，並在需要的時候向它新增或刪除連線就可以了，因此，在實際收集事件時，epoll_wait的效率就會非常高，因為呼叫epoll_wait時並沒有向它傳遞這100萬個連線，核心也不需要去遍歷全部的連線。

一、epoll原理詳解

當某一程序呼叫epoll_create方法時，Linux核心會建立一個eventpoll結構體，這個結構體中有兩個成員與epoll的使用方式密切相關，如下所示：

struct eventpoll {
　　...
　　/*紅黑樹的根節點，這棵樹中儲存著所有新增到epoll中的事件，
　　也就是這個epoll監控的事件*/
　　struct rb_root rbr;
　　/*雙向連結串列rdllist儲存著將要通過epoll_wait返回給使用者的、滿足條件的事件*/
　　struct list_head rdllist;
　　...
};

我們在呼叫epoll_create時，核心除了幫我們在epoll檔案系統裡建了個file結點，在核心cache裡建了個紅黑樹用於儲存以後epoll_ctl傳來的socket外，還會再建立一個rdllist雙向連結串列，用於儲存準備就緒的事件，當epoll_wait呼叫時，僅僅觀察這個rdllist雙向連結串列裡有沒有資料即可。有資料就返回，沒有資料就sleep，等到timeout時間到後即使連結串列沒資料也返回。所以，epoll_wait非常高效。

所有新增到epoll中的事件都會與裝置(如網絡卡)驅動程式建立回撥關係，也就是說相應事件的發生時會呼叫這裡的回撥方法。這個回撥方法在核心中叫做ep_poll_callback，它會把這樣的事件放到上面的rdllist雙向連結串列中。

在epoll中對於每一個事件都會建立一個epitem結構體，如下所示：

struct epitem {
　　...
　　//紅黑樹節點
　　struct rb_node rbn;
　　//雙向連結串列節點
　　struct list_head rdllink;
　　//事件控制代碼等資訊
　　struct epoll_filefd ffd;
　　//指向其所屬的eventepoll物件
　　struct eventpoll *ep;
　　//期待的事件型別
　　struct epoll_event event;
　　...
}; // 這裡包含每一個事件對應著的資訊。

當呼叫epoll_wait檢查是否有發生事件的連線時，只是檢查eventpoll物件中的rdllist雙向連結串列是否有epitem元素而已，如果rdllist連結串列不為空，則這裡的事件複製到使用者態記憶體（使用共享記憶體提高效率）中，同時將事件數量返回給使用者。因此epoll_waitx效率非常高。epoll_ctl在向epoll物件中新增、修改、刪除事件時，從rbr紅黑樹中查詢事件也非常快，也就是說epoll是非常高效的，它可以輕易地處理百萬級別的併發連線。
在這裡插入圖片描述

【總結】：

一顆紅黑樹，一張準備就緒控制代碼連結串列，少量的核心cache，就幫我們解決了大併發下的socket處理問題。

執行epoll_create()時，建立了紅黑樹和就緒連結串列；
執行epoll_ctl()時，如果增加socket控制代碼，則檢查在紅黑樹中是否存在，存在立即返回，不存在則新增到樹幹上，然後向核心註冊回撥函式，用於當中斷事件來臨時向準備就緒連結串列中插入資料；
執行epoll_wait()時立刻返回準備就緒連結串列裡的資料即可。

二、epoll的兩種觸發模式

epoll有EPOLLLT和EPOLLET兩種觸發模式，LT是預設的模式，ET是“高速”模式。

LT（水平觸發）模式下，只要這個fd還有資料可讀，每次 epoll_wait都會返回它的事件，提醒使用者程式去操作；
ET（邊緣觸發）模式下，在它檢測到有 I/O 事件時，通過 epoll_wait 呼叫會得到有事件通知的檔案描述符，對於每一個被通知的檔案描述符，如可讀，則必須將該檔案描述符一直讀到空，讓 errno 返回 EAGAIN 為止，否則下次的 epoll_wait 不會返回餘下的資料，會丟掉事件。如果ET模式不是非阻塞的，那這個一直讀或一直寫勢必會在最後一次阻塞。

還有一個特點是，epoll使用“事件”的就緒通知方式，通過epoll_ctl註冊fd，一旦該fd就緒，核心就會採用類似callback的回撥機制來啟用該fd，epoll_wait便可以收到通知。

在這裡插入圖片描述

【epoll為什麼要有EPOLLET觸發模式？】：

如果採用EPOLLLT模式的話，系統中一旦有大量你不需要讀寫的就緒檔案描述符，它們每次呼叫epoll_wait都會返回，這樣會大大降低處理程式檢索自己關心的就緒檔案描述符的效率.。而採用EPOLLET這種邊緣觸發模式的話，當被監控的檔案描述符上有可讀寫事件發生時，epoll_wait()會通知處理程式去讀寫。如果這次沒有把資料全部讀寫完(如讀寫緩衝區太小)，那麼下次呼叫epoll_wait()時，它不會通知你，也就是它只會通知你一次，直到該檔案描述符上出現第二次可讀寫事件才會通知你！！！這種模式比水平觸發效率高，系統不會充斥大量你不關心的就緒檔案描述符。

【總結】：

ET模式（邊緣觸發）只有資料到來才觸發，不管快取區中是否還有資料，緩衝區剩餘未讀盡的資料不會導致epoll_wait返回；
LT 模式（水平觸發，預設）只要有資料都會觸發，緩衝區剩餘未讀盡的資料會導致epoll_wait返回。

三、epoll反應堆模型

【epoll模型原來的流程】：

epoll_create(); // 建立監聽紅黑樹
epoll_ctl(); // 向書上新增監聽fd
epoll_wait(); // 監聽
有監聽fd事件傳送--->返回監聽滿足陣列--->判斷返回陣列元素--->
lfd滿足accept--->返回cfd---->read()讀資料--->write()給客戶端迴應。

【epoll反應堆模型的流程】：

epoll_create(); // 建立監聽紅黑樹
epoll_ctl(); // 向書上新增監聽fd
epoll_wait(); // 監聽
有客戶端連線上來--->lfd呼叫acceptconn()--->將cfd掛載到紅黑樹上監聽其讀事件--->
epoll_wait()返回cfd--->cfd回撥recvdata()--->將cfd摘下來監聽寫事件--->
epoll_wait()返回cfd--->cfd回撥senddata()--->將cfd摘下來監聽讀事件--->...--->

在這裡插入圖片描述

【Demo】：

#include <stdio.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>

#define MAX_EVENTS 1024 /*監聽上限*/
#define BUFLEN  4096    /*快取區大小*/
#define SERV_PORT 6666  /*埠號*/

void recvdata(int fd,int events,void *arg);
void senddata(int fd,int events,void *arg);

/*描述就緒檔案描述符的相關資訊*/
struct myevent_s
{
    int fd;             //要監聽的檔案描述符
    int events;         //對應的監聽事件，EPOLLIN和EPLLOUT
    void *arg;          //指向自己結構體指標
    void (*call_back)(int fd,int events,void *arg); //回撥函式
    int status;         //是否在監聽:1->在紅黑樹上(監聽), 0->不在(不監聽)
    char buf[BUFLEN];   
    int len;
    long last_active;   //記錄每次加入紅黑樹 g_efd 的時間值
};

int g_efd;      //全域性變數，作為紅黑樹根
struct myevent_s g_events[MAX_EVENTS+1];    //自定義結構體型別陣列. +1-->listen fd


/*
 * 封裝一個自定義事件，包括fd，這個fd的回撥函式，還有一個額外的引數項
 * 注意：在封裝這個事件的時候，為這個事件指明瞭回撥函式，一般來說，一個fd只對一個特定的事件
 * 感興趣，當這個事件發生的時候，就呼叫這個回撥函式
 */
void eventset(struct myevent_s *ev, int fd, void (*call_back)(int fd,int events,void *arg), void *arg)
{
    ev->fd = fd;
    ev->call_back = call_back;
    ev->events = 0;
    ev->arg = arg;
    ev->status = 0;
    if(ev->len <= 0)
    {
        memset(ev->buf, 0, sizeof(ev->buf));
        ev->len = 0;
    }
    ev->last_active = time(NULL); //呼叫eventset函式的時間
    return;
}

/* 向 epoll監聽的紅黑樹 新增一個檔案描述符 */
void eventadd(int efd, int events, struct myevent_s *ev)
{
    struct epoll_event epv={0, {0}};
    int op = 0;
    epv.data.ptr = ev; // ptr指向一個結構體（之前的epoll模型紅黑樹上掛載的是檔案描述符cfd和lfd，現在是ptr指標）
    epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT
    if(ev->status == 0)       //status 說明檔案描述符是否在紅黑樹上 0不在，1 在
    {
        op = EPOLL_CTL_ADD; //將其加入紅黑樹 g_efd, 並將status置1
        ev->status = 1;
    }
    if(epoll_ctl(efd, op, ev->fd, &epv) < 0) // 新增一個節點
        printf("event add failed [fd=%d],events[%d]\n", ev->fd, events);
    else
        printf("event add OK [fd=%d],events[%0X]\n", ev->fd, events);
    return;
}

/* 從epoll 監聽的 紅黑樹中刪除一個檔案描述符*/
void eventdel(int efd,struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};
    if(ev->status != 1) //如果fd沒有新增到監聽樹上，就不用刪除，直接返回
        return;
    epv.data.ptr = NULL;
    ev->status = 0;
    epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);
    return;
}

/*  當有檔案描述符就緒, epoll返回, 呼叫該函式與客戶端建立連結 */
void acceptconn(int lfd,int events,void *arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;
    if((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1)
    {
        if(errno != EAGAIN && errno != EINTR)
        {
            sleep(1);
        }
        printf("%s:accept,%s\n",__func__, strerror(errno));
        return;
    }
    do
    {
        for(i = 0; i < MAX_EVENTS; i++) //從全域性陣列g_events中找一個空閒元素，類似於select中找值為-1的元素
        {
            if(g_events[i].status ==0)
                break;
        }
        if(i == MAX_EVENTS) // 超出連線數上限
        {
            printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
            break;
        }
        int flag = 0;
        if((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) //將cfd也設定為非阻塞
        {
            printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
            break;
        }
        eventset(&g_events[i], cfd, recvdata, &g_events[i]); //找到合適的節點之後，將其新增到監聽樹中，並監聽讀事件
        eventadd(g_efd, EPOLLIN, &g_events[i]);
    }while(0);

    printf("new connect[%s:%d],[time:%ld],pos[%d]",inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return;
}

/*讀取客戶端發過來的資料的函式*/
void recvdata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;

    len = recv(fd, ev->buf, sizeof(ev->buf), 0);    //讀取客戶端發過來的資料

    eventdel(g_efd, ev);                            //將該節點從紅黑樹上摘除

    if (len > 0) 
    {
        ev->len = len;
        ev->buf[len] = '\0';                        //手動新增字串結束標記
        printf("C[%d]:%s\n", fd, ev->buf);                  

        eventset(ev, fd, senddata, ev);             //設定該fd對應的回撥函式為senddata    
        eventadd(g_efd, EPOLLOUT, ev);              //將fd加入紅黑樹g_efd中,監聽其寫事件    

    } 
    else if (len == 0) 
    {
        close(ev->fd);
        /* ev-g_events 地址相減得到偏移元素位置 */
        printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events);
    } 
    else 
    {
        close(ev->fd);
        printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
    }   
    return;
}

/*傳送給客戶端資料*/
void senddata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;

    len = send(fd, ev->buf, ev->len, 0);    //直接將資料回射給客戶端

    eventdel(g_efd, ev);                    //從紅黑樹g_efd中移除

    if (len > 0) 
    {
        printf("send[fd=%d], [%d]%s\n", fd, len, ev->buf);
        eventset(ev, fd, recvdata, ev);     //將該fd的回撥函式改為recvdata
        eventadd(g_efd, EPOLLIN, ev);       //重新新增到紅黑樹上，設為監聽讀事件
    }
    else 
    {
        close(ev->fd);                      //關閉連結
        printf("send[fd=%d] error %s\n", fd, strerror(errno));
    }
    return ;
}

/*建立 socket, 初始化lfd */

void initlistensocket(int efd, short port)
{
    struct sockaddr_in sin;

    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    fcntl(lfd, F_SETFL, O_NONBLOCK);                //將socket設為非阻塞

    memset(&sin, 0, sizeof(sin));               //bzero(&sin, sizeof(sin))
    sin.sin_family = AF_INET;
    sin.sin_addr.s_addr = INADDR_ANY;
    sin.sin_port = htons(port);

    bind(lfd, (struct sockaddr *)&sin, sizeof(sin));

    listen(lfd, 20);

    /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg);  */
    eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);    

    /* void eventadd(int efd, int events, struct myevent_s *ev) */
    eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);  //將lfd新增到監聽樹上，監聽讀事件

    return;
}

int main()
{
    int port=SERV_PORT;

    g_efd = epoll_create(MAX_EVENTS + 1); //建立紅黑樹,返回給全域性 g_efd
    if(g_efd <= 0)
            printf("create efd in %s err %s\n", __func__, strerror(errno));
    
    initlistensocket(g_efd, port); //初始化監聽socket
    
    struct epoll_event events[MAX_EVENTS + 1];  //定義這個結構體陣列，用來接收epoll_wait傳出的滿足監聽事件的fd結構體
    printf("server running:port[%d]\n", port);

    int checkpos = 0;
    int i;
    while(1)
    {
    /*    long now = time(NULL);
        for(i=0; i < 100; i++, checkpos++)
        {
            if(checkpos == MAX_EVENTS);
                checkpos = 0;
            if(g_events[checkpos].status != 1)
                continue;
            long duration = now -g_events[checkpos].last_active;
            if(duration >= 60)
            {
                close(g_events[checkpos].fd);
                printf("[fd=%d] timeout\n", g_events[checkpos].fd);
                eventdel(g_efd, &g_events[checkpos]);
            }
        } */
        //呼叫eppoll_wait等待接入的客戶端事件,epoll_wait傳出的是滿足監聽條件的那些fd的struct epoll_event型別
        int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
        if (nfd < 0)
        {
            printf("epoll_wait error, exit\n");
            exit(-1);
        }
        for(i = 0; i < nfd; i++)
        {
		    //evtAdd()函式中，新增到監聽樹中監聽事件的時候將myevents_t結構體型別給了ptr指標
            //這裡epoll_wait返回的時候，同樣會返回對應fd的myevents_t型別的指標
            struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;
            //如果監聽的是讀事件，並返回的是讀事件
            if((events[i].events & EPOLLIN) &&(ev->events & EPOLLIN))
            {
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
            //如果監聽的是寫事件，並返回的是寫事件
            if((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT))
            {
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
        }
    }
    return 0;
}

參考：https://blog.csdn.net/qq_36359022/article/details/81355897
https://blog.csdn.net/weixin_40204595/article/details/83213332
http://www.cnblogs.com/pluser/p/epoll_principles.html
https://www.cnblogs.com/aspirant/p/9166944.html

epoll原理詳解及epoll反應堆模型

epoll原理詳解及epoll反應堆模型

用Burg法估計AR模型的引數原理詳解及matlab實現

短波通道模型--多徑瑞利通道原理詳解及matlab實現

STP原理詳解及SMTP案例分析

RIP概述、原理詳解及實驗驗證

nfs原理詳解及配置

CSRF 漏洞原理詳解及防禦方法

PCA SVD原理詳解及應用

跨站請求偽造（CSRF）漏洞原理詳解及防禦方法

[tensorflow 應用之路]Batch Normalization 原理詳解及應用方法

跨站請求偽造（CSRF 漏洞原理詳解及防禦方法

奇異值分解(SVD)原理詳解及推導

10. LCD驅動程式 ——框架分析第017課 LCD原理詳解及裸機程式分析 15.linux-LCD層次分析(詳解)

Tomcat負載均衡原理詳解及配置

TOMCAT原理詳解及請求過程

AOP之AspectJ 技術原理詳解及實戰總結

【資料結構週週練】034 奇偶排序演算法原理詳解及程式碼分享

奇異值分解(SVD)原理詳解及推導（轉）

【資料結構週週練】029 判斷無向圖是否為一棵樹演算法原理詳解及程式碼分享

結點對最短路徑之Floyd演算法原理詳解及實現

epoll原理詳解及epoll反應堆模型

相關推薦