1. 程式人生 > >EPOLLONESHOT及其引發的EPOLL在ET能被多次觸發嗎?

EPOLLONESHOT及其引發的EPOLL在ET能被多次觸發嗎?

以下是《Linux高效能伺服器程式設計》對EPOLLONESHOT的描述:

對於註冊了EPOLLONESHOT的檔案描述符,作業系統最多觸發其上註冊的一個可讀、可寫或者異常的事件,且只觸發一次,除非我們使用epoll_ctl函式重置該檔案描述符上註冊的EPOLLONESHOT事件。

乍一看會以為EPOLLONESHOT不就是ET模式相對於LT模式的區別,仔細閱讀之後發現原來ET和EPOLLONESHOT是不同的。

區別時:ET是可讀、可寫、異常事件中的每一種只能被觸發一次,就是說這三種不同的事件都是能被觸發的只不過只能一次而已。而EPOLLONESHOT是所有的這些事件總共只能被觸發一次。

再仔細閱讀,發現書上在介紹EPOLLONESHOT時說其是為了應對ET模式下同種事件可能會被觸發多次的情況。這就引發了一個問題。那就是:

ET模式能被同種事件觸發多次嗎?什麼情況才會多次觸發呢? 

思路一:資料之間時間間隔過大?

驗證:傳送大量資料,但是並沒有出現ET模式多次觸發的情況。

思路二:和接受緩衝區有關?預設的接受緩衝區太大使用setsockopt的SO_RCVBUF選項了調小接受緩衝區試試。

驗證:調小緩衝區後果然出現了ET多次觸發得情況。

服務端程式:

 #include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <pthread.h>

#define MAX_EVENT_NUMBER 1024
#define BUFFER_SIZE 2500
//將檔案描述符設定成非阻塞的
int setnonblocking( int fd )
{
    int old_option = fcntl( fd, F_GETFL );
    int new_option = old_option | O_NONBLOCK;
    fcntl( fd, F_SETFL, new_option );
    return old_option;
}
//將檔案描述符的EPOLLIN註冊到epollfd指示的epoll核心事件表中,引數enable_et指定是否對fd啟動ET模式。
void addfd( int epollfd, int fd, bool enable_et )
{
	//event用於描述事件型別(讀入、讀出、是否LET、)。
    epoll_event event;
    event.data.fd = fd;
    event.events = EPOLLIN;
    if( enable_et )
    {
        event.events |= EPOLLET;
    }
    epoll_ctl( epollfd, EPOLL_CTL_ADD, fd, &event );
    setnonblocking( fd );
}


/*就緒事件就存在這個events數組裡面了,number是事件數,遍歷number個事件,確定其型別並處理就好了*/
void et( epoll_event* events, int number, int epollfd, int listenfd )
{
    char buf[ BUFFER_SIZE ];
    for ( int i = 0; i < number; i++ )
    {
        int sockfd = events[i].data.fd;
        if ( sockfd == listenfd )/*有新的連線*/
        {
            struct sockaddr_in client_address;
            socklen_t client_addrlength = sizeof( client_address );
            int connfd = accept( listenfd, ( struct sockaddr* )&client_address, &client_addrlength );
            addfd( epollfd, connfd, true );
        }
        else if ( events[i].events & EPOLLIN )
        {
            printf( "et event trigger once\n" );
            while( 1 )
            {
                memset( buf, '\0', BUFFER_SIZE );
                int ret = recv( sockfd, buf, BUFFER_SIZE-1, 0 );
                if( ret < 0 )
                {
                    if( ( errno == EAGAIN ) || ( errno == EWOULDBLOCK ) )
                    {
                        printf( "read later\n" );
                        break;
                    }
                    close( sockfd );
                    break;
                }
                else if( ret == 0 )
                {
                    close( sockfd );
                }
                else
                {
                    //printf( "get %d bytes of content: %s\n", ret, buf );
					printf("get %d byte data,………………\n",ret);
                }
            }
        }
        else
        {
            printf( "something else happened \n" );
        }
    }
}

int main( int argc, char* argv[] )
{
    if( argc <= 2 )
    {
        printf( "usage: %s ip_address port_number\n", basename( argv[0] ) );
        return 1;
    }
    const char* ip = argv[1];
    int port = atoi( argv[2] );

    int ret = 0;
    struct sockaddr_in address;
    bzero( &address, sizeof( address ) );
    address.sin_family = AF_INET;
    inet_pton( AF_INET, ip, &address.sin_addr );
    address.sin_port = htons( port );

    int listenfd = socket( PF_INET, SOCK_STREAM, 0 );
    assert( listenfd >= 0 );
	/*----------這一段是自己新增的用於修改接受緩衝區的大小----------*/
	/*
	(1)此處我將緩衝區大小設為1250,實際上系統會將其加倍即實際緩衝區大小是2500,
	但是接收資料的時候還是1250位元組,Why?
	(2)緩衝區也不是隨便設的在/proc/sys/net/ipv4/tcp_rmem中有[min default max]的資訊。
	我的環境預設的接受緩衝區大小是87380位元組,實際上最小限制是2304位元組。
	*/
	int recvbuf = 1250;
	int len = sizeof(int);
	setsockopt(listenfd, SOL_SOCKET, SO_RCVBUF, &recvbuf, sizeof(int));
	getsockopt(listenfd, SOL_SOCKET, SO_RCVBUF, &recvbuf, (socklen_t*)&len);
	printf("the receive buffer size after settting is %d\n", recvbuf);

    ret = bind( listenfd, ( struct sockaddr* )&address, sizeof( address ) );
    assert( ret != -1 );
    ret = listen( listenfd, 5 );
    assert( ret != -1 );
    epoll_event events[ MAX_EVENT_NUMBER ];
    int epollfd = epoll_create( 5 );
    assert( epollfd != -1 );
    addfd( epollfd, listenfd, true );

    while( 1 )
    {   
        int ret = epoll_wait( epollfd, events, MAX_EVENT_NUMBER, -1 );
        if ( ret < 0 )
        {
            printf( "epoll failure\n" );
            break;
        }
        et( events, ret, epollfd, listenfd );
    }
    close( listenfd );
    return 0;
}

客戶端程式:

#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <poll.h>
#include <fcntl.h>
#include <iostream>
#include <string>
using namespace std;

int main(int argc, char* argv[])
{
	if (argc <= 2)
	{
		printf("usage: %s ip_address port_number\n", basename(argv[0]));
		return 1;
	}
	const char* ip = argv[1];
	int port = atoi(argv[2]);

	struct sockaddr_in server_address;
	bzero(&server_address, sizeof(server_address));
	server_address.sin_family = AF_INET;
	inet_pton(AF_INET, ip, &server_address.sin_addr);
	server_address.sin_port = htons(port);

	int sockfd = socket(PF_INET, SOCK_STREAM, 0);
	assert(sockfd >= 0);
	if (connect(sockfd, (struct sockaddr*)&server_address, sizeof(server_address)) < 0)
	{
		printf("connection failed\n");
		close(sockfd);
		return 1;
	}
	else {
		/*此處傳送10000位元組的資料*/
		char str[10000];
		memset(str, 'a', 10000);
		send(sockfd, str,strlen(str),0);
	}
	close(sockfd);
	return 0;
}

結果如下:

綜上所述:EPOLL的ET模式即時針對同一種事件也是有可能引起多次觸發的。

對於讀事件系統讀緩衝區溢位時就會引起多次觸發;對於寫事件系統寫緩衝區溢位時同樣會引起多次觸發。

接下來說說這個EPOLLONESHOT:

作用:保證同一時刻一個socket僅被一個執行緒處理。(不同時刻可以有不同執行緒處理)

前面說了eppll 即使使用ET模式,一個socket上的某個事件還是可能被觸發多次。如果採用執行緒池的方式來處理事件,可能一個socket同時被多個執行緒處理。例如:線上程池技術中每次有觸發事件就將其新增到任務佇列中,執行緒池中的執行緒去競爭任務佇列裡面的任務(生產者/消費者模式)。顯然如果某個執行緒在讀取完某個socket上的資料後開始處理這些資料,而在資料的處理過程中該socket上又有新的可讀資料(EPOLLIN再次被觸發),此時另外一個執行緒被喚醒在讀取這些新的資料。於是就出現了兩個執行緒同時操作一個socket的局面。顯然這不是我們所期望的。

EPOLL的EPOLLONESHOT事件,使一個socket連線任何時刻都只被一個執行緒所處理對於註冊了EPOLLONESHOT事件的socket,作業系統最多觸發其上註冊的一個可讀、可寫、或者異常事件,且只觸發一次。這樣,當一個執行緒在處理某個socket時,其他執行緒是不可能有機會操作該socket的,但反過來,註冊了EPOLLONESHOT事件的socket一旦被某個執行緒處理完畢,該執行緒就應該立即重置這個socket上的EPOLLONESHOT事件,以確保這個socket下一次可讀,其EPOLLIN事件能被觸發,其他工作執行緒有機會繼續處理這個socket。由此看來,儘管一個socket在不同時刻可能被不同的執行緒處理,但同一時刻肯定只有一個執行緒再為它服務,這就保證了連線的完整性,從而避免了很多可能的競態條件。

EPOLLONESHOT:只監聽一次事件,當監聽完這次事件之後,如果還需要繼續監聽這個socket的話,需要再次把這個socket加入到EPOLL佇列裡 

例子:

        epoll_event event;

        event..data.fd=fd;

        evnet.events=EPOLLIN | EPOLLT |EPOOLLONESHOT

       epoll_ctl( epollfd,EPOLL_CTL_ADD , fd , &event );// 第一次新增

epoll_wait 返回, 處理fd的讀事件,一直讀一直讀,讀到沒有資料 ( errno==EAGAIN) ,這時才重置fd上的事件 

        epoll_event event;

        event..data.fd=fd;

        evnet.events=EPOLLIN | EPOLLT |EPOOLLONESHOT

       epoll_ctl( epollfd,EPOLL_CTL_MOD , fd , &event );