EPOLLONESHOT及其引發的EPOLL在ET能被多次觸發嗎?
以下是《Linux高效能伺服器程式設計》對EPOLLONESHOT的描述:
對於註冊了EPOLLONESHOT的檔案描述符,作業系統最多觸發其上註冊的一個可讀、可寫或者異常的事件,且只觸發一次,除非我們使用epoll_ctl函式重置該檔案描述符上註冊的EPOLLONESHOT事件。
乍一看會以為EPOLLONESHOT不就是ET模式相對於LT模式的區別,仔細閱讀之後發現原來ET和EPOLLONESHOT是不同的。
區別時:ET是可讀、可寫、異常事件中的每一種只能被觸發一次,就是說這三種不同的事件都是能被觸發的只不過只能一次而已。而EPOLLONESHOT是所有的這些事件總共只能被觸發一次。
再仔細閱讀,發現書上在介紹EPOLLONESHOT時說其是為了應對ET模式下同種事件可能會被觸發多次的情況。這就引發了一個問題。那就是:
ET模式能被同種事件觸發多次嗎?什麼情況才會多次觸發呢?
思路一:資料之間時間間隔過大?
驗證:傳送大量資料,但是並沒有出現ET模式多次觸發的情況。
思路二:和接受緩衝區有關?預設的接受緩衝區太大使用setsockopt的SO_RCVBUF選項了調小接受緩衝區試試。
驗證:調小緩衝區後果然出現了ET多次觸發得情況。
服務端程式:
#include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <assert.h> #include <stdio.h> #include <unistd.h> #include <errno.h> #include <string.h> #include <fcntl.h> #include <stdlib.h> #include <sys/epoll.h> #include <pthread.h> #define MAX_EVENT_NUMBER 1024 #define BUFFER_SIZE 2500 //將檔案描述符設定成非阻塞的 int setnonblocking( int fd ) { int old_option = fcntl( fd, F_GETFL ); int new_option = old_option | O_NONBLOCK; fcntl( fd, F_SETFL, new_option ); return old_option; } //將檔案描述符的EPOLLIN註冊到epollfd指示的epoll核心事件表中,引數enable_et指定是否對fd啟動ET模式。 void addfd( int epollfd, int fd, bool enable_et ) { //event用於描述事件型別(讀入、讀出、是否LET、)。 epoll_event event; event.data.fd = fd; event.events = EPOLLIN; if( enable_et ) { event.events |= EPOLLET; } epoll_ctl( epollfd, EPOLL_CTL_ADD, fd, &event ); setnonblocking( fd ); } /*就緒事件就存在這個events數組裡面了,number是事件數,遍歷number個事件,確定其型別並處理就好了*/ void et( epoll_event* events, int number, int epollfd, int listenfd ) { char buf[ BUFFER_SIZE ]; for ( int i = 0; i < number; i++ ) { int sockfd = events[i].data.fd; if ( sockfd == listenfd )/*有新的連線*/ { struct sockaddr_in client_address; socklen_t client_addrlength = sizeof( client_address ); int connfd = accept( listenfd, ( struct sockaddr* )&client_address, &client_addrlength ); addfd( epollfd, connfd, true ); } else if ( events[i].events & EPOLLIN ) { printf( "et event trigger once\n" ); while( 1 ) { memset( buf, '\0', BUFFER_SIZE ); int ret = recv( sockfd, buf, BUFFER_SIZE-1, 0 ); if( ret < 0 ) { if( ( errno == EAGAIN ) || ( errno == EWOULDBLOCK ) ) { printf( "read later\n" ); break; } close( sockfd ); break; } else if( ret == 0 ) { close( sockfd ); } else { //printf( "get %d bytes of content: %s\n", ret, buf ); printf("get %d byte data,………………\n",ret); } } } else { printf( "something else happened \n" ); } } } int main( int argc, char* argv[] ) { if( argc <= 2 ) { printf( "usage: %s ip_address port_number\n", basename( argv[0] ) ); return 1; } const char* ip = argv[1]; int port = atoi( argv[2] ); int ret = 0; struct sockaddr_in address; bzero( &address, sizeof( address ) ); address.sin_family = AF_INET; inet_pton( AF_INET, ip, &address.sin_addr ); address.sin_port = htons( port ); int listenfd = socket( PF_INET, SOCK_STREAM, 0 ); assert( listenfd >= 0 ); /*----------這一段是自己新增的用於修改接受緩衝區的大小----------*/ /* (1)此處我將緩衝區大小設為1250,實際上系統會將其加倍即實際緩衝區大小是2500, 但是接收資料的時候還是1250位元組,Why? (2)緩衝區也不是隨便設的在/proc/sys/net/ipv4/tcp_rmem中有[min default max]的資訊。 我的環境預設的接受緩衝區大小是87380位元組,實際上最小限制是2304位元組。 */ int recvbuf = 1250; int len = sizeof(int); setsockopt(listenfd, SOL_SOCKET, SO_RCVBUF, &recvbuf, sizeof(int)); getsockopt(listenfd, SOL_SOCKET, SO_RCVBUF, &recvbuf, (socklen_t*)&len); printf("the receive buffer size after settting is %d\n", recvbuf); ret = bind( listenfd, ( struct sockaddr* )&address, sizeof( address ) ); assert( ret != -1 ); ret = listen( listenfd, 5 ); assert( ret != -1 ); epoll_event events[ MAX_EVENT_NUMBER ]; int epollfd = epoll_create( 5 ); assert( epollfd != -1 ); addfd( epollfd, listenfd, true ); while( 1 ) { int ret = epoll_wait( epollfd, events, MAX_EVENT_NUMBER, -1 ); if ( ret < 0 ) { printf( "epoll failure\n" ); break; } et( events, ret, epollfd, listenfd ); } close( listenfd ); return 0; }
客戶端程式:
#include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <assert.h> #include <stdio.h> #include <unistd.h> #include <string.h> #include <stdlib.h> #include <poll.h> #include <fcntl.h> #include <iostream> #include <string> using namespace std; int main(int argc, char* argv[]) { if (argc <= 2) { printf("usage: %s ip_address port_number\n", basename(argv[0])); return 1; } const char* ip = argv[1]; int port = atoi(argv[2]); struct sockaddr_in server_address; bzero(&server_address, sizeof(server_address)); server_address.sin_family = AF_INET; inet_pton(AF_INET, ip, &server_address.sin_addr); server_address.sin_port = htons(port); int sockfd = socket(PF_INET, SOCK_STREAM, 0); assert(sockfd >= 0); if (connect(sockfd, (struct sockaddr*)&server_address, sizeof(server_address)) < 0) { printf("connection failed\n"); close(sockfd); return 1; } else { /*此處傳送10000位元組的資料*/ char str[10000]; memset(str, 'a', 10000); send(sockfd, str,strlen(str),0); } close(sockfd); return 0; }
結果如下:
綜上所述:EPOLL的ET模式即時針對同一種事件也是有可能引起多次觸發的。
對於讀事件系統讀緩衝區溢位時就會引起多次觸發;對於寫事件系統寫緩衝區溢位時同樣會引起多次觸發。
接下來說說這個EPOLLONESHOT:
作用:保證同一時刻一個socket僅被一個執行緒處理。(不同時刻可以有不同執行緒處理)
前面說了eppll 即使使用ET模式,一個socket上的某個事件還是可能被觸發多次。如果採用執行緒池的方式來處理事件,可能一個socket同時被多個執行緒處理。例如:線上程池技術中每次有觸發事件就將其新增到任務佇列中,執行緒池中的執行緒去競爭任務佇列裡面的任務(生產者/消費者模式)。顯然如果某個執行緒在讀取完某個socket上的資料後開始處理這些資料,而在資料的處理過程中該socket上又有新的可讀資料(EPOLLIN再次被觸發),此時另外一個執行緒被喚醒在讀取這些新的資料。於是就出現了兩個執行緒同時操作一個socket的局面。顯然這不是我們所期望的。
EPOLL的EPOLLONESHOT事件,使一個socket連線任何時刻都只被一個執行緒所處理對於註冊了EPOLLONESHOT事件的socket,作業系統最多觸發其上註冊的一個可讀、可寫、或者異常事件,且只觸發一次。這樣,當一個執行緒在處理某個socket時,其他執行緒是不可能有機會操作該socket的,但反過來,註冊了EPOLLONESHOT事件的socket一旦被某個執行緒處理完畢,該執行緒就應該立即重置這個socket上的EPOLLONESHOT事件,以確保這個socket下一次可讀,其EPOLLIN事件能被觸發,其他工作執行緒有機會繼續處理這個socket。由此看來,儘管一個socket在不同時刻可能被不同的執行緒處理,但同一時刻肯定只有一個執行緒再為它服務,這就保證了連線的完整性,從而避免了很多可能的競態條件。
EPOLLONESHOT:只監聽一次事件,當監聽完這次事件之後,如果還需要繼續監聽這個socket的話,需要再次把這個socket加入到EPOLL佇列裡
例子:
epoll_event event;
event..data.fd=fd;
evnet.events=EPOLLIN | EPOLLT |EPOOLLONESHOT
epoll_ctl( epollfd,EPOLL_CTL_ADD , fd , &event );// 第一次新增
epoll_wait 返回, 處理fd的讀事件,一直讀一直讀,讀到沒有資料 ( errno==EAGAIN) ,這時才重置fd上的事件
epoll_event event;
event..data.fd=fd;
evnet.events=EPOLLIN | EPOLLT |EPOOLLONESHOT
epoll_ctl( epollfd,EPOLL_CTL_MOD , fd , &event );