什么网站可以直接做word,在柬埔寨做网站彩票推广,狠抓措施落实,龙岩网红桥http://www.cnblogs.com/lojunren/p/3856290.html 前言 I/O多路复用有很多种实现。在linux上#xff0c;2.4内核前主要是select和poll#xff0c;自Linux 2.6内核正式引入epoll以来#xff0c;epoll已经成为了目前实现高性能网络服务器的必备技术。尽管他们的使用方法不尽相…http://www.cnblogs.com/lojunren/p/3856290.html 前言 I/O多路复用有很多种实现。在linux上2.4内核前主要是select和poll自Linux 2.6内核正式引入epoll以来epoll已经成为了目前实现高性能网络服务器的必备技术。尽管他们的使用方法不尽相同但是本质上却没有什么区别。本文将重点探讨将放在EPOLL的实现与使用详解。 为什么会是EPOLL select的缺陷 高并发的核心解决方案是1个线程处理所有连接的“等待消息准备好”这一点上epoll和select是无争议的。但select预估错误了一件事当数十万并发连接存在时可能每一毫秒只有数百个活跃的连接同时其余数十万连接在这一毫秒是非活跃的。select的使用方法是这样的 返回的活跃连接 select全部待监控的连接。 什么时候会调用select方法呢在你认为需要找出有报文到达的活跃连接时就应该调用。所以调用select在高并发时是会被频繁调用的。这样这个频繁调用的方法就很有必要看看它是否有效率因为它的轻微效率损失都会被“频繁”二字所放大。它有效率损失吗显而易见全部待监控连接是数以十万计的返回的只是数百个活跃连接这本身就是无效率的表现。被放大后就会发现处理并发上万个连接时select就完全力不从心了。 此外在Linux内核中select所用到的FD_SET是有限的即内核中有个参数__FD_SETSIZE定义了每个FD_SET的句柄个数。 1 /linux/posix_types.h:
2
3 #define __FD_SETSIZE 1024 其次内核中实现 select是用轮询方法即每次检测都会遍历所有FD_SET中的句柄显然select函数执行时间与FD_SET中的句柄个数有一个比例关系即 select要检测的句柄数越多就会越费时。看到这里您可能要要问了你为什么不提poll笔者认为select与poll在内部机制方面并没有太大的差异。相比于select机制poll只是取消了最大监控文件描述符数限制并没有从根本上解决select存在的问题。 接下来我们看张图当并发连接为较小时select与epoll似乎并无多少差距。可是当并发连接上来以后select就显得力不从心了。 图 1.主流I/O复用机制的benchmark epoll高效的奥秘 epoll精巧的使用了3个方法来实现select方法要做的事 新建epoll描述符epoll_create()epoll_ctrl(epoll描述符添加或者删除所有待监控的连接)返回的活跃连接 epoll_wait epoll描述符 与select相比epoll分清了频繁调用和不频繁调用的操作。例如epoll_ctrl是不太频繁调用的而epoll_wait是非常频繁调用的。这时epoll_wait却几乎没有入参这比select的效率高出一大截而且它也不会随着并发连接的增加使得入参越发多起来导致内核执行效率下降。 笔者在这里不想过多贴出epoll的代码片段。如果大家有兴趣可以参考文末贴出的博文链接和Linux相关源码。 要深刻理解epoll首先得了解epoll的三大关键要素mmap、红黑树、链表。 epoll是通过内核与用户空间mmap同一块内存实现的。mmap将用户空间的一块地址和内核空间的一块地址同时映射到相同的一块物理内存地址不管是用户空间还是内核空间都是虚拟地址最终要通过地址映射映射到物理地址使得这块物理内存对内核和对用户均可见减少用户态和内核态之间的数据交换。内核可以直接看到epoll监听的句柄效率高。 红黑树将存储epoll所监听的套接字。上面mmap出来的内存如何保存epoll所监听的套接字必然也得有一套数据结构epoll在实现上采用红黑树去存储所有套接字当添加或者删除一个套接字时epoll_ctl都在红黑树上去处理红黑树本身插入和删除性能比较好时间复杂度O(logN)。 下面几个关键数据结构的定义 View CodeView Code添加以及返回事件 通过epoll_ctl函数添加进来的事件都会被放在红黑树的某个节点内所以重复添加是没有用的。当把事件添加进来的时候时候会完成关键的一步那就是该事件都会与相应的设备网卡驱动程序建立回调关系当相应的事件发生后就会调用这个回调函数该回调函数在内核中被称为ep_poll_callback,这个回调函数其实就所把这个事件添加到rdllist这个双向链表中。一旦有事件发生epoll就会将该事件添加到双向链表中。那么当我们调用epoll_wait时epoll_wait只需要检查rdlist双向链表中是否有存在注册的事件效率非常可观。这里也需要将发生了的事件复制到用户态内存中即可。 epoll_wait的工作流程
epoll_wait调用ep_poll当rdlist为空无就绪fd时挂起当前进程直到rdlist不空时进程才被唤醒。文件fd状态改变buffer由不可读变为可读或由不可写变为可写导致相应fd上的回调函数ep_poll_callback()被调用。ep_poll_callback将相应fd对应epitem加入rdlist导致rdlist不空进程被唤醒epoll_wait得以继续执行。ep_events_transfer函数将rdlist中的epitem拷贝到txlist中并将rdlist清空。ep_send_events函数很关键它扫描txlist中的每个epitem调用其关联fd对用的poll方法。此时对poll的调用仅仅是取得fd上较新的events防止之前events被更新之后将取得的events和相应的fd发送到用户空间封装在struct epoll_event从epoll_wait返回。 小结 表 1. select、poll和epoll三种I/O复用模式的比较 摘录自《linux高性能服务器编程》 系统调用 select poll epoll 事件集合 用哦过户通过3个参数分别传入感兴趣的可读可写及异常等事件 内核通过对这些参数的在线修改来反馈其中的就绪事件 这使得用户每次调用select都要重置这3个参数 统一处理所有事件类型因此只需要一个事件集参数。 用户通过pollfd.events传入感兴趣的事件内核通过 修改pollfd.revents反馈其中就绪的事件 内核通过一个事件表直接管理用户感兴趣的所有事件。 因此每次调用epoll_wait时无需反复传入用户感兴趣 的事件。epoll_wait系统调用的参数events仅用来反馈就绪的事件 应用程序索引就绪文件 描述符的时间复杂度 O(n) O(n) O(1) 最大支持文件描述符数 一般有最大值限制 65535 65535 工作模式 LT LT 支持ET高效模式 内核实现和工作效率 采用轮询方式检测就绪事件时间复杂度O(n) 采用轮询方式检测就绪事件时间复杂度O(n) 采用回调方式检测就绪事件时间复杂度O(1) 行文至此想必各位都应该已经明了为什么epoll会成为Linux平台下实现高性能网络服务器的首选I/O复用调用。 需要注意的是epoll并不是在所有的应用场景都会比select和poll高很多。尤其是当活动连接比较多的时候回调函数被触发得过于频繁的时候epoll的效率也会受到显著影响所以epoll特别适用于连接数量多但活动连接较少的情况。 接下来笔者将介绍一下epoll使用方式的注意点。 EPOLL的使用 文件描述符的创建 View Code在epoll早期的实现中对于监控文件描述符的组织并不是使用红黑树而是hash表。这里的size实际上已经没有意义。 注册监控事件 View Code函数说明fd要操作的文件描述符op指定操作类型操作类型EPOLL_CTL_ADD往事件表中注册fd上的事件EPOLL_CTL_MOD修改fd上的注册事件EPOLL_CTL_DEL删除fd上的注册事件event指定事件它是epoll_event结构指针类型epoll_event定义View Code 结构体说明 events描述事件类型和poll支持的事件类型基本相同两个额外的事件EPOLLET和EPOLLONESHOT高效运作的关键 data成员存储用户数据 View Code epoll_wait函数 View Code 函数说明 返回成功时返回就绪的文件描述符的个数失败时返回-1并设置errno timeout指定epoll的超时时间单位是毫秒。当timeout为-1是epoll_wait调用将永远阻塞直到某个时间发生。当timeout为0时epoll_wait调用将立即返回。 maxevents指定最多监听多少个事件 events检测到事件将所有就绪的事件从内核事件表中复制到它的第二个参数events指向的数组中。 EPOLLONESHOT事件 使用场合 一个线程在读取完某个socket上的数据后开始处理这些数据而数据的处理过程中该socket又有新数据可读此时另外一个线程被唤醒来读取这些新的数据。 于是就出现了两个线程同时操作一个socket的局面。可以使用epoll的EPOLLONESHOT事件实现一个socket连接在任一时刻都被一个线程处理。 作用 对于注册了EPOLLONESHOT事件的文件描述符操作系统最多出发其上注册的一个可读可写或异常事件且只能触发一次。 使用 注册了EPOLLONESHOT事件的socket一旦被某个线程处理完毕该线程就应该立即重置这个socket上的EPOLLONESHOT事件以确保这个socket下一次可读时其EPOLLIN事件能被触发进而让其他工作线程有机会继续处理这个sockt。 效果 尽管一个socket在不同事件可能被不同的线程处理但同一时刻肯定只有一个线程在为它服务这就保证了连接的完整性从而避免了很多可能的竞态条件。 LT与ET模式 在这里笔者强烈推荐《彻底学会使用epoll》系列博文这是笔者看过的对epoll的ET和LT模式讲解最为详尽和易懂的博文。下面的实例均来自该系列博文。限于篇幅原因很多关键的细节不能完全摘录。 话不多说直接上代码。 程序一 View Code编译并运行结果如下 当用户输入一组字符这组字符被送入buffer字符停留在buffer中又因为buffer由空变为不空所以ET返回读就绪输出”welcome to epolls world”。之后程序再次执行epoll_wait此时虽然buffer中有内容可读但是根据我们上节的分析ET并不返回就绪导致epoll_wait阻塞。底层原因是ET下就绪fd的epitem只被放入rdlist一次。用户再次输入一组字符导致buffer中的内容增多根据我们上节的分析这将导致fd状态的改变是对应的epitem再次加入rdlist从而使epoll_wait返回读就绪再次输出“Welcome to epolls world”。 接下来我们将上面程序的第11行做如下修改 View Code编译并运行结果如下 程序陷入死循环因为用户输入任意数据后数据被送入buffer且没有被读出所以LT模式下每次epoll_wait都认为buffer可读返回读就绪。导致每次都会输出”welcome to epolls world”。 程序二 1 #include stdio.h2 #include unistd.h3 #include sys/epoll.h4 5 int main(void)6 {7 int epfd,nfds;8 struct epoll_event ev,events[5]; //ev用于注册事件数组用于返回要处理的事件9 epfd epoll_create(1); //只需要监听一个描述符——标准输入
10 ev.data.fd STDIN_FILENO;
11 ev.events EPOLLIN; //监听读状态同时设置LT模式
12 epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, ev); //注册epoll事件
13 for(;;)
14 {
15 nfds epoll_wait(epfd, events, 5, -1);
16 for(int i 0; i nfds; i)
17 {
18 if(events[i].data.fdSTDIN_FILENO)
19 {
20 char buf[1024] {0};
21 read(STDIN_FILENO, buf, sizeof(buf));
22 printf(welcome to epolls word!\n);
23 }
24 }
25 }
26 } 编译并运行结果如下 本程序依然使用LT模式但是每次epoll_wait返回读就绪的时候我们都将buffer缓冲中的内容read出来所以导致buffer再次清空下次调用epoll_wait就会阻塞。所以能够实现我们所想要的功能——当用户从控制台有任何输入操作时输出”welcome to epolls world” 程序三 1 #include stdio.h2 #include unistd.h3 #include sys/epoll.h4 5 int main(void)6 {7 int epfd,nfds;8 struct epoll_event ev,events[5]; //ev用于注册事件数组用于返回要处理的事件9 epfd epoll_create(1); //只需要监听一个描述符——标准输入
10 ev.data.fd STDIN_FILENO;
11 ev.events EPOLLIN|EPOLLET; //监听读状态同时设置ET模式
12 epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, ev); //注册epoll事件
13 for(;;)
14 {
15 nfds epoll_wait(epfd, events, 5, -1);
16 for(int i 0; i nfds; i)
17 {
18 if(events[i].data.fdSTDIN_FILENO)
19 {
20 printf(welcome to epolls word!\n);
21 ev.data.fd STDIN_FILENO;
22 ev.events EPOLLIN|EPOLLET; //设置ET模式
23 epoll_ctl(epfd, EPOLL_CTL_MOD, STDIN_FILENO, ev); //重置epoll事件ADD无效
24 }
25 }
26 }
27 } 编译并运行结果如下 程序依然使用ET但是每次读就绪后都主动的再次MOD IN事件我们发现程序再次出现死循环也就是每次返回读就绪。但是注意如果我们将MOD改为ADD将不会产生任何影响。别忘了每次ADD一个描述符都会在epitem组成的红黑树中添加一个项我们之前已经ADD过一次再次ADD将阻止添加所以在次调用ADD IN事件不会有任何影响。 程序四 1 #include stdio.h2 #include unistd.h3 #include sys/epoll.h4 5 int main(void)6 {7 int epfd,nfds;8 struct epoll_event ev,events[5]; //ev用于注册事件数组用于返回要处理的事件9 epfd epoll_create(1); //只需要监听一个描述符——标准输入
10 ev.data.fd STDOUT_FILENO;
11 ev.events EPOLLOUT|EPOLLET; //监听读状态同时设置ET模式
12 epoll_ctl(epfd, EPOLL_CTL_ADD, STDOUT_FILENO, ev); //注册epoll事件
13 for(;;)
14 {
15 nfds epoll_wait(epfd, events, 5, -1);
16 for(int i 0; i nfds; i)
17 {
18 if(events[i].data.fdSTDOUT_FILENO)
19 {
20 printf(welcome to epolls word!\n);
21 }
22 }
23 }
24 } 编译并运行结果如下 这个程序的功能是只要标准输出写就绪就输出“welcome to epolls world”。我们发现这将是一个死循环。下面具体分析一下这个程序的执行过程
首先初始buffer为空buffer中有空间可写这时无论是ET还是LT都会将对应的epitem加入rdlist导致epoll_wait就返回写就绪。程序想标准输出输出”welcome to epolls world”和换行符因为标准输出为控制台的时候缓冲是“行缓冲”,所以换行符导致buffer中的内容清空这就对应第二节中ET模式下写就绪的第二种情况——当有旧数据被发送走时即buffer中待写的内容变少得时候会触发fd状态的改变。所以下次epoll_wait会返回写就绪。如此循环往复。 程序五 1 #include stdio.h2 #include unistd.h3 #include sys/epoll.h4 5 int main(void)6 {7 int epfd,nfds;8 struct epoll_event ev,events[5]; //ev用于注册事件数组用于返回要处理的事件9 epfd epoll_create(1); //只需要监听一个描述符——标准输入
10 ev.data.fd STDOUT_FILENO;
11 ev.events EPOLLOUT|EPOLLET; //监听读状态同时设置ET模式
12 epoll_ctl(epfd, EPOLL_CTL_ADD, STDOUT_FILENO, ev); //注册epoll事件
13 for(;;)
14 {
15 nfds epoll_wait(epfd, events, 5, -1);
16 for(int i 0; i nfds; i)
17 {
18 if(events[i].data.fdSTDOUT_FILENO)
19 {
20 printf(welcome to epolls word!);
21 }
22 }
23 }
24 } 编译并运行结果如下 与程序四相比程序五只是将输出语句的printf的换行符移除。我们看到程序成挂起状态。因为第一次epoll_wait返回写就绪后程序向标准输出的buffer中写入“welcome to epolls world”但是因为没有输出换行所以buffer中的内容一直存在下次epoll_wait的时候虽然有写空间但是ET模式下不再返回写就绪。回忆第一节关于ET的实现这种情况原因就是第一次buffer为空导致epitem加入rdlist返回一次就绪后移除此epitem之后虽然buffer仍然可写但是由于对应epitem已经不再rdlist中就不会对其就绪fd的events的在检测了。 程序六 1 #include stdio.h2 #include unistd.h3 #include sys/epoll.h4 5 int main(void)6 {7 int epfd,nfds;8 struct epoll_event ev,events[5]; //ev用于注册事件数组用于返回要处理的事件9 epfd epoll_create(1); //只需要监听一个描述符——标准输入
10 ev.data.fd STDOUT_FILENO;
11 ev.events EPOLLOUT; //监听读状态同时设置LT模式
12 epoll_ctl(epfd, EPOLL_CTL_ADD, STDOUT_FILENO, ev); //注册epoll事件
13 for(;;)
14 {
15 nfds epoll_wait(epfd, events, 5, -1);
16 for(int i 0; i nfds; i)
17 {
18 if(events[i].data.fdSTDOUT_FILENO)
19 {
20 printf(welcome to epolls word!);
21 }
22 }
23 }
24 } 编译并运行结果如下 程序六相对程序五仅仅是修改ET模式为默认的LT模式我们发现程序再次死循环。这时候原因已经很清楚了因为当向buffer写入”welcome to epolls world”后虽然buffer没有输出清空但是LT模式下只有buffer有写空间就返回写就绪所以会一直输出”welcome to epolls world”,当buffer满的时候buffer会自动刷清输出同样会造成epoll_wait返回写就绪。 程序七 1 #include stdio.h2 #include unistd.h3 #include sys/epoll.h4 5 int main(void)6 {7 int epfd,nfds;8 struct epoll_event ev,events[5]; //ev用于注册事件数组用于返回要处理的事件9 epfd epoll_create(1); //只需要监听一个描述符——标准输入
10 ev.data.fd STDOUT_FILENO;
11 ev.events EPOLLOUT|EPOLLET; //监听读状态同时设置LT模式
12 epoll_ctl(epfd, EPOLL_CTL_ADD, STDOUT_FILENO, ev); //注册epoll事件
13 for(;;)
14 {
15 nfds epoll_wait(epfd, events, 5, -1);
16 for(int i 0; i nfds; i)
17 {
18 if(events[i].data.fdSTDOUT_FILENO)
19 {
20 printf(welcome to epolls word!);
21 ev.data.fd STDOUT_FILENO;
22 ev.events EPOLLOUT|EPOLLET; //设置ET模式
23 epoll_ctl(epfd, EPOLL_CTL_MOD, STDOUT_FILENO, ev); //重置epoll事件ADD无效
24 }
25 }
26 }
27 } 编译并运行结果如下 程序七相对于程序五在每次向标准输出的buffer输出”welcome to epolls world”后重新MOD OUT事件。所以相当于每次都会返回就绪导致程序循环输出。 经过前面的案例分析我们已经了解到当epoll工作在ET模式下时对于读操作如果read一次没有读尽buffer中的数据那么下次将得不到读就绪的通知造成buffer中已有的数据无机会读出除非有新的数据再次到达。对于写操作主要是因为ET模式下fd通常为非阻塞造成的一个问题——如何保证将用户要求写的数据写完。 要解决上述两个ET模式下的读写问题我们必须实现
对于读只要buffer中还有数据就一直读对于写只要buffer还有空间且用户请求写的数据还未写完就一直写。 ET模式下的accept问题 请思考以下一种场景在某一时刻有多个连接同时到达服务器的 TCP 就绪队列瞬间积累多个就绪连接由于是边缘触发模式epoll 只会通知一次accept 只处理一个连接导致 TCP 就绪队列中剩下的连接都得不到处理。在这种情形下我们应该如何有效的处理呢 解决的方法是解决办法是用 while 循环抱住 accept 调用处理完 TCP 就绪队列中的所有连接后再退出循环。如何知道是否处理完就绪队列中的所有连接呢 accept 返回 -1 并且 errno 设置为 EAGAIN 就表示所有连接都处理完。 关于ET的accept问题这篇博文的参考价值很高如果有兴趣可以链接过去围观一下。 ET模式为什么要设置在非阻塞模式下工作 因为ET模式下的读写需要一直读或写直到出错对于读当读到的实际字节数小于请求字节数时就可以停止而如果你的文件描述符如果不是非阻塞的那这个一直读或一直写势必会在最后一次阻塞。这样就不能在阻塞在epoll_wait上了造成其他文件描述符的任务饥饿。 epoll的使用实例 这样的实例网上已经有很多了包括参考链接笔者这里就略过了。 小结 LT水平触发效率会低于ET触发尤其在大并发大流量的情况下。但是LT对代码编写要求比较低不容易出现问题。LT模式服务编写上的表现是只要有数据没有被获取内核就不断通知你因此不用担心事件丢失的情况。 ET边缘触发效率非常高在并发大流量的情况下会比LT少很多epoll的系统调用因此效率高。但是对编程要求高需要细致的处理每个请求否则容易发生丢失事件的情况。 从本质上讲与LT相比ET模型是通过减少系统调用来达到提高并行效率的。 总结 epoll使用的梳理与总结到这里就告一段落了。限于篇幅原因很多细节都被略过了。后面参考给出的链接强烈推荐阅读。疏谬之处万望斧正 备注 本文有相当份量的内容参考借鉴了网络上各位网友的热心分享特别是一些带有完全参考的文章其后附带的链接内容更直接、更丰富笔者只是做了一下归纳转述在此一并表示感谢。 参考 《Linux高性能服务器编程》 《彻底学会使用epoll》系列博文 《epoll源码分析(全) 》 《linux kernel中epoll的设计和实现》 《pollepoll实现分析二——epoll实现》
