深圳 德 网站建设,做出口网站,动画专业最好的大学,如何用模板建网站什么是零拷贝
磁盘是计算机系统最慢的的硬件之一#xff0c;所以有不少优化磁盘的方法#xff0c;比如零拷贝、直接IO、异步IO等等#xff0c;这些优化的目的是为了提高系统的吞吐量#xff0c;另外操作系统内核中的磁盘高度缓存区#xff0c;可以有效的减少磁盘的访问次…什么是零拷贝
磁盘是计算机系统最慢的的硬件之一所以有不少优化磁盘的方法比如零拷贝、直接IO、异步IO等等这些优化的目的是为了提高系统的吞吐量另外操作系统内核中的磁盘高度缓存区可以有效的减少磁盘的访问次数。
为什么要有DMA技术
没有DMA技术之前IO过程是这样的
CPU 发出对应的指令给磁盘控制器然后返回磁盘控制器收到指令后于是就开始准备数据会把数据放入到磁盘控制器的内部缓冲区中然后产生一个中断CPU 收到中断信号后停下手头的工作接着把磁盘控制器的缓冲区的数据一次一个字节地读进自己的寄存器然后再把寄存器里的数据写入到内存而在数据传输的期间 CPU 是无法执行其他任务的。
在整个数据传输过程中都需要CPU亲自参与搬运数据的过程期间CPU不能做其他事情简单搬运几个字符串数据没问题如果用千兆网卡或者硬盘传输大量数据的时候都用CPU来搬运的话肯定忙不过来。与就方明了DMA技术直接内存访问Direct Memory Access技术。
什么是 DMA 技术简单理解就是在进行 I/O 设备和内存的数据传输的时候数据搬运的工作全部交给 DMA 控制器而 CPU 不再参与任何与数据搬运相关的事情这样 CPU 就可以去处理别的事务。 具体过程
用户进程调用 read 方法向操作系统发出 I/O 请求请求读取数据到自己的内存缓冲区中进程进入阻塞状态操作系统收到请求后进一步将 I/O 请求发送 DMA然后让 CPU 执行其他任务DMA 进一步将 I/O 请求发送给磁盘磁盘收到 DMA 的 I/O 请求把数据从磁盘读取到磁盘控制器的缓冲区中当磁盘控制器的缓冲区被读满后向 DMA 发起中断信号告知自己缓冲区已满DMA 收到磁盘的信号将磁盘控制器缓冲区中的数据拷贝到内核缓冲区中此时不占用 CPUCPU 可以执行其他任务当 DMA 读取了足够多的数据就会发送中断信号给 CPUCPU 收到 DMA 的信号知道数据已经准备好于是将数据从内核拷贝到用户空间系统调用返回
可以看到 CPU 不再参与「将数据从磁盘控制器缓冲区搬运到内核空间」的工作这部分工作全程由 DMA 完成。但是 CPU 在这个过程中也是必不可少的因为传输什么数据从哪里传输到哪里都需要 CPU 来告诉 DMA 控制器。
传统的文件传输方式
传统 I/O 的工作方式是数据读取和写入是从用户空间到内核空间来回复制而内核空间的数据是通过操作系统层面的 I/O 接口从磁盘读取或写入。代码通常如下一般会需要两个系统调用
read(file, tmp_buf, len);
write(socket, tmp_buf, len);代码很简单虽然就两行代码但是这里面发生了不少的事情。 首先期间共发生了 4 次用户态与内核态的上下文切换因为发生了两次系统调用一次是 read() 一次是 write()每次系统调用都得先从用户态切换到内核态等内核完成任务后再从内核态切换回用户态。其次还发生了 4 次数据拷贝其中两次是 DMA 的拷贝另外两次则是通过 CPU 拷贝的下面说一下这个过程
第一次拷贝把磁盘上的数据拷贝到操作系统内核的缓冲区里这个拷贝的过程是通过 DMA 搬运的。第二次拷贝把内核缓冲区的数据拷贝到用户的缓冲区里于是我们应用程序就可以使用这部分数据了这个拷贝到过程是由 CPU 完成的。第三次拷贝把刚才拷贝到用户的缓冲区里的数据再拷贝到内核的 socket 的缓冲区里这个过程依然还是由 CPU 搬运的。第四次拷贝把内核的 socket 缓冲区里的数据拷贝到网卡的缓冲区里这个过程又是由 DMA 搬运的。
所以要想提高文件传输的性能就需要减少「用户态与内核态的上下文切换」和「内存拷贝」的次数。
优化文件传输的性能
要想减少上下文切换到次数就要减少系统调用的次数。传统的文件传输方式会历经 4 次数据拷贝而且这里面「从内核的读缓冲区拷贝到用户的缓冲区里再从用户的缓冲区里拷贝到 socket 的缓冲区里」这个过程是没有必要的。因为文件传输的应用场景中在用户空间我们并不会对数据「再加工」所以数据实际上可以不用搬运到用户空间因此用户的缓冲区是没有必要存在的。
如何实现零拷贝技术
零拷贝技术实现的方式通常有 2 种
mmap writesendfile
mmapwrite
read() 系统调用的过程中会把内核缓冲区的数据拷贝到用户的缓冲区里于是为了减少这一步开销我们可以用 mmap() 替换 read() 系统调用函数。
buf mmap(file, len);
write(sockfd, buf, len);mmap() 系统调用函数会直接把内核缓冲区里的数据「映射」到用户空间这样操作系统内核与用户空间就不需要再进行任何的数据拷贝操作。 具体过程如下
应用进程调用了 mmap() 后DMA 会把磁盘的数据拷贝到内核的缓冲区里。接着应用进程跟操作系统内核「共享」这个缓冲区应用进程再调用 write()操作系统直接将内核缓冲区的数据拷贝到 socket 缓冲区中这一切都发生在内核态由 CPU 来搬运数据最后把内核的 socket 缓冲区里的数据拷贝到网卡的缓冲区里这个过程是由 DMA 搬运的。
我们可以得知通过使用 mmap() 来代替 read() 可以减少一次数据拷贝的过程。但这还不是最理想的零拷贝因为仍然需要通过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区里而且仍然需要 4 次上下文切换因为系统调用还是 2 次。
sendfile
在 Linux 内核版本 2.1 中提供了一个专门发送文件的系统调用函数 sendfile()函数形式如下
#include sys/socket.h
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);它的前两个参数分别是目的端和源端的文件描述符后面两个参数是源端的偏移量和复制数据的长度返回值是实际复制数据的长度。首先它可以替代前面的 read() 和 write() 这两个系统调用这样就可以减少一次系统调用也就减少了 2 次上下文切换的开销。其次该系统调用可以直接把内核缓冲区里的数据拷贝到 socket 缓冲区里不再拷贝到用户态这样就只有 2 次上下文切换和 3 次数据拷贝。如下图 但是这还不是真正的零拷贝技术如果网卡支持 SG-DMAThe Scatter-Gather Direct Memory Access技术和普通的 DMA 有所不同我们可以进一步减少通过 CPU 把内核缓冲区里的数据拷贝到 socket 缓冲区的过程。
你可以在你的 Linux 系统通过下面这个命令查看网卡是否支持 scatter-gather 特性
$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on于是从 Linux 内核 2.4 版本开始起对于支持网卡支持 SG-DMA 技术的情况下 sendfile() 系统调用的过程发生了点变化具体过程如下
第一步通过 DMA 将磁盘上的数据拷贝到内核缓冲区里第二步缓冲区描述符和数据长度传到 socket 缓冲区这样网卡的 SG-DMA 控制器就可以直接将内核缓存中的数据拷贝到网卡的缓冲区里此过程不需要将数据从操作系统内核缓冲区拷贝到 socket 缓冲区中这样就减少了一次数据拷贝
所以这个过程之中只进行了 2 次数据拷贝如下图 这就是所谓的零拷贝*Zero-copy*技术因为我们没有在内存层面去拷贝数据也就是说全程没有通过 CPU 来搬运数据所有的数据都是通过 DMA 来进行传输的。。
零拷贝技术的文件传输方式相比传统文件传输的方式减少了 2 次上下文切换和数据拷贝次数**只需要 2 次上下文切换和数据拷贝次数就可以完成文件的传输而且 2 次的数据拷贝过程都不需要通过 CPU2 次都是由 DMA 来搬运。**所以总体来看零拷贝技术可以把文件传输的性能提高至少一倍以上
使用零拷贝技术的项目
kafka
Kafka 这个开源项目就利用了「零拷贝」技术从而大幅提升了 I/O 的吞吐率这也是 Kafka 在处理海量数据为什么这么快的原因之一。如果你追溯 Kafka 文件传输的代码你会发现最终它调用了 Java NIO 库里的 transferTo 方法
Overridepublic
long transferFrom(FileChannel fileChannel, long position, long count) throws IOException { return fileChannel.transferTo(position, count, socketChannel);
}如果 Linux 系统支持 sendfile() 系统调用那么 transferTo() 实际上最后就会使用到 sendfile() 系统调用函数。
Nginx
另外Nginx 也支持零拷贝技术一般默认是开启零拷贝技术这样有利于提高文件传输的效率是否开启零拷贝技术的配置如下
http {
...sendfile on
...
}sendfile 配置的具体意思:
设置为 on 表示使用零拷贝技术来传输文件sendfile 这样只需要 2 次上下文切换和 2 次数据拷贝。设置为 off 表示使用传统的文件传输技术read write这时就需要 4 次上下文切换和 4 次数据拷贝。
当然要使用 sendfileLinux 内核版本必须要 2.1 以上的版本。
磁盘高速缓存(PageCache)
文件传输过程其中第一步都是先需要先把磁盘文件数据拷贝「内核缓冲区」里这个「内核缓冲区」实际上是磁盘高速缓存*PageCache*。
读写磁盘相比读写内存的速度慢太多了所以我们应该想办法把「读写磁盘」替换成「读写内存」。于是我们会通过 DMA 把磁盘里的数据搬运到内存里这样就可以用读内存替换读磁盘。但是内存空间远比磁盘要小内存注定只能拷贝磁盘里的一小部分数据。
那问题来了选择哪些磁盘数据拷贝到内存呢
我们都知道程序运行的时候具有「局部性」所以通常刚被访问的数据在短时间内再次被访问的概率很高于是我们可以用 PageCache 来缓存最近被访问的数据当空间不足时淘汰最久未被访问的缓存。
所以读磁盘数据的时候优先在 PageCache 找如果数据存在则可以直接返回如果没有则从磁盘中读取然后缓存 PageCache 中。还有一点读取磁盘数据的时候需要找到数据所在的位置但是对于机械磁盘来说就是通过磁头旋转到数据所在的扇区再开始「顺序」读取数据但是旋转磁头这个物理动作是非常耗时的为了降低它的影响PageCache 使用了「预读功能」。
PageCache的优点
缓存最近被访问的数据预读功能
这两个做法将大大提高读写磁盘的性能。但是在传输大文件GB 级别的文件的时候PageCache 会不起作用那就白白浪费 DMA 多做的一次数据拷贝造成性能的降低即使使用了 PageCache 的零拷贝也会损失性能另外由于文件太大可能某些部分的文件数据被再次访问的概率比较低这样就会带来 2 个问题
PageCache 由于长时间被大文件占据其他「热点」的小文件可能就无法充分使用到 PageCache于是这样磁盘读写的性能就会下降了PageCache 中的大文件数据由于没有享受到缓存带来的好处但却耗费 DMA 多拷贝到 PageCache 一次
所以针对大文件的传输不应该使用 PageCache也就是说不应该使用零拷贝技术因为可能由于 PageCache 被大文件占据而导致「热点」小文件无法利用到 PageCache这样在高并发的环境下会带来严重的性能问题。
大文件传输实现方法
当调用 read 方法读取文件时进程实际上会阻塞在 read 方法调用因为要等待磁盘数据的返回如下图 具体过程
当调用 read 方法时会阻塞着此时内核会向磁盘发起 I/O 请求磁盘收到请求后便会寻址当磁盘数据准备好后就会向内核发起 I/O 中断告知内核磁盘数据已经准备好内核收到 I/O 中断后就将数据从磁盘控制器缓冲区拷贝到 PageCache 里最后内核再把 PageCache 中的数据拷贝到用户缓冲区于是 read 调用就正常返回了。
对于阻塞的问题可以用异步 I/O 来解决它工作方式如下图 它把读操作分为两部分
前半部分内核向磁盘发起读请求但是可以不等待数据就位就可以返回于是进程此时可以处理其他任务后半部分当内核将磁盘中的数据拷贝到进程缓冲区后进程将接收到内核的通知再去处理数据
而且我们可以发现异步 I/O 并没有涉及到 PageCache所以使用异步 I/O 就意味着要绕开 PageCache。
绕开 PageCache 的 I/O 叫直接 I/O使用 PageCache 的 I/O 则叫缓存 I/O。通常对于磁盘异步 I/O 只支持直接 I/O。
前面也提到大文件的传输不应该使用 PageCache因为可能由于 PageCache 被大文件占据而导致「热点」小文件无法利用到 PageCache。于是在高并发的场景下针对大文件的传输的方式应该使用「异步 I/O 直接 I/O」来替代零拷贝技术。
直接 I/O 应用场景常见的两种
应用程序已经实现了磁盘数据的缓存那么可以不需要 PageCache 再次缓存减少额外的性能损耗。在 MySQL 数据库中可以通过参数设置开启直接 I/O默认是不开启传输大文件的时候由于大文件难以命中 PageCache 缓存而且会占满 PageCache 导致「热点」文件无法充分利用缓存从而增大了性能开销因此这时应该使用直接 I/O。
另外由于直接 I/O 绕过了 PageCache就无法享受内核的这两点的优化
内核的 I/O 调度算法会缓存尽可能多的 I/O 请求在 PageCache 中最后「合并」成一个更大的 I/O 请求再发给磁盘这样做是为了减少磁盘的寻址操作内核也会「预读」后续的 I/O 请求放在 PageCache 中一样是为了减少对磁盘的操作
于是传输大文件的时候使用「异步 I/O 直接 I/O」了就可以无阻塞地读取文件了。
所以传输文件的时候我们要根据文件的大小来使用不同的方式
传输大文件的时候使用「异步 I/O 直接 I/O」传输小文件的时候则使用「零拷贝技术」
在 nginx 中我们可以用如下配置来根据文件的大小来使用不同的方式
location /video/ { sendfile on; aio on; directio 1024m;
}当文件大小大于 directio 值后使用「异步 I/O 直接 I/O」否则使用「零拷贝技术」。
面试题
什么是零拷贝技术
零拷贝技术是一种优化技术用于减少数据在内核空间和用户空间之间的拷贝次数从而提高数据传输的效率。通过避免不必要的数据拷贝直接将数据从源缓冲区传输到目标缓冲区减少CPU的负担提升系统性能。
零拷贝技术的优点
提高传输效率避免了不必要的数据拷贝减少了CPU的负担提高了数据传输的效率。减少内存消耗不需要额外的缓冲区来存储中间数据减少了内存的消耗。提升系统性能减少了CPU的工作量提高了系统的响应性能和吞吐量。
零拷贝技术的实现方式
DMADirect Memory Access通过DMA技术设备可以直接将数据传输到内存避免了CPU的干预。sendfile()通过sendfile()系统调用将文件内容直接传输到网络协议栈的缓冲区避免了中间缓冲区的拷贝。mmap()通过mmap()系统调用将磁盘文件映射到进程的虚拟地址空间实现直接在用户空间访问文件内容。splice()通过splice()系统调用在两个文件描述符之间直接进行数据传输避免了用户空间的中间缓冲区。
零拷贝技术可能存在的问题
对操作系统和硬件的支持依赖较高不同操作系统和硬件平台的实现方式可能不同。在使用零拷贝技术时需要注意数据的同步和一致性问题避免数据出现错误或不一致的情况。
IO多路复用
什么是IO多路复用技术
IO多路复用IO Multiplexing是一种操作系统提供的IO处理机制通过同时监视多个文件描述符FD的IO状态实现对这些IO事件的异步处理。常见的IO多路复用技术包括select、poll和epoll。
一个进程虽然任一时刻只能处理一个请求但是处理每个请求的事件时耗时控制在 1 毫秒以内这样 1 秒内就可以处理上千个请求把时间拉长来看多个请求复用了一个进程这就是多路复用这种思想很类似一个 CPU 并发多个进程所以也叫做时分多路复用。我们熟悉的 select/poll/epoll 内核提供给用户态的多路复用系统调用进程可以通过一个系统调用函数从内核中获取多个事件。select/poll/epoll 是如何获取网络事件的呢在获取事件时先把所有连接文件描述符传给内核再由内核返回产生了事件的连接然后在用户态中再处理这些连接对应的请求即可。
select/poll
select 实现多路复用的方式是将已连接的 Socket 都放到一个文件描述符集合然后调用 select 函数将文件描述符集合拷贝到内核里让内核来检查是否有网络事件产生检查的方式很粗暴就是通过遍历文件描述符集合的方式当检查到有事件产生后将此 Socket 标记为可读或可写 接着再把整个文件描述符集合拷贝回用户态里然后用户态还需要再通过遍历的方法找到可读或可写的 Socket然后再对其处理。
所以对于 select 这种方式需要进行 2 次「遍历」文件描述符集合一次是在内核态里一个次是在用户态里 而且还会发生 2 次「拷贝」文件描述符集合先从用户空间传入内核空间由内核修改后再传出到用户空间中。
select 使用固定长度的 BitsMap表示文件描述符集合而且所支持的文件描述符的个数是有限制的在 Linux 系统中由内核中的 FD_SETSIZE 限制 默认最大值为 1024只能监听 0~1023 的文件描述符。
poll 不再用 BitsMap 来存储所关注的文件描述符取而代之用动态数组以链表形式来组织突破了 select 的文件描述符个数限制当然还会受到系统文件描述符限制。
但是 poll 和 select 并没有太大的本质区别都是使用「线性结构」存储进程关注的 Socket 集合因此都需要遍历文件描述符集合来找到可读或可写的 Socket时间复杂度为 O(n)而且也需要在用户态与内核态之间拷贝文件描述符集合这种方式随着并发数上来性能的损耗会呈指数级增长。
epoll
epoll 通过两个方面很好解决了 select/poll 的问题。
第一点epoll 在内核里使用红黑树来跟踪进程所有待检测的文件描述字把需要监控的 socket 通过 epoll_ctl() 函数加入内核中的红黑树里红黑树是个高效的数据结构增删改一般时间复杂度是 O(logn)。而 select/poll 内核里没有类似 epoll 红黑树这种保存所有待检测的 socket 的数据结构所以 select/poll 每次操作时都传入整个 socket 集合给内核而 epoll 因为在内核维护了红黑树可以保存所有待检测的 socket 所以只需要传入一个待检测的 socket减少了内核和用户空间大量的数据拷贝和内存分配。
第二点 epoll 使用事件驱动的机制内核里维护了一个链表来记录就绪事件当某个 socket 有事件发生时通过回调函数内核会将其加入到这个就绪事件列表中当用户调用 epoll_wait() 函数时只会返回有事件发生的文件描述符的个数不需要像 select/poll 那样轮询扫描整个 socket 集合大大提高了检测的效率。
从下图你可以看到 epoll 相关的接口作用 epoll 的方式即使监听的 Socket 数量越多的时候效率不会大幅度降低能够同时监听的 Socket 的数目也非常的多了上限就为系统定义的进程打开的最大文件描述符个数。
边缘触发和水平触发
epoll 支持两种事件触发模式分别是边缘触发*edge-triggeredET***和**水平触发*level-triggeredLT*。这两个术语还挺抽象的其实它们的区别还是很好理解的。
使用边缘触发模式时当被监控的 Socket 描述符上有可读事件发生时服务器端只会从 epoll_wait 中苏醒一次即使进程没有调用 read 函数从内核读取数据也依然只苏醒一次因此我们程序要保证一次性将内核缓冲区的数据读取完使用水平触发模式时当被监控的 Socket 上有可读事件发生时服务器端不断地从 epoll_wait 中苏醒直到内核缓冲区数据被 read 函数读完才结束目的是告诉我们有数据需要读取
如果使用水平触发模式当内核通知文件描述符可读写时接下来还可以继续去检测它的状态看它是否依然可读或可写。所以在收到通知后没必要一次执行尽可能多的读写操作。
如果使用边缘触发模式I/O 事件发生时只会通知一次而且我们不知道到底能读写多少数据所以在收到通知后应尽可能地读写数据以免错失读写的机会。因此我们会循环从文件描述符读写数据那么如果文件描述符是阻塞的没有数据可读写时进程会阻塞在读写函数那里程序就没办法继续往下执行。所以边缘触发模式一般和非阻塞 I/O 搭配使用程序会一直执行 I/O 操作直到系统调用如 read 和 write返回错误错误类型为 EAGAIN 或 EWOULDBLOCK。
一般来说边缘触发的效率比水平触发的效率要高因为边缘触发可以减少 epoll_wait 的系统调用次数系统调用也是有一定的开销的的毕竟也存在上下文的切换。select/poll 只有水平触发模式epoll 默认的触发模式是水平触发但是可以根据应用场景设置为边缘触发模式。
面试题
什么是IO多路复用技术
IO多路复用是操作系统提供的一种IO处理机制通过同时监视多个文件描述符FD的IO状态实现对这些IO事件的异步处理。它可以在一个线程中处理多个IO事件提高系统的性能和可扩展性。
IO多路复用技术的用途
IO多路复用技术主要用于实现高并发的网络编程。它可以同时监听多个网络连接的IO事件一旦有IO事件发生就可以立即进行处理而不需要为每个连接创建一个线程或进程。
select、poll和epoll区别。
select是最早的IO多路复用技术它使用位图来表示文件描述符的状态支持的文件描述符数量有限每次调用select都需要将所有的文件描述符从用户空间拷贝到内核空间。效率较低。时间复杂度0(n)poll是select的改进版本它使用数组来表示文件描述符的状态没有文件描述符数量的限制但仍然需要将所有的文件描述符从用户空间拷贝到内核空间。时间复杂度0(n)epoll是Linux特有的IO多路复用技术使用红黑树来管理文件描述符的状态通过epoll_ctl和epoll_wait系统调用来管理和等待IO事件。它避免了将文件描述符从用户空间拷贝到内核空间的开销具有更高的效率和可扩展性。时间复杂度0(1)
select、poll和epoll优劣势及应用场景
select: 优势跨平台select是一个跨平台的I/O多路复用机制可以在多个操作系统上使用。简单易用select使用一个位图来表示文件描述符的状态适用于简单的应用场景。
劣势低效在大量的文件描述符上进行监视时select的效率会随着文件描述符数量的增加而下降。文件描述符数量限制select的文件描述符数量有限通常在1024左右。
场景select适用于较小规模的应用或需要跨平台的应用。它是比较早期的I/O多路复用技术可以在多个操作系统上使用。select适合于文件描述符数量较少通常在1024左右和并发连接数较少的场景
poll: 优势跨平台poll同样是一个跨平台的I/O多路复用机制可以在多个操作系统上使用。没有文件描述符数量限制相较于selectpoll没有文件描述符数量的限制。
劣势低效poll在大量的文件描述符上进行监视时效率也会随着文件描述符数量的增加而下降。
场景poll是select的改进版本同样适用于较小规模的应用或需要跨平台的应用。与select相比poll没有文件描述符数量的限制可以处理更多的文件描述符。因此当需要处理的文件描述符数量较多时可以选择使用poll。
epoll: 优势高效epoll使用红黑树来管理文件描述符的状态通过epoll_ctl和epoll_wait系统调用来管理和等待IO事件。它避免了将所有文件描述符从用户空间拷贝到内核空间的开销具有更高的效率和可扩展性。没有文件描述符数量限制与select和poll不同epoll没有文件描述符数量的限制。支持边缘触发Edge Triggered模式epoll可以以边缘触发模式工作只在状态变化时通知应用程序避免了频繁的事件通知。
劣势仅适用于Linux系统epoll是Linux特有的I/O多路复用机制不可跨平台使用。
场景epoll是Linux特有的I/O多路复用技术。它使用红黑树和哈希表来管理文件描述符的状态具有更高的效率和可扩展性。epoll适用于需要处理大规模并发连接的高性能应用场景特别是在Linux环境下。它可以处理成千上万的并发连接并具有更高的性能和可扩展性。
需要注意的是选择适当的I/O多路复用方式取决于应用程序的需求和特性。对于较小规模的应用或需要跨平台的应用select和poll是可行的选择。而对于高性能、大规模的应用特别是在Linux环境下epoll是更好的选择。
在使用IO多路复用技术时什么是阻塞模式和非阻塞模式
阻塞模式指的是当没有IO事件发生时IO操作会一直阻塞直到有IO事件发生才会返回结果。而非阻塞模式下当没有IO事件发生时IO操作会立即返回应用程序可以继续执行其他任务。
IO多路复用技术与多线程、多进程方式相比有何优劣势
优势IO多路复用技术可以节省系统资源减少线程或进程的创建和切换开销提高系统的性能和可扩展性。它可以在一个线程中处理多个IO事件减少了线程之间的竞争和同步开销。劣势相比于多线程、多进程方式IO多路复用技术的编程模型更复杂一些需要手动管理和处理多个IO事件的状态和数据。
阻塞I/O、非阻塞I/O和I/O多路复用的区别
阻塞I/O当应用程序进行I/O操作时会一直等待直到操作完成。非阻塞I/O应用程序发起I/O操作后可以继续执行其他任务然后定期检查操作是否完成。I/O多路复用通过一种机制一个线程可以同时监视多个I/O操作只有当至少一个操作就绪时线程才会被唤醒。
epoll模式下水平触发和边缘触发区别
在epoll模式下水平触发Level Triggered和边缘触发Edge Triggered是两种不同的事件通知机制。
水平触发Level Triggered
在水平触发模式下当某个文件描述符上有事件就绪时epoll_wait会立即返回该文件描述符并通知应用程序进行IO操作。如果应用程序没有立即处理该事件下次调用epoll_wait时仍会返回该文件描述符直到该事件被处理完毕。
边缘触发Edge Triggered
在边缘触发模式下当某个文件描述符上有事件就绪时epoll_wait只会通知应用程序一次。如果应用程序没有立即处理该事件下次调用epoll_wait时不会再次返回该文件描述符除非有新的事件就绪。边缘触发模式只关注状态的变化而不关心当前状态。
边缘触发模式相比水平触发模式具有更高的效率和更精确的事件通知。在边缘触发模式下应用程序需要及时处理事件否则可能会错过事件通知。而在水平触发模式下即使应用程序没有立即处理事件下次调用epoll_wait时仍会返回该文件描述符。
需要注意的是边缘触发模式需要应用程序处理完整的事件包括读取所有可读数据或写入所有可写数据。而水平触发模式下应用程序只需要处理当前就绪的事件不需要读取或写入所有可读或可写的数据。
选择使用水平触发模式还是边缘触发模式取决于应用程序的需求和特性。通常情况下边缘触发模式可以提供更高的性能但需要确保应用程序能够及时处理所有事件。而水平触发模式相对更容易处理适用于一些特定的应用场景。
