广东省建设局官方网站,直播网站建设开发,网站设计岗位做哪些事情,用KEGG网站做KEGG富集分析转载自 Java NIO#xff1a;浅析I/O模型也许很多朋友在学习NIO的时候都会感觉有点吃力#xff0c;对里面的很多概念都感觉不是那么明朗。在进入Java NIO编程之前#xff0c;我们今天先来讨论一些比较基础的知识#xff1a;I/O模型。下面本文先从同步和异步的概念 说起…转载自 Java NIO浅析I/O模型也许很多朋友在学习NIO的时候都会感觉有点吃力对里面的很多概念都感觉不是那么明朗。在进入Java NIO编程之前我们今天先来讨论一些比较基础的知识I/O模型。下面本文先从同步和异步的概念 说起然后接着阐述了阻塞和非阻塞的区别接着介绍了阻塞IO和非阻塞IO的区别然后介绍了同步IO和异步IO的区别接下来介绍了5种IO模型最后介绍了两种和高性能IO设计相关的设计模式Reactor和Proactor。
一.什么是同步什么是异步
同步和异步的概念出来已经很久了网上有关同步和异步的说法也有很多。以下是我个人的理解
同步就是如果有多个任务或者事件要发生这些任务或者事件必须逐个地进行一个事件或者任务的执行会导致整个流程的暂时等待这些事件没有办法并发地执行
异步就是如果有多个任务或者事件发生这些事件可以并发地执行一个事件或者任务的执行不会导致整个流程的暂时等待。
这就是同步和异步。举个简单的例子假如有一个任务包括两个子任务A和B对于同步来说当A在执行的过程中B只有等待直至A执行完毕B才能执行而对于异步就是A和B可以并发地执行B不必等待A执行完毕之后再执行这样就不会由于A的执行导致整个任务的暂时等待。
如果还不理解可以先看下面这2段代码
1234567891011121314voidfun1() { } voidfun2() { } voidfunction(){ fun1(); fun2() ..... ..... }这段代码就是典型的同步在方法function中fun1在执行的过程中会导致后续的fun2无法执行fun2必须等待fun1执行完毕才可以执行。
接着看下面这段代码
123456789101112131415161718192021222324voidfun1() {}voidfun2() {}voidfunction(){ newThread(){ publicvoid run() { fun1(); } }.start(); newThread(){ publicvoid run() { fun2(); } }.start(); ..... .....}这段代码是一种典型的异步fun1的执行不会影响到fun2的执行并且fun1和fun2的执行不会导致其后续的执行过程处于暂时的等待。
事实上同步和异步是一个非常广的概念它们的重点在于多个任务和事件发生时一个事件的发生或执行是否会导致整个流程的暂时等待。我觉得可以将同步和异步与Java中的synchronized关键字联系起来进行类比。当多个线程同时访问一个变量时每个线程访问该变量就是一个事件对于同步来说就是这些线程必须逐个地来访问该变量一个线程在访问该变量的过程中其他线程必须等待而对于异步来说就是多个线程不必逐个地访问该变量可以同时进行访问。
因此个人觉得同步和异步可以表现在很多方面但是记住其关键在于多个任务和事件发生时一个事件的发生或执行是否会导致整个流程的暂时等待。一般来说可以通过多线程的方式来实现异步但是千万记住不要将多线程和异步画上等号异步只是宏观上的一个模式采用多线程来实现异步只是一种手段并且通过多进程的方式也可以实现异步。
二.什么是阻塞什么是非阻塞
在前面介绍了同步和异步的区别这一节来看一下阻塞和非阻塞的区别。
阻塞就是当某个事件或者任务在执行过程中它发出一个请求操作但是由于该请求操作需要的条件不满足那么就会一直在那等待直至条件满足
非阻塞就是当某个事件或者任务在执行过程中它发出一个请求操作如果该请求操作需要的条件不满足会立即返回一个标志信息告知条件不满足不会一直在那等待。
这就是阻塞和非阻塞的区别。也就是说阻塞和非阻塞的区别关键在于当发出请求一个操作时如果条件不满足是会一直等待还是返回一个标志信息。
举个简单的例子
假如我要读取一个文件中的内容如果此时文件中没有内容可读对于同步来说就是会一直在那等待直至文件中有内容可读而对于非阻塞来说就会直接返回一个标志信息告知文件中暂时无内容可读。
在网上有一些朋友将同步和异步分别与阻塞和非阻塞画上等号事实上它们是两组完全不同的概念。注意理解这两组概念的区别对于后面IO模型的理解非常重要。
同步和异步着重点在于多个任务的执行过程中一个任务的执行是否会导致整个流程的暂时等待
而阻塞和非阻塞着重点在于发出一个请求操作时如果进行操作的条件不满足是否会返会一个标志信息告知条件不满足。
理解阻塞和非阻塞可以同线程阻塞类比地理解当一个线程进行一个请求操作时如果条件不满足则会被阻塞即在那等待条件满足。
三.什么是阻塞IO什么是非阻塞IO
在了解阻塞IO和非阻塞IO之前先看下一个具体的IO操作过程是怎么进行的。
通常来说IO操作包括对硬盘的读写、对socket的读写以及外设的读写。
当用户线程发起一个IO请求操作本文以读请求操作为例内核会去查看要读取的数据是否就绪对于阻塞IO来说如果数据没有就绪则会一直在那等待直到数据就绪对于非阻塞IO来说如果数据没有就绪则会返回一个标志信息告知用户线程当前要读的数据没有就绪。当数据就绪之后便将数据拷贝到用户线程这样才完成了一个完整的IO读请求操作也就是说一个完整的IO读请求操作包括两个阶段
1查看数据是否就绪
2进行数据拷贝内核将数据拷贝到用户线程。
那么阻塞blocking IO和非阻塞non-blocking IO的区别就在于第一个阶段如果数据没有就绪在查看数据是否就绪的过程中是一直等待还是直接返回一个标志信息。
Java中传统的IO都是阻塞IO比如通过socket来读数据调用read()方法之后如果数据没有就绪当前线程就会一直阻塞在read方法调用那里直到有数据才返回而如果是非阻塞IO的话当数据没有就绪read()方法应该返回一个标志信息告知当前线程数据没有就绪而不是一直在那里等待。
四.什么是同步IO什么是异步IO
我们先来看一下同步IO和异步IO的定义在《Unix网络编程》一书中对同步IO和异步IO的定义是这样的
A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes.An asynchronous I/O operation does not cause the requesting process to be blocked.
从字面的意思可以看出同步IO即 如果一个线程请求进行IO操作在IO操作完成之前该线程会被阻塞
而异步IO为 如果一个线程请求进行IO操作IO操作不会导致请求线程被阻塞。
事实上同步IO和异步IO模型是针对用户线程和内核的交互来说的
对于同步IO当用户发出IO请求操作之后如果数据没有就绪需要通过用户线程或者内核不断地去轮询数据是否就绪当数据就绪时再将数据从内核拷贝到用户线程
而异步IO只有IO请求操作的发出是由用户线程来进行的IO操作的两个阶段都是由内核自动完成然后发送通知告知用户线程IO操作已经完成。也就是说在异步IO中不会对用户线程产生任何阻塞。
这是同步IO和异步IO关键区别所在同步IO和异步IO的关键区别反映在数据拷贝阶段是由用户线程完成还是内核完成。所以说异步IO必须要有操作系统的底层支持。
注意同步IO和异步IO与阻塞IO和非阻塞IO是不同的两组概念。
阻塞IO和非阻塞IO是反映在当用户请求IO操作时如果数据没有就绪是用户线程一直等待数据就绪还是会收到一个标志信息这一点上面的。也就是说阻塞IO和非阻塞IO是反映在IO操作的第一个阶段在查看数据是否就绪时是如何处理的。
五.五种IO模型
在《Unix网络编程》一书中提到了五种IO模型分别是阻塞IO、非阻塞IO、多路复用IO、信号驱动IO以及异步IO。
下面就分别来介绍一下这5种IO模型的异同。
1.阻塞IO模型
最传统的一种IO模型即在读写数据过程中会发生阻塞现象。
当用户线程发出IO请求之后内核会去查看数据是否就绪如果没有就绪就会等待数据就绪而用户线程就会处于阻塞状态用户线程交出CPU。当数据就绪之后内核会将数据拷贝到用户线程并返回结果给用户线程用户线程才解除block状态。
典型的阻塞IO模型的例子为
1data socket.read();如果数据没有就绪就会一直阻塞在read方法。
2.非阻塞IO模型
当用户线程发起一个read操作后并不需要等待而是马上就得到了一个结果。如果结果是一个error时它就知道数据还没有准备好于是它可以再次发送read操作。一旦内核中的数据准备好了并且又再次收到了用户线程的请求那么它马上就将数据拷贝到了用户线程然后返回。
所以事实上在非阻塞IO模型中用户线程需要不断地询问内核数据是否就绪也就说非阻塞IO不会交出CPU而会一直占用CPU。
典型的非阻塞IO模型一般如下
1234567while(true){ data socket.read(); if(data! error){ 处理数据 break; }}但是对于非阻塞IO就有一个非常严重的问题在while循环中需要不断地去询问内核数据是否就绪这样会导致CPU占用率非常高因此一般情况下很少使用while循环这种方式来读取数据。
3.多路复用IO模型
多路复用IO模型是目前使用得比较多的模型。Java NIO实际上就是多路复用IO。
在多路复用IO模型中会有一个线程不断去轮询多个socket的状态只有当socket真正有读写事件时才真正调用实际的IO读写操作。因为在多路复用IO模型中只需要使用一个线程就可以管理多个socket系统不需要建立新的进程或者线程也不必维护这些线程和进程并且只有在真正有socket读写事件进行时才会使用IO资源所以它大大减少了资源占用。
在Java NIO中是通过selector.select()去查询每个通道是否有到达事件如果没有事件则一直阻塞在那里因此这种方式会导致用户线程的阻塞。
也许有朋友会说我可以采用 多线程 阻塞IO 达到类似的效果但是由于在多线程 阻塞IO 中每个socket对应一个线程这样会造成很大的资源占用并且尤其是对于长连接来说线程的资源一直不会释放如果后面陆续有很多连接的话就会造成性能上的瓶颈。
而多路复用IO模式通过一个线程就可以管理多个socket只有当socket真正有读写事件发生才会占用资源来进行实际的读写操作。因此多路复用IO比较适合连接数比较多的情况。
另外多路复用IO为何比非阻塞IO模型的效率高是因为在非阻塞IO中不断地询问socket状态时通过用户线程去进行的而在多路复用IO中轮询每个socket状态是内核在进行的这个效率要比用户线程要高的多。
不过要注意的是多路复用IO模型是通过轮询的方式来检测是否有事件到达并且对到达的事件逐一进行响应。因此对于多路复用IO模型来说一旦事件响应体很大那么就会导致后续的事件迟迟得不到处理并且会影响新的事件轮询。
4.信号驱动IO模型
在信号驱动IO模型中当用户线程发起一个IO请求操作会给对应的socket注册一个信号函数然后用户线程会继续执行当内核数据就绪时会发送一个信号给用户线程用户线程接收到信号之后便在信号函数中调用IO读写操作来进行实际的IO请求操作。
5.异步IO模型
异步IO模型才是最理想的IO模型在异步IO模型中当用户线程发起read操作之后立刻就可以开始去做其它的事。而另一方面从内核的角度当它受到一个asynchronous read之后它会立刻返回说明read请求已经成功发起了因此不会对用户线程产生任何block。然后内核会等待数据准备完成然后将数据拷贝到用户线程当这一切都完成之后内核会给用户线程发送一个信号告诉它read操作完成了。也就说用户线程完全不需要实际的整个IO操作是如何进行的只需要先发起一个请求当接收内核返回的成功信号时表示IO操作已经完成可以直接去使用数据了。
也就说在异步IO模型中IO操作的两个阶段都不会阻塞用户线程这两个阶段都是由内核自动完成然后发送一个信号告知用户线程操作已完成。用户线程中不需要再次调用IO函数进行具体的读写。这点是和信号驱动模型有所不同的在信号驱动模型中当用户线程接收到信号表示数据已经就绪然后需要用户线程调用IO函数进行实际的读写操作而在异步IO模型中收到信号表示IO操作已经完成不需要再在用户线程中调用iO函数进行实际的读写操作。
注意异步IO是需要操作系统的底层支持在Java 7中提供了Asynchronous IO。
前面四种IO模型实际上都属于同步IO只有最后一种是真正的异步IO因为无论是多路复用IO还是信号驱动模型IO操作的第2个阶段都会引起用户线程阻塞也就是内核进行数据拷贝的过程都会让用户线程阻塞。
六.两种高性能IO设计模式
在传统的网络服务设计模式中有两种比较经典的模式
一种是 多线程一种是线程池。
对于多线程模式也就说来了client服务器就会新建一个线程来处理该client的读写事件如下图所示这种模式虽然处理起来简单方便但是由于服务器为每个client的连接都采用一个线程去处理使得资源占用非常大。因此当连接数量达到上限时再有用户请求连接直接会导致资源瓶颈严重的可能会直接导致服务器崩溃。
因此为了解决这种一个线程对应一个客户端模式带来的问题提出了采用线程池的方式也就说创建一个固定大小的线程池来一个客户端就从线程池取一个空闲线程来处理当客户端处理完读写操作之后就交出对线程的占用。因此这样就避免为每一个客户端都要创建线程带来的资源浪费使得线程可以重用。
但是线程池也有它的弊端如果连接大多是长连接因此可能会导致在一段时间内线程池中的线程都被占用那么当再有用户请求连接时由于没有可用的空闲线程来处理就会导致客户端连接失败从而影响用户体验。因此线程池比较适合大量的短连接应用。
因此便出现了下面的两种高性能IO设计模式Reactor和Proactor。
在Reactor模式中会先对每个client注册感兴趣的事件然后有一个线程专门去轮询每个client是否有事件发生当有事件发生时便顺序处理每个事件当所有事件处理完之后便再转去继续轮询如下图所示从这里可以看出上面的五种IO模型中的多路复用IO就是采用Reactor模式。注意上面的图中展示的 是顺序处理每个事件当然为了提高事件处理速度可以通过多线程或者线程池的方式来处理事件。
在Proactor模式中当检测到有事件发生时会新起一个异步操作然后交由内核线程去处理当内核线程完成IO操作之后发送一个通知告知操作已完成可以得知异步IO模型采用的就是Proactor模式。
参考资料
《Unix网络编程》
http://blog.csdn.net/goldensuny/article/details/30717107
http://my.oschina.net/XYleung/blog/295122
http://xmuzyq.iteye.com/blog/783218
http://www.cnblogs.com/ccdev/p/3542669.html
http://alicsd.iteye.com/blog/868702
http://www.smithfox.com/?e191
http://www.cnblogs.com/Anker/p/3254269.html
http://blog.csdn.net/hguisu/article/details/7453390
http://www.cnblogs.com/dawen/archive/2011/05/18/2050358.html
