中国建设银行用e路这么进网站,网站开发后台,wordpress 首页布局,finecms点击蓝字关注我们因公众号更改推送规则#xff0c;请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络#xff0c;侵删Linux 内核包含4个IO调度器#xff1a;Noop IO schedulerAnticipatory IO schedulerDeadline IO scheduler CFQ IO scheduler。anticipatory, 预…点击蓝字关注我们因公众号更改推送规则请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络侵删Linux 内核包含4个IO调度器Noop IO schedulerAnticipatory IO schedulerDeadline IO scheduler CFQ IO scheduler。anticipatory, 预期的提早发生的期待着的通常磁盘的读写影响是由磁头到柱面移动造成了延迟解决这种延迟内核主要采用两种策略缓存和IO调度算法来进行弥补。本文做一简单介绍。调度算法概念当向设备写入数据块或是从设备读出数据块时,请求都被安置在一个队列中等待完成。每个块设备都有它自己的队列。I/O调度程序负责维护这些队列的顺序,以更有效地利用介质.I/O调度程序将无序的I/O操作变为有序的I/O操作。内核必须首先确定队列中一共有多少个请求,然后才开始进行调度。IO 调度器IO SchedulerIO调度器IO Scheduler是操作系统用来决定块设备上IO操作提交顺序的方法。存在的目的有两个一是提高IO吞吐量二是降低IO响应时间。然而IO吞吐量和IO响应时间往往是矛盾的为了尽量平衡这两者IO调度器提供了多种调度算法来适应不同的IO请求场景。其中对数据库这种随机读写的场景最有利的算法是DEANLINE。IO调度器在内核栈中所处位置如下块设备最悲剧的地方就是磁盘转动这个过程会很耗时间。每个块设备或者块设备的分区都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交的request。I/O调度器的基本目的是将请求按照它们对应在块设备上的扇区号进行排列以减少磁头的移动提高效率。每个设备的请求队列里的请求将按顺序被响应。实际上除了这个队列每个调度器自身都维护有不同数量的队列用来对递交上来的request进行处理而排在队列最前面的request将适时被移动到请求队列中等待响应。IO scheduler 的作用主要是为了减少磁盘转动的需求。主要通过2种方式实现 1. 合并 2. 排序每个设备都会自己对应请求队列所有的请求在被处理之前都会在请求队列上。在新来一个请求的时候如果发现这个请求和前面的某个请求请求的位置是相邻的那么就可以合并为一个请求。如果不能找到合并的就会按照磁盘的转动方向进行排序。通常IO scheduler 的作用就是为了在进行合并和排序的同时也不会太影响单个请求的处理时间。1、NOOPFIFO1. noop是什么? noop是一种输入输出调度算法。NOOP, No Operation. 什么都不做请求来一个处理一个。这种方式实施起来简单也更有效。问题就是disk seek 太多对于传统磁盘这是不能接受的。但对于SSD 磁盘就可以因为SSD 磁盘不需要转动。2. noop的别称 又称为电梯调度算法。3. noop原理是怎样的?将输入输出请求放到一个FIFO队列中然后按次序执行队列中的输入输出请求:当来一个新请求时1. 如果能合并就合并2. 如果不能合并就会尝试排序。如果队列上的请求都已经很老了这个新的请求就不能插队只能放到最后面。否则就插到合适的位置3. 如果既不能合并又没有合适的位置插入就放到请求队列的最后4. 适用场景4.1 在不希望修改输入输出请求先后顺序的场景下4.2 在输入输出之下具有更加智能调度算法的设备如NAS存储设备4.3 上层应用程序已经精心优化过的输入输出请求4.4 非旋转磁头式的磁盘设备如SSD磁盘2、CFQ(Completely Fair Queuing, 完全公平排队)CFQCompletely Fair Queuing算法顾名思义绝对公平算法。它试图为竞争块设备使用权的所有进程分配一个请求队列和一个时间片在调度器分配给进程的时间片内进程可以将其读写请求发送给底层块设备当进程的时间片消耗完进程的请求队列将被挂起等待调度。每个进程的时间片和每个进程的队列长度取决于进程的IO优先级每个进程都会有一个IO优先级CFQ调度器将会将其作为考虑的因素之一来确定该进程的请求队列何时可以获取块设备的使用权。IO优先级从高到低可以分为三大类RT(real time)BE(best try)IDLE(idle)其中RT和BE又可以再划分为8个子优先级。可以通过ionice 去查看和修改。优先级越高被处理得越早用于这个进程的时间片也越多一次处理的请求数也会越多。实际上我们已经知道CFQ调度器的公平是针对于进程而言的而只有同步请求(read或syn write)才是针对进程而存在的他们会放入进程自身的请求队列而所有同优先级的异步请求无论来自于哪个进程都会被放入公共的队列异步请求的队列总共有8(RT)8(BE)1(IDLE)17个。从Linux 2.6.18起CFQ作为默认的IO调度算法。对于通用的服务器来说CFQ是较好的选择。具体使用哪种调度算法还是要根据具体的业务场景去做足benchmark来选择不能仅靠别人的文字来决定。3、DEADLINEDEADLINE在CFQ的基础上解决了IO请求饿死的极端情况。除了CFQ本身具有的IO排序队列之外DEADLINE额外分别为读IO和写IO提供了FIFO队列。读FIFO队列的最大等待时间为500ms写FIFO队列的最大等待时间为5s当然这些参数都是可以手动设置的。FIFO队列内的IO请求优先级要比CFQ队列中的高而读FIFO队列的优先级又比写FIFO队列的优先级高。优先级可以表示如下FIFO(Read) FIFO(Write) CFQdeadline 算法保证对于既定的 IO 请求以最小的延迟时间从这一点理解对于 DSS 应用应该会是很适合的。deadline 实际上是对Elevator 的一种改进: 1. 避免有些请求太长时间不能被处理。2. 区分对待读操作和写操作。deadline IO 维护3个队列。第一个队列和Elevator 一样 尽量按照物理位置排序。第二个队列和第三个队列都是按照时间排序不同的是一个是读操作一个是写操作。deadline IO 之所以区分读和写是因为设计者认为如果应用程序发了一个读请求一般就会阻塞到那里一直等到的结果返回。而写请求则不是通常是应用请求写到内存即可由后台进程再写回磁盘。应用程序一般不等写完成就继续往下走。所以读请求应该比写请求有更高的优先级。在这种设计下每个新增请求都会先放到第一个队列算法和Elevator的方式一样同时也会增加到读或者写队列的尾端。这样首先处理一些第一队列的请求同时检测第二/三队列前几个请求是否等了太长时间如果已经超过一个阀值就会去处理一下。这个阀值对于读请求时 5ms 对于写请求时5s。个人认为对于记录数据库变更日志的分区例如oracle 的online log mysql 的binlog 等等最好不要使用这种分区。因为这类写请求通常是调用fsync 的。如果写完不成也会很影响应用性能的。4、ANTICIPATORYCFQ和DEADLINE考虑的焦点在于满足零散IO请求上。对于连续的IO请求比如顺序读并没有做优化。为了满足随机IO和顺序IO混合的场景Linux还支持ANTICIPATORY调度算法。ANTICIPATORY的在DEADLINE的基础上为每个读IO都设置了6ms的等待时间窗口。如果在这6ms内OS收到了相邻位置的读IO请求就可以立即满足。小结IO调度器算法的选择既取决于硬件特征也取决于应用场景。在传统的SAS盘上CFQ、DEADLINE、ANTICIPATORY都是不错的选择对于专属的数据库服务器DEADLINE的吞吐量和响应时间都表现良好。然而在新兴的固态硬盘比如SSD、Fusion IO上最简单的NOOP反而可能是最好的算法因为其他三个算法的优化是基于缩短寻道时间的而固态硬盘没有所谓的寻道时间且IO响应时间非常短。如果你年满18周岁以上又觉得学【C语言】太难想尝试其他编程语言那么我推荐你学Python现有价值499元Python零基础课程限时免费领取限10个名额▲扫描二维码-免费领取戳“阅读原文”我们一起进步
