php网站开发框架搭建,网站做seo需要哪些准备,广州网站设计公司vi设计公司,现在做跨境电商平台有哪些前言
大家好#xff0c;我是jiantaoyab#xff0c;这是我作为学习笔记的25篇#xff0c;本篇文章给大家介绍DMA。
无论 I/O 速度如何提升#xff0c;比起 CPU#xff0c;总还是太慢。如果我们对于 I/O 的操作#xff0c;都是由 CPU 发出对应的指令#xff0c;然后等待…前言
大家好我是jiantaoyab这是我作为学习笔记的25篇本篇文章给大家介绍DMA。
无论 I/O 速度如何提升比起 CPU总还是太慢。如果我们对于 I/O 的操作都是由 CPU 发出对应的指令然后等待 I/O 设备完成操作之后返回那 CPU 有大量的时间其实都是在等待 I/O 设备完成操作。
但是这个 CPU 的等待在很多时候其实并没有太多的实际意义。我们对于 I/O 设备的大量操作其实都只是把内存里面的数据传输到 I/O 设备而已特别是当传输的数据量比较大的时候比如进行大文件复制如果所有数据都要经过 CPU实在是有点儿太浪费时间了。
因此计算机工程师们就发明了 DMA 技术也就是直接内存访问Direct Memory Access技术来减少 CPU 等待的时间。
理解 DMA一个协处理器
DMA 技术就是在主板上放一块独立的芯片。在进行内存和 I/O 设备的数据传输的时候不再通过 CPU 来控制数据传输而直接通过DMA 控制器DMA Controller简称 DMAC。这块芯片我们可以认为它其实就是一个协处理器Co-Processor。
DMAC 最有价值的地方体现在当我们要传输的数据特别大、速度特别快或者传输的数据特别小、速度特别慢的时候。
比如说我们用千兆网卡或者硬盘传输大量数据的时候如果都用 CPU 来搬运的话肯定忙不过来所以可以选择 DMAC。而当数据传输很慢的时候DMAC 可以等数据到齐了再发送信号给到 CPU 去处理而不是让 CPU 在那里等待。
DMAC 是在“协助”CPU完成对应的数据传输工作。在 DMAC 控制数据传输的过程中我们还是需要 CPU 的。
除此之外DMAC 其实也是一个特殊的 I/O 设备它和 CPU 以及其他 I/O 设备一样通过连接到总线来进行实际的数据传输。
总线上的设备其实有两种类型。一种我们称之为主设备Master另外一种我们称之为从设备Slave。
想要主动发起数据传输必须要是一个主设备才可以CPU 就是主设备。而从设备比如硬盘只能接受数据传输。
所以如果通过 CPU 来传输数据要么是 CPU 从 I/O 设备读数据要么是 CPU 向 I/O 设备写数据。
那 I/O 设备不能向主设备发起请求么可以是可以不过这个发送的不是数据内容而是控制信号。I/O 设备可以告诉 CPU我这里有数据要传输给你但是实际数据是 CPU 从拉走的而不是 I/O 设备推给 CPU 的。 不过DMAC 它既是一个主设备又是一个从设备。对于 CPU 来说它是一个从设备对于硬盘这样的 IO 设备来说呢它又变成了一个主设备。
那使用 DMAC 进行数据传输的过程究竟是什么样的呢下面我们来具体看看。
首先CPU 还是作为一个主设备向 DMAC 设备发起请求。这个请求其实就是在 DMAC 里面修改配置寄存器。CPU 修改 DMAC 的配置的时候会告诉 DMAC 这样几个信息
首先是源地址的初始值以及传输时候的地址增减方式。 所谓源地址就是数据要从哪里传输过来。如果我们要从内存里面写入数据到硬盘上那么就是要读取的数据在内存里面的地址。如果是从硬盘读取数据到内存里那就是硬盘的 I/O 接口的地址。I/O 的地址可以是一个内存地址也可以是一个端口地址。而地址的增减方式就是说数据是从大的地址向小的地址传输还是从小的地址往大的地址传输。其次是目标地址初始值和传输时候的地址增减方式。目标地址自然就是和源地址对应的设备也就是我们数据传输的目的地。第三个自然是要传输的数据长度也就是我们一共要传输多少数据。 设置完这些信息之后DMAC 就会变成一个空闲的状态Idle。 如果我们要从硬盘上往内存里面加载数据这个时候硬盘就会向 DMAC 发起一个数据传输请求。这个请求并不是通过总线而是通过一个额外的连线。 然后我们的 DMAC 需要再通过一个额外的连线响应这个申请。 于是DMAC 这个芯片就向硬盘的接口发起要总线读的传输请求。数据就从硬盘里面读到了 DMAC 的控制器里面。 然后DMAC 再向我们的内存发起总线写的数据传输请求把数据写入到内存里面。 DMAC 会反复进行上面第 6、7 步的操作直到 DMAC 的寄存器里面设置的数据长度传输完成。 数据传输完成之后DMAC 重新回到第 3 步的空闲状态。
所以整个数据传输的过程中不是通过 CPU 来搬运数据而是由 DMAC 这个芯片来搬运数据。但是 CPU 在这个过程中也是必不可少的。因为传输什么数据从哪里传输到哪里其实还是由 CPU 来设置的。这也是为什么DMAC 被叫作“协处理器”。 最早计算机里是没有 DMAC 的所有数据都是由 CPU 来搬运的。
随着对于数据传输的需求越来越多先是出现了主板上独立的 DMAC 控制器。到了今天各种 I/O 设备越来越多数据传输的需求越来越复杂使用的场景各不相同。加之显示器、网卡、硬盘对于数据传输的需求都不一样所以各个设备里面都有自己的 DMAC 芯片了。
Kafka 的实现原理
过去几年的大数据浪潮里面有一个开源项目很好地利用了 DMA 的数据传输方式通过 DMA 的方式实现了非常大的性能提升。这个项目就是Kafka。
Kafka 是一个用来处理实时数据的管道我们常常用它来做一个消息队列或者用来收集和落地海量的日志。作为一个处理实时数据和日志的管道瓶颈自然也在 I/O 层面。
Kafka 里面会有两种常见的海量数据传输的情况。一种是从网络中接收上游的数据然后需要落地到本地的磁盘上确保数据不丢失。另一种情况则是从本地磁盘上读取出来通过网络发送出去。
我们来看一看后一种情况从磁盘读数据发送到网络上去。如果我们自己写一个简单的程序最直观的办法自然是用一个文件读操作从磁盘上把数据读到内存里面来然后再用一个 Socket把这些数据发送到网络上去。
在这个过程中数据一共发生了四次传输的过程。其中两次是 DMA 的传输另外两次则是通过 CPU 控制的传输。下面我们来具体看看这个过程。 第一次传输是从硬盘上读到操作系统内核的缓冲区里。这个传输是通过 DMA 搬运的。 第二次传输需要从内核缓冲区里面的数据复制到我们应用分配的内存里面。这个传输是通过 CPU 搬运的。 第三次传输要从我们应用的内存里面再写到操作系统的 Socket 的缓冲区里面去。这个传输还是由 CPU 搬运的。 最后一次传输需要再从 Socket 的缓冲区里面写到网卡的缓冲区里面去。这个传输又是通过 DMA 搬运的。 我们只是要“搬运”一份数据结果却整整搬运了四次。而且这里面从内核的读缓冲区传输到应用的内存里再从应用的内存里传输到 Socket 的缓冲区里其实都是把同一份数据在内存里面搬运来搬运去特别没有效率。
像 Kafka 这样的应用场景其实大部分最终利用到的硬件资源其实又都是在干这个搬运数据的事儿。所以我们就需要尽可能地减少数据搬运的需求。
Kafka 做的事情就是把这个数据搬运的次数从上面的四次变成了两次并且只有 DMA 来进行数据搬运而不需要 CPU。 Kafka 的代码调用了 Java NIO 库具体是 FileChannel 里面的 transferTo 方法。数据并没有读到中间的应用内存里面而是直接通过 Channel写入到对应的网络设备里。并且对于 Socket 的操作也不是写入到 Socket 的 Buffer 里面而是直接根据描述符Descriptor写入到网卡的缓冲区里面。于是在这个过程之中我们只进行了两次数据传输。 第一次是通过 DMA从硬盘直接读到操作系统内核的读缓冲区里面。
第二次则是根据 Socket 的描述符信息直接从读缓冲区里面写入到网卡的缓冲区里面同一份数据传输的次数从四次变成了两次并且没有通过 CPU 来进行数据搬运所有的数据都是通过 DMA 来进行传输的。
在这个方法里面我们没有在内存层面去“复制Copy”数据所以这个方法也被称之为零拷贝Zero-Copy。
