环保网站主题,免费合作推广,wordpress title 竖线,安装网站程序完整的C#xff0f;S架构的基于RTP#xff0f;RTCP的H#xff0e;264视频传输方案。此方案中#xff0c;在服务器端和客户端分别进行了功能模块设计。服务器端#xff1a;RTP封装模块主要是对H#xff0e;264码流进行打包封装#xff1b;RTCP分析模块负责产牛和发送RTCP… 完整的CS架构的基于RTPRTCP的H264视频传输方案。此方案中在服务器端和客户端分别进行了功能模块设计。服务器端RTP封装模块主要是对H264码流进行打包封装RTCP分析模块负责产牛和发送RTCP包并分析接收到的RTCP包QoS反馈控制模块则根据RR报文反馈信息动态的对发送速率进行调整发送缓冲模块则设置端口发送RTP、RTCP包。客户端RTP模块对接收到的RTP包进行解析判断RTCP模块根据SR报文统计关键信息产牛并发送RR包。然后在VC60下用Socket编程完成基于RTPUDPIP的H264视频传输并在局域网内运行较好。 基于RTPUDPlP的H264视频传输结构设计 对于H264视频的实时传输应用来说TCP的重传机制引入的时延和抖动是无法容忍的因此我们采用UDP传输协议。但是UDP协议本身是面向无连接的不能提供质量保证。而基于UDP之上的高层协议RTPRTCP可以一起提供流量控制和拥塞控制服务。图给出了基于RTPUDPIP的H264视频传输的框架。 H264视频流的RTP封装策略 从图4—1可以看出H264视频数据首先经RTP进行封装打包成适合网络传输的数据包才能进行传输。所以如何设计合适的RTP封装策略对H264视频数据进行封装是十分重要的。一般来说在H264中RTP封装应该遵循几个设计原则 1、较低的开销因此MTU的尺寸应该限制在100—64K字节范围内。 2、易于区分分组的重要性而不必对分组内的数据解码。 3、应能检测到数据的类型而不需解码整个数据流并能根据编码流之间的相关性丢弃无用数据如网关应能检测A型分割的丢失并能丢弃相应的B型和C型分割。 4、应支持将一个NALU拆分为若干个RTP包不同大小的输入图片决定了NALU的长度可能会大于MTU只有拆分后才会避免IP层在传输时出现分片。 5、支持将多个NALU汇集在一个RTP分组中即在一个RTP包中传输超过一个NALU当多个图片的编码输出小于M1IU时就考虑此模式以提高网络传输效率。 RTP载荷封装设计 本文的网络传输是基于IP协议所以最大传输单元(MTU)最大为1500字节在使用IPUDPRTP的协议层次结构的时候这其中包括至少20字节的IP头8字节的UDP头以及12字节的RTP头。这样头信息至少要占用40个字节那么RTP载荷的最大尺寸为1460字节。 一方面如果每个IP分组都填满1500字节那么协议头的开销为27如果RTP载荷的长度为730字节协议头的开销仍达到53而假设RTP载荷的长度不到40字节那么将有50的开销用于头部这将对网络造成严重资源浪费。另一方面如果将要封装进RTP载荷的数据大于1460字节并且我们没有在应用层数据装载迸RTP包之前进行载荷分割将会产生大于MTU的包。在IP层其将会被分割成几个小于MTU尺寸的包这样将会无法检测数据是否丢失。因为IP和UDP协议都没有提供分组到达的检测如果分割后第一个包成功接收而后续的包丢失由于只有第一个包中包含有完整的RTP头信息而RTP头中没有关于载荷长度的标识因此判断不出该RTP包是否有分割丢失只能认为完整的接收了。并且在IP层的分割无法在应用层实现保护从而降低了非平等包含方案的效果。由于UDP数据分组小于64K字节而且一个片的长度对某些应用场合来说有点太小所以应用层的打包也是RTP打包机制的一个必要部分。最新的RFC3984标准中提供了针对H246媒体流的RTP负载格式主要有三种 单个NAL单元分组、聚合分组、片分组。 NAL单元单一打包 将一个NAL单元封装进一个包中也就是说RTP负载中只包含一个NAL单元NAL头部兼作RTP头部。RTP头部类型即NAL单元类型1-23如下图所示 NAL单元的重组 此分组类型用于将多个NAL单元聚合在一个RTP分组中。一些H264的NAL单元的大小如SEI NAL单元、参数集等都非常小有些只有几个字节因此应该把它们组合到一个RTP包中将会有利于减小头标(RTPUDPIP)的开销。目前存在着两种类型聚合分组 NAL单元的分割 将一个NAL单元分割使用多个RTP分组进行传输。共有两个类型FU—A和FU—B单元类型中分别为28和29。根据IP层MTU的大小对大尺寸的NALU必须要进行分割可以在分别在两个层次上进行分割 1)视频编码层VCL上的分割 为了适应网络MTU的尺寸可以使用编码器来选择编码Slice NALU的大小从而使其提供较好的性能。一般是对编码Slice的大小进行调整使其小于1460字节以免IP层的分割。 2)网络提取层NAL上的分割 在网络提取层上对NALU的分割主要是采用分片单元方案H264标准中提出了分割机制可以使NAL单元的尺寸小于1460字节。注意此方式是针对同一个NAL单元进行分割的不适用于聚合分组。一个NAL单元采用分割分组后每个RTP分组序列号依次递增lRTP时间戳相同且惟一。NAL单元的分割是RTP打包机制的一个重要环节总结其分割机制主要有如下几个特点 ①分割NALU时是以RTP次序号升序进行传输。在序列号不循环的前提下属于前一帧图像的所有图像片包以及ABC数据分割包的序列号要小于后帧图像中的图像片及数据分割包的序列号。 ②一个符号机制来标记一个分割的NALU是第一个还是最后一个NAL单元。 3.存在另外一个符号机制用来检测是否有丢失的分块。 ④辅助增强信息包和头信息包可以任意时间发送。 ⑤同一帧图像中的图像片可以以任意顺序发送但是对于低时延要求的网络系统最好是以他们原始的编码顺序来发送。 1)单一时间聚合分组(STAP)包括单一时间聚合分组A(STAP—A)和单一时间聚合分组B(STAP—B)按时间戳进行组合他们的NAL单元具有相同的时间戳一般用于低延迟环境。STAP—ASTAP—B的单元类型分别为24和25。 2)多时间聚合分组(MTAP)包括16比特偏移多时间聚合分组(MTAPl6)和24比特偏移多时间聚合分组(MTAP24)不同时间戳也可以组合一般用于高延迟的网络环境比如流媒体应用它的打包方案相对复杂但是大大增强了基于流媒体的H264的性能。MTAPl6 MTAP24的单元类型分别为26和27。 RTP包的封装流程设计 根据H264NAL单元的分割重组的性质以及RTP打包规则本文实行的对RTP打包的设计如下 1、若接收到的NAL单元小于MAX—SIZE(此时MAX-sIZE为设定的最大传输单元)则对它进行单一打包也就是将此NAL单元直接放进RTP包的载荷部分生成一个RTP包。 2、若接收到的NAL单元大于MAx—SIZE字节则对它进行分割然后对分割后的NAL单元进行步骤1方式打包。分割方案如下 其中Nsize是分割前的NAL单元大小N是分割后NAL单元的大小。K分割后的单元数。分割后最后一个单元的大小可能会小于N这时必须使用RTP载荷填充是其同前面的分块大小相同此时RTP头中的填充标识位值为1。 3、对SEI参数集等小NAL单元重组将它们合并到一个RTP包中。虽然步骤3中的重组方案可以减小IPUDPRTP头部开销但是对于包丢失率比较高的网络环境这意味着一个RTP包的丢失可能会导致多片的丢失往往一个片中就有一个P图像解码后的视频质量必然会严重下降。因此在丢失率的网络中可以采用NAL单元的重组方案而在高丢失率的网络环境中采用NAL单元重组时要进行有效的差错控制在本文中不使用重组方案。 RTPRTCP包的封装实现 RTP包封装设计 RTcP包的封装设计 RTCP报文封装在UDP数据报中进行传输发送时使用比它所属的RTP流的端口号大1的协议号(RTP使用偶数号RTCP使用奇数号)。以下是RTCP头部数据结构
