故乡网站开发的意义,永久免费影视建站程序,lamp wordpress 404,个人网站做论坛文章目录前戏编解码技术流程主流视频编码标准视频传输面临的问题视频传输差错控制视频传输Qos质量保证参数人类视觉系统HVS 以及相应编码措施正餐编码层次与码流结构PB帧编码IBBP序列编码结构图像编码结构条带编码结构宏块编码结构块编码结构预测技术码率控制实例H264前戏
编解… 文章目录前戏编解码技术流程主流视频编码标准视频传输面临的问题视频传输差错控制视频传输Qos质量保证参数人类视觉系统HVS 以及相应编码措施正餐编码层次与码流结构PB帧编码IBBP序列编码结构图像编码结构条带编码结构宏块编码结构块编码结构预测技术码率控制实例H264 前戏
编解码技术流程
1、预测
去除空间冗余、时间冗余
分为帧内预测、帧间预测
2、变换
从时域变换到频域去除相邻数据之间的相关性去除空间冗余分为DCT余弦变换、小波变换
3、量化
去除视觉冗余通过降低图像质量提高压缩比
4、扫描
将二位变换量化数据重新组织成一维的数据序列
4、熵编码
去除编码冗余变长编码算术编码霍夫曼编码
霍夫曼编码可以参考一下
编解码流程如下 主流视频编码标准
MPEG-2MPEG-4 Simple ProfileH.264/AVCAVSVC-1
视频传输面临的问题
传输系统不可靠
1、带宽限制
2、信号衰减
3、噪声干扰
4、传输延迟
传输会出现的问题
1、不能解码出正确的视频
2、视频播放延迟
视频传输差错控制
差错控制解决了视频传输过程中由于数据丢失or延迟导致的问题。
主要技术有
1、信道编码差错控制技术
2、编码器差错恢复
3、解码器差错隐藏
视频传输Qos质量保证参数
1、数据包的端到端延迟
2、带宽bit/s
3、数据包的流失率
4、数据包的延迟时间的波动
人类视觉系统HVS 以及相应编码措施
HVS的构成眼镜、神经、大脑
HVS的特点
1、对高频信息不敏感
2、对高对比度更敏感
3、对亮度信息比色度信息更敏感
4、对运动信息更敏感
所以数字视频系统的设计应该考虑
1、丢弃高频信息只编码低频
2、提高边缘信息的主观质量
3、降低色度的解析度
4、对ROI区域进行特殊处理如人脸部分
正餐
编码层次与码流结构
1、序列
2、图像组
3、图像
4、条带
5、宏块
6、块 PB帧编码
当前帧将要编码的图像
参考帧预测块所在的图像
前向预测帧P帧 双向预测帧B帧 IBBP序列编码结构
序列指的是一段连续编码的并具有相同参数的视频图像
序列起始码指的是转悠的一段比特串表示一个序列的压缩数据的开始。如MPEG-2的序列起始码为16进制数000001B3
序列头指的是记录序列的信息包含档次Profile、级别Level、宽度、高度、是否逐行序列、帧率等内容
序列结束码指的是一段专有的比特串标识该序列的压缩数据的结束。如MPEG-2的序列结束码为16进制数000001B7
一段视频将有一段序列帧组成 图像编码结构
包括了图像、图像起始码、图像头
图像起始码一段比特串标识一个图像的压缩数据的开始如MPEG-2的图像起始码为16进制数00000000
图像头记录图像信息包含图像编码类型、图像距离、图像编码结构、图像是否为逐行扫描
条带编码结构
条带多个宏块的组合
条带起始码专有的一段比特串标识一个条带的压缩数据的开始。如MPEG-2的条带起始码为16进制数0000010~AF
条带头记录当前的条带相关信息如条带位置、条带量化参数、宏块编码技术标识
一个图像会被划分为各个条带 宏块编码结构
宏块16*16的像素块
宏块内容宏块的编码类型、编码模式、参考帧索引、运动矢量信息、宏块编码系数等
块编码结构
1、88或者44的变换量化系数的熵编码数据
2、CBP(code block pattern)用来指示块的变换量化系数是否全为零。
对于YUV(4:2:0)编码CBP通常为6bit长每一个bit对应了一个块当某一块的变换量化系数全为0其对应的比特位为0否则为1
3、每个块的变换量化系数的最后用一个EOBend of block符号来标识
预测技术
帧内预测即空间预测利用当前编码块周围已经重构出来的像素预测当前块
图像编码I帧
帧间预测即时间预测利用时间上相邻图像的相关性来预测
包括运动估计Motion EstimationME运动补偿Motion CompensationMC
图像编码前向预测编码图像P帧、双向预测编码图像B帧 码率控制
受到缓冲区、带宽限制编码码率不能无限制增长需要通过码率控制将编码码流控制在目标范围内。
一般调整量化参数的手段控制码率
帧级控制
条带级控制
宏块控制
需要考虑的问题
1、防止码流有较大波动导致缓冲区发生溢出
2、同时保持缓冲区尽可能充满让图像质量尽可能好且稳定
CBRconstant bit rate比特率稳定但图像质量变化大。
VBRvariable bit rate比特率波动大但是图像质量稳定
码率控制算法分为码率控制和分配码率控制属于非标准技术编码端有解码端没有。
实例H264
H.264是在MPEG-4技术的基础之上建立起来的其编解码流程主要包括5个部分帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码。
H.264与以前的国际标准如H.263和MPEG-4相比最大的优势体现在以下四个方面
帧内预测编码
帧内编码用来缩减图像的空间冗余。为了提高H.264帧内编码的效率在给定帧中充分利用相邻宏块的空间相关性相邻的宏块通常含有相似的属性。因此在对一给定宏块编码时首先可以根据周围的宏块预测典型的是根据左上角的宏块因为此宏块已经被编码处理然后对预测值与实际值的差值进行编码这样相对于直接对该帧编码而言可以大大减小码率。
帧间预测编码
帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。H.264的运动补偿支持以往的视频编码标准中的大部分关键特性而且灵活地添加了更多的功能除了支持P帧、B帧外H.264还支持一种新的流间传送帧——SP帧如图3所示。码流中包含SP帧后能在有类似内容但有不同码率的码流之间快速切换同时支持随机接入和快速回放模式。
整数变换
在变换方面H.264使用了基于4×4像素块的类似于DCT的变换但使用的是以整数为基础的空间变换不存在反变换因为取舍而存在误差的问题。与浮点运算相比整数DCT变换会引起一些额外的误差但因为DCT变换后的量化也存在量化误差与之相比整数DCT变换引起的量化误差影响并不大。此外整数DCT变换还具有减少运算量和复杂度有利于向定点DSP移植的优点。
量化
H.264中可选32种不同的量化步长这与H.263中有31个量化步长很相似但是在H.264中步长是以12.5%的复合率递进的而不是一个固定常数。
在H.264中变换系数的读出方式也有两种之字形Zigzag扫描和双扫描。大多数情况下使用简单的之字形扫描双扫描仅用于使用较小量化级的块内有助于提高编码效率。
熵编码
视频编码处理的最后一步就是熵编码在H.264中采用了两种不同的熵编码方法通用可变长编码UVLC和基于文本的自适应二进制算术编码CABAC。
在H.263等标准中根据要编码的数据类型如变换系数、运动矢量等采用不同的VLC码表。H.264中的UVLC码表提供了一个简单的方法不管符号表述什么类型的数据都使用统一变字长编码表。其优点是简单缺点是单一的码表是从概率统计分布模型得出的没有考虑编码符号间的相关性在中高码率时效果不是很好。
因此H.264中还提供了可选的CABAC方法。算术编码使编码和解码两边都能使用所有句法元素变换系数、运动矢量的概率模型。为了提高算术编码的效率通过内容建模的过程使基本概率模型能适应随视频帧而改变的统计特性。内容建模提供了编码符号的条件概率估计利用合适的内容模型存在于符号间的相关性可以通过选择目前要编码符号邻近的已编码符号的相应概率模型来去除不同的句法元素通常保持不同的模型。
其优势总结如下
1低码率Low Bit Rate
和MPEG2和MPEG4 ASP等压缩技术相比在同等图像质量下采用H.264技术压缩后的数据量只有MPEG2的1/8MPEG4的1/3。
2高质量的图象
H.264能提供连续、流畅的高质量图象DVD质量。
3容错能力强
H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。
4网络适应性强
H.264提供了网络抽象层Network Abstraction Layer使得H.264的文件能容易地在不同网络上传输例如互联网CDMAGPRSWCDMACDMA2000等。
H.264最大的优势是具有很高的数据压缩比率在同等图像质量的条件下H.264的压缩比是MPEG-2的2倍以上是MPEG-4的1.52倍。举个例子原始文件的大小如果为88GB采用MPEG-2压缩标准压缩后变成3.5GB压缩比为25∶1而采用H.264压缩标准压缩后变为879MB从88GB到879MBH.264的压缩比达到惊人的102∶1。低码率Low Bit Rate对H.264的高的压缩比起到了重要的作用和MPEG-2和MPEG-4 ASP等压缩技术相比H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是H.264在具有高压缩比的同时还拥有高质量流畅的图像正因为如此经过H.264压缩的视频数据在网络传输过程中所需要的带宽更少也更加经济。
H.264 草案中包含了用于差错消除的工具便于压缩视频在误码、丢包多发环境中传输如移动信道或IP信道中传输的健壮性。
为了抵御传输差错H.264视频流中的时间同步可以通过采用帧内图像刷新来完成空间同步由条结构编码slice structured coding来支持。同时为了便于误码以后的再同步在一幅图像的视频数据中还提供了一定的重同步点。另外帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码效率还可以考虑传输信道的特性。
除了利用量化步长的改变来适应信道码率外在H.264中还常利用数据分割的方法来应对信道码率的变化。从总体上说数据分割的概念就是在编码器中生成具有不同优先级的视频数据以支持网络中的服务质量QoS。例如采用基于语法的数据分割syntax-based data partitioning方法将每帧数据的按其重要性分为几部分这样允许在缓冲区溢出时丢弃不太重要的信息。还可以采用类似的时间数据分割temporal data partitioning方法通过在P帧和B帧中使用多个参考帧来完成。
在无线通信的应用中可以通过改变每一帧的量化精度或空间/时间分辨率来支持无线信道的大比特率变化。可是在多播的情况下要求编码器对变化的各种比特率进行响应是不可能的。因此不同于MPEG-4中采用的精细分级编码FGSFine Granular Scalability的方法效率比较低H.264采用流切换的SP帧来代替分级编码。
H.264已被广泛应用于实时视频应用中相比以往的方案使得在同等速率下H.264能够比H.263减小50%的码率。也就是说用户即使是只利用 384kbit/s的带宽就可以享受H.263下高达 768kbit/s的高质量视频服务。H.264 不但有助于节省庞大开支还可以提高资源的使用效率同时令达到商业质量的实时视频服务拥有更多的潜在客户。
