辽宁城乡住房建设厅网站,人力资源公司简介模板,企业管理培训课程推广,营销型网站建设电子书H.264基本概况随着HDTV的兴起#xff0c;H.264这个规范频频出现在我们眼前#xff0c;HD-DVD和蓝光DVD均计划采用这一标准进行节目制作。而且自2005年下半年以来#xff0c;无论是NVIDIA还是ATI都把支持H.264硬件解码加速作为自己最值得夸耀的视频技术。H.264到底是何方“神…H.264基本概况随着HDTV的兴起H.264这个规范频频出现在我们眼前HD-DVD和蓝光DVD均计划采用这一标准进行节目制作。而且自2005年下半年以来无论是NVIDIA还是ATI都把支持H.264硬件解码加速作为自己最值得夸耀的视频技术。H.264到底是何方“神圣”呢 H.264是一种高性能的视频编解码技术。目前国际上制定视频编解码技术的组织有两个一个是“国际电联ITU-T”它制定的标准有H.261、H.263、H.263等另一个是“国际标准化组织ISO”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组JVT共同制定的新数字视频编码标准所以它既是ITU-T的H.264又是ISO/IEC的MPEG-4高级视频编码Advanced Video CodingAVC而且它将成为MPEG-4标准的第10部分。因此不论是MPEG-4 AVC、MPEG-4 Part 10还是ISO/IEC 14496-10都是指H.264。 H.264最大的优势是具有很高的数据压缩比率在同等图像质量的条件下H.264的压缩比是MPEG-2的2倍以上是MPEG-4的1.52倍。举个例子原始文件的大小如果为88GB采用MPEG-2压缩标准压缩后变成3.5GB压缩比为25∶1而采用H.264压缩标准压缩后变为879MB从88GB到879MBH.264的压缩比达到惊人的102∶1H.264为什么有那么高的压缩比低码率Low Bit Rate起了重要的作用和MPEG-2和MPEG-4 ASP等压缩技术相比H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是H.264在具有高压缩比的同时还拥有高质量流畅的图像。 H.264算法的优势 H.264是在MPEG-4技术的基础之上建立起来的其编解码流程主要包括5个部分帧间和帧内预测Estimation、变换Transform和反变换、量化Quantization和反量化、环路滤波Loop Filter、熵编码Entropy Coding。 H.264/MPEG-4 AVCH.264是1995年自MPEG-2视频压缩标准发布以后的最新、最有前途的视频压缩标准。H.264是由ITU-T和ISO/IEC的联合开发组共同开发的最新国际视频编码标准。通过该标准在同等图象质量下的压缩效率比以前的标准提高了2倍以上因此H.264被普遍认为是最有影响力的行业标准。 H.264的发展历史 H.264在1997年ITU的视频编码专家组Video Coding Experts Group提出时被称为H.26L在ITU与ISO合作研究后被称为MPEG4 Part10MPEG4 AVC或H.264JVT。 H.264的高级技术背景 H.264标准的主要目标是与其它现有的视频编码标准相比在相同的带宽下提供更加优秀的图象质量。 而H.264与以前的国际标准如H.263和MPEG-4相比最大的优势体现在以下四个方面 1 将每个视频帧分离成由像素组成的块因此视频帧的编码处理的过程可以达到块的级别。 2 采用空间冗余的方法对视频帧的一些原始块进行空间预测、转换、优化和熵编码可变长编码。 3 对连续帧的不同块采用临时存放的方法这样只需对连续帧中有改变的部分进行编码。该算法采用运动预测和运动补偿来完成。对某些特定的块在一个或多个已经进行了编码的帧执行搜索来决定块的运动向量并由此在后面的编码和解码中预测主块。 4 采用剩余空间冗余技术对视频帧里的残留块进行编码。例如对于源块和相应预测块的不同再次采用转换、优化和熵编码。 H.264的特征和高级优势 H.264是国际标准化组织ISO和国际电信联盟ITU共同提出的继MPEG4之后的新一代数字视频压缩格式它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点。 1低码流Low Bit Rate和MPEG2和MPEG4 ASP等压缩技术相比在同等图像质量下采用H.264技术压缩后的数据量只有MPEG2的1/8MPEG4的1/3。 显然H.264压缩技术的采用将大大节省用户的下载时间和数据流量收费。 2高质量的图象H.264能提供连续、流畅的高质量图象DVD质量。 3容错能力强H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。 4网络适应性强H.264提供了网络抽取层Network Abstraction Layer, 使得H.264的文件能容易地在不同网络上传输例如互联网CDMAGPRSWCDMACDMA2000等。 H.264标准概述 H.264和以前的标准一样也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计不用众多的选项获得比H.263好得多的压缩性能加强了对各种信道的适应能力采用“网络友好”的结构和语法有利于对误码和丢包的处理应用目标范围较宽以满足不同速率、不同解析度以及不同传输存储场合的需求。 技术上它集中了以往标准的优点并吸收了标准制定中积累的经验。与H.263 v2(H.263)或MPEG-4简单类(Simple Profile)相比H.264在使用与上述编码方法类似的最佳编码器时在大多数码率下最多可节省50%的码率。H.264在所有码率下都能持续提供较高的视频质量。H.264能工作在低延时模式以适应实时通信的应用(如视频会议)同时又能很好地工作在没有延时限制的应用如视频存储和以服务器为基础的视频流式应用。H.264提供包传输网中处理包丢失所需的工具以及在易误码的无线网中处理比特误码的工具。 在系统层面上H.264提出了一个新的概念在视频编码层(Video Coding Layer, VCL)和网络提取层(Network Abstraction Layer, NAL)之间进行概念性分割前者是视频内容的核心压缩内容之表述后者是通过特定类型网络进行递送的表述这样的结构便于信息的封装和对信息进行更好的优先级控制。H.264的系统编码框图如图1所示。 H.264标准的主要特点 H264标准是由JVTJoint Video Team视频联合工作组组织提出的新一代数字视频编码标准。JVT于2001年12月在泰国Pattaya成立。它由ITU-T的VCEG视频编码专家组和ISO/IEC的MPEG活动图像编码专家组两个国际标准化组织的专家联合组成。JVT的工作目标是制定一个新的视频编码标准以实现视频的高压缩比、高图像质量、良好的网络适应性等目标H264标准。H264标准将作为MPEG-4标准的一个新的部分MPEG-4 part.10而获得批准是一个面向未来IP和无线环境下的新数字视频压缩编码标准。 H264标准的主要特点如下 1更高的编码效率同H.263等标准的特率效率相比能够平均节省大于50的码率。 2高质量的视频画面H.264能够在低码率情况下提供高质量的视频图像在较低带宽上提供高质量的图像传输是H.264的应用亮点。 3提高网络适应能力H.264可以工作在实时通信应用如视频会议低延时模式下也可以工作在没有延时的视频存储或视频流服务器中。 4采用混合编码结构同H.263相同H.264也使用采用DCT变换编码加DPCM的差分编码的混合编码结构还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式提高了编码效率。 5H.264的编码选项较少在H.263中编码时往往需要设置相当多选项增加了编码的难度而H.264做到了力求简洁的“回归基本”降低了编码时复杂度。 6H.264可以应用在不同场合H.264可以根据不同的环境使用不同的传输和播放速率并且提供了丰富的错误处理工具可以很好的控制或消除丢包和误码。 7错误恢复功能H.264提供了解决网络传输包丢失的问题的工具适用于在高误码率传输的无线网络中传输视频数据。 8较高的复杂度264性能的改进是以增加复杂性为代价而获得的。据估计H.264编码的计算复杂度大约相当于H.263的3倍解码复杂度大约相当于H.263的2倍。 H264标准各主要部分有Access Unit delimiter访问单元分割符SEI附加增强信息primary coded picture基本图像编码Redundant Coded Picture冗余图像编码。还有Instantaneous Decoding RefreshIDR即时解码刷新、Hypothetical Reference DecoderHRD假想参考解码、Hypothetical Stream SchedulerHSS假想码流调度器。[4]. H.264标准的关键技术 1.帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高H.264帧内编码的效率在给定帧中充分利用相邻宏块的空间相关性相邻的宏块通常含有相似的属性。因此在对一给定宏块编码时首先可以根据周围的宏块预测典型的是根据左上角的宏块因为此宏块已经被编码处理然后对预测值与实际值的差值进行编码这样相对于直接对该帧编码而言可以大大减小码率。 H.264提供6种模式进行4×4像素宏块预测包括1种直流预测和5种方向预测如图2所示。在图中相邻块的A到I共9个像素均已经被编码可以被用以预测如果我们选择模式4那么a、b、c、d4个像素被预测为与E相等的值e、f、g、h4个像素被预测为与F相等的值对于图像中含有很少空间信息的平坦区H.264也支持16×16的帧内编码。 图2 帧内编码模式 2.帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。H.264的运动补偿支持以往的视频编码标准中的大部分关键特性而且灵活地添加了更多的功能除了支持P帧、B帧外H.264还支持一种新的流间传送帧——SP帧如图3所示。码流中包含SP帧后能在有类似内容但有不同码率的码流之间快速切换同时支持随机接入和快速回放模式。图3 SP-帧示意图H.264的运动估计有以下4个特性。 (1)不同大小和形状的宏块分割 对每一个16×16像素宏块的运动补偿可以采用不同的大小和形状H.264支持7种模式如图4所示。小块模式的运动补偿为运动详细信息的处理提高了性能减少了方块效应提高了图像的质量。图4 宏块分割方法 (2)高精度的亚像素运动补偿 在H.263中采用的是半像素精度的运动估计而在H.264中可以采用1/4或者1/8像素精度的运动估值。在要求相同精度的情况下H.264使用1/4或者1/8像素精度的运动估计后的残差要比H.263采用半像素精度运动估计后的残差来得小。这样在相同精度下H.264在帧间编码中所需的码率更小。 (3)多帧预测 H.264提供可选的多帧预测功能在帧间编码时可选5个不同的参考帧提供了更好的纠错性能这样更可以改善视频图像质量。这一特性主要应用于以下场合周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机的镜头。 (4)去块滤波器 H.264定义了自适应去除块效应的滤波器这可以处理预测环路中的水平和垂直块边缘大大减少了方块效应。 3.整数变换 在变换方面H.264使用了基于4×4像素块的类似于DCT的变换但使用的是以整数为基础的空间变换不存在反变换因为取舍而存在误差的问题变换矩阵如图5所示。与浮点运算相比整数DCT变换会引起一些额外的误差但因为DCT变换后的量化也存在量化误差与之相比整数DCT变换引起的量化误差影响并不大。此外整数DCT变换还具有减少运算量和复杂度有利于向定点DSP移植的优点。 4.量化 H.264中可选32种不同的量化步长这与H.263中有31个量化步长很相似但是在H.264中步长是以12.5%的复合率递进的而不是一个固定常数。 在H.264中变换系数的读出方式也有两种之字形(Zigzag)扫描和双扫描如图6所示。大多数情况下使用简单的之字形扫描双扫描仅用于使用较小量化级的块内有助于提高编码效率。图6 变换系数的读出方式 5.熵编码 视频编码处理的最后一步就是熵编码在H.264中采用了两种不同的熵编码方法通用可变长编码UVLC和基于文本的自适应二进制算术编码CABAC。 在H.263等标准中根据要编码的数据类型如变换系数、运动矢量等采用不同的VLC码表。H.264中的UVLC码表提供了一个简单的方法不管符号表述什么类型的数据都使用统一变字长编码表。其优点是简单缺点是单一的码表是从概率统计分布模型得出的没有考虑编码符号间的相关性在中高码率时效果不是很好。 因此H.264中还提供了可选的CABAC方法。算术编码使编码和解码两边都能使用所有句法元素(变换系数、运动矢量)的概率模型。为了提高算术编码的效率通过内容建模的过程使基本概率模型能适应随视频帧而改变的统计特性。内容建模提供了编码符号的条件概率估计利用合适的内容模型存在于符号间的相关性可以通过选择目前要编码符号邻近的已编码符号的相应概率模型来去除不同的句法元素通常保持不同的模型。 四、H.264在视频会议中的应用 目前大多数的视频会议系统均采用H.261或H.263视频编码标准而H.264的出现使得在同等速率下H.264能够比H.263减小50%的码率。也就是说用户即使是只利用 384kbit/s的带宽就可以享受H.263下高达 768kbit/s的高质量视频服务。H.264 不但有助于节省庞大开支还可以提高资源的使用效率同时令达到商业质量的视频会议服务拥有更多的潜在客户。 目前已经有少数几家厂商的视频会议产品支持H.264协议厂商们致力于普及H.264这个全新的业界标准。随着其它视频会议方案厂商陆续效仿他们的做法我们必将能全面体验H.264视频服务的优势。 H.264的技术亮点 1、分层设计 H.264的算法在概念上可以分为两层视频编码层VCLVideo Coding Layer负责高效的视频内容表示网络提取层NALNetwork Abstraction Layer负责以网络所要求的恰当的方式对数据进行打包和传送。在VCL和NAL之间定义了一个基于分组方式的接口打包和相应的信令属于NAL的一部分。这样高编码效率和网络友好性的任务分别由VCL和NAL来完成。 VCL层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准一样H.264没有把前处理和后处理等功能包括在草案中这样可以增加标准的灵活性。 NAL负责使用下层网络的分段格式来封装数据包括组帧、逻辑信道的信令、定时信息的利用或序列结束信号等。例如NAL支持视频在电路交换信道上的传输格式支持视频在Internet上利用RTP/UDP/IP传输的格式。NAL包括自己的头部信息、段结构信息和实际载荷信息即上层的VCL数据。如果采用数据分割技术数据可能由几个部分组成。 2、高精度、多模式运动估计 H.264支持1/4或1/8像素精度的运动矢量。在1/4像素精度时可使用6抽头滤波器来减少高频噪声对于1/8像素精度的运动矢量可使用更为复杂的8抽头的滤波器。在进行运动估计时编码器还可选择增强内插滤波器来提高预测的效果。 在H.264的运动预测中一个宏块MB可以按图2被分为不同的子块形成7种不同模式的块尺寸。这种多模式的灵活和细致的划分更切合图像中实际运动物体的形状大大提高了运动估计的精确程度。在这种方式下在每个宏块中可以包含有1、2、4、8或16个运动矢量。 在H.264中允许编码器使用多于一帧的先前帧用于运动估计这就是所谓的多帧参考技术。例如2帧或3帧刚刚编码好的参考帧编码器将选择对每个目标宏块能给出更好的预测帧并为每一宏块指示是哪一帧被用于预测。 3、4×4块的整数变换 H.264与先前的标准相似对残差采用基于块的变换编码但变换是整数操作而不是实数运算其过程和DCT基本相似。这种方法的优点在于在编码器中和解码器中允许精度相同的变换和反变换便于使用简单的定点运算方式。也就是说这里没有反变换误差。 变换的单位是4×4块而不是以往常用的8×8块。由于用于变换块的尺寸缩小运动物体的划分更精确这样不但变换计算量比较小而且在运动物体边缘处的衔接误差也大为减小。为了使小尺寸块的变换方式对图像中较大面积的平滑区域不产生块之间的灰度差异可对帧内宏块亮度数据的16个4×4块的DC系数每个小块一个共16个进行第二次4×4块的变换对色度数据的4个4×4块的DC系数每个小块一个共4个进行2×2块的变换。 H.264为了提高码率控制的能力量化步长的变化的幅度控制在12.5%左右而不是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少计算的复杂性。为了强调彩色的逼真性对色度系数采用了较小量化步长。 4、统一的VLC H.264中熵编码有两种方法一种是对所有的待编码的符号采用统一的VLCUVLC Universal VLC另一种是采用内容自适应的二进制算术编码CABACContext-Adaptive Binary Arithmetic Coding。CABAC是可选项其编码性能比UVLC稍好但计算复杂度也高。UVLC使用一个长度无限的码字集设计结构非常有规则用相同的码表可以对不同的对象进行编码。这种方法很容易产生一个码字而解码器也很容易地识别码字的前缀UVLC在发生比特错误时能快速获得重同步。 5、帧内预测 在先前的H.26x系列和MPEG-x系列标准中都是采用的帧间预测的方式。在H.264中当编码Intra图像时可用帧内预测。对于每个4×4块除了边缘块特别处置以外每 个像素都可用17个最接近的先前已编码的像素的不同加权和有的权值可为0来预测即此像素所在块的左上角的17个像素。显然这种帧内预测不是在时间上而是在空间域上进行的预测编码算法可以除去相邻块之间的空间冗余度取得更为有效的压缩。 如图4所示4×4方块中a、b、...、p为16 个待预测的像素点而A、B、...、P是已编码的像素。如m点的值可以由J2KL2/ 4 式来预测也可以由ABCDIJKL/ 8 式来预测等等。按照所选取的预测参考的点不同亮度共有9类不同的模式但色度的帧内预测只有1类模式。 6、面向IP和无线环境 H.264 草案中包含了用于差错消除的工具便于压缩视频在误码、丢包多发环境中传输如移动信道或IP信道中传输的健壮性。 为了抵御传输差错H.264视频流中的时间同步可以通过采用帧内图像刷新来完成空间同步由条结构编码slice structured coding来支持。同时为了便于误码以后的再同步在一幅图像的视频数据中还提供了一定的重同步点。另外帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码效率还可以考虑传输信道的特性。 除了利用量化步长的改变来适应信道码率外在H.264中还常利用数据分割的方法来应对信道码率的变化。从总体上说数据分割的概念就是在编码器中生成具有不同优先级的视频数据以支持网络中的服务质量QoS。例如采用基于语法的数据分割syntax-based data partitioning方法将每帧数据的按其重要性分为几部分这样允许在缓冲区溢出时丢弃不太重要的信息。还可以采用类似的时间数据分割temporal data partitioning方法通过在P帧和B帧中使用多个参考帧来完成。 在无线通信的应用中我们可以通过改变每一帧的量化精度或空间/时间分辨率来支持无线信道的大比特率变化。可是在多播的情况下要求编码器对变化的各种比特率进行响应是不可能的。因此不同于MPEG-4中采用的精细分级编码FGSFine Granular Scalability的方法效率比较低H.264采用流切换的SP帧来代替分级编码。 H264编码技术 H.264的目标应用涵盖了目前大部分的视频服务如有线电视远程监控、交互媒体、数字电视、视 标准的整体框架 频会议、视频点播、流媒体服务等。H.264为解决不同应用中的网络传输的差异。定义了两层视频编码层VCLVideo Coding Layer负责高效的视频内容表示网络提取层NALNetwork Abstraction Layer负责以网络所要求的恰当的方式对数据进行打包和传送(如图所示: 标准的整体框架)。 基本层次Baseline Profile该层次使用了H.264的除了B-SlicesCABAC以及交织编码模式外所有的特性。该层次主要使用于低时延的实时应用场合。 主要层次Main Profile包含Baseline profile的所有特性并包括了B-slicesCABAC以及交织编码模式。它主要针对对时延要求不高当压缩率和质量要求较高的场合。 扩展层次(Profile X)支持所有Baseline profile的特性但不支持CABAC以及基于宏块的自适应帧场编码。该层次主要针对的时各种网络视频流传输方面的应用。
H264层次构成 H264标准是由JVTJoint Video Team视频联合工作组组织提出的新一代数字视频编码标准。JVT于2001年12月在泰国Pattaya成立。它由ITU-T的VCEG视频编码专家组和ISO/IEC的MPEG活动图像编码专家组两个国际标准化组织的专家联合组成。JVT的工作目标是制定一个新的视频编码标准以实现视频的高压缩比、高图像质量、良好的网络适应性等目标H264标准。H264标准将作为MPEG-4标准的一个新的部分MPEG-4 part.10而获得批准是一个面向未来IP和无线环境下的新数字视频压缩编码标准。 H264标准的主要特点如下 1更高的编码效率同H.263等标准的特率效率相比能够平均节省大于50的码率。 2高质量的视频画面H.264能够在低码率情况下提供高质量的视频图像在较低带宽上提供高质量的图像传输是H.264的应用亮点。 3提高网络适应能力H.264可以工作在实时通信应用如视频会议低延时模式下也可以工作在没有延时的视频存储或视频流服务器中。 4采用混合编码结构同H.263相同H.264也使用采用DCT变换编码加DPCM的差分编码的混合编码结构还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式提高了编码效率。 5H.264的编码选项较少在H.263中编码时往往需要设置相当多选项增加了编码的难度而H.264做到了力求简洁的“回归基本”降低了编码时复杂度。 6H.264可以应用在不同场合H.264可以根据不同的环境使用不同的传输和播放速率并且提供了丰富的错误处理工具可以很好的控制或消除丢包和误码。 7错误恢复功能H.264提供了解决网络传输包丢失的问题的工具适用于在高误码率传输的无线网络中传输视频数据。 8较高的复杂度264性能的改进是以增加复杂性为代价而获得的。据估计H.264编码的计算复杂度大约相当于H.263的3倍解码复杂度大约相当于H.263的2倍。 H264标准各主要部分有Access Unit delimiter访问单元分割符SEI附加增强信息primary coded picture基本图像编码Redundant Coded Picture冗余图像编码。还有Instantaneous Decoding RefreshIDR即时解码刷新、Hypothetical Reference DecoderHRD假想码流调度器、Hypothetical Stream SchedulerHSS假想参考解码。[6].
H.264解码 由于目前蓝光格式的统一使得市面上绝大多数的高清视频均是采用H.264的格式编码它又分为四个最主要步骤分别是流处理逆变换动态补偿去方块滤波这四步也是资源消耗的主要四个部分。 H.264解码的四个步骤中的第一步“CAVLC/CABAC解码”是最为消耗运算资源这方面远高于其他三步简单的说CAVLC/CABAC是H.264编码规范中两种不同的算法都是为了提高压缩比其中CABAC比CAVLC压缩率更高但解码时自然也要求更高。 如果所有四个步骤全采用处理器纯软件解码运算当碰上HDDVD版本的高码率H.264视频处理器的负载会非常巨大即使能流畅播放高清视频也会因为处理器压力过重而影响其他同时开启的应用程序的执行效率。 如果让处理器解码“CAVLC/CABAC解码”和“反向转换Inverse Transformation”两部分由显示核心承担“运动补偿”和“解码去块”功能则可以在一定程度上降低处理器的压力。 不过对于使用单核处理器或低端双核处理器的用户来说这依然无法很好的应付这类视频其次碰上编码率更高的视频依然会给处理器造成很大的处理难度导致视频播放的不确定性可能消费者会遇到某些视频可以流畅播放但是有些视频却丢帧的情况。 通过以上两点可以看出由显示核心承担全部的H.264视频解码和处理过程让其解码运算可以基本不依赖处理器将是最为经济、便捷的方法。如果能实现这一点以后消费者就无需过分担心自己的处理器性能如何不同的视频编码率导致的负载差距过大等等问题只要选择一颗能支持“H.264全解码”的显示核心就能无所顾忌的播放所有高清视频而采用了高清加速引擎的英特尔GMA X4500HD芯片组则能够轻松全程解码H.264格式的高清视频再加上高级去交错技术、电影模式检测、细节增强技术、ProcAMP技术和最新的显示连接技术则能够从图像品质、色彩饱和度以及高清接口等方面提升用户的高清体验。
H.264的性能比较 TML-8为H.264的测试模式用它来对H.264的视频编码效率进行比较和测试。测试结果所提供的PSNR已清楚地表明相对于MPEG-4ASPAdvanced Simple Profile和H.263HLPHigh Latency Profile的性能H.264的结果具有明显的优越性。 H.264的PSNR比MPEG-4ASP和H.263HLP明显要好在6种速率的对比测试中H.264的PSNR比MPEG-4ASP平均要高2dB比H.263HLP平均要高3dB。6个测试速率及其相关的条件分别为32 kbit/s速率、10f/s帧率和QCIF格式64 kbit/s速率、15f/s帧率和QCIF格式128kbit/s速率、15f/s帧率和CIF格式256kbit/s速率、15f/s帧率和QCIF格式512 kbit/s速率、30f/s帧率和CIF格式1024 kbit/s速率、30f/s帧率和CIF格式。
H.264的错误恢复工具 错误恢复的工具随着视频压缩编码技术的提高在不断改进。旧的标准(H.261、H263、MPEG-2的第二部分)中使用片和宏块组的划分、帧内编码宏 块、帧内编码片和帧内编码图像来防止错误的扩散。之后改进的标准(H.263、MPEG-4)中使用多帧参考和数据分割技术来恢复错误。 H.264标准在以前的基础上提出了三种关键技术(1)参数集合(2) 灵活的宏块次序(FMO)(3)冗余片(RS)来进行错误的恢复。 1. 帧内编码 H.264中帧内编码的技术和以前标准一样值得注意的是 (1)H.264中的帧内预测编码宏块的参考宏块可以是帧间编码宏块帧内预测宏块并不像H.263中的帧内编码一样而采用预测的帧内编码比非预测的帧 内编码有更好的编码效率但减少了帧内编码的重同步性能可以通过设置限制帧内预测标记来恢复这一性能。 (2)只包含帧内宏块的片有两种一种是帧内片(Islice)一种是立即刷新片(IDRslice)立即刷新片必存在于立即刷新图像 (IDRpicture)中。与短期参考图像相比立即刷新图像有更强壮的重同步性能。 在无线IP网络环境下为了提高帧内图像的重同步性能要采用率失真优化编码和设置限制帧内预测标记。 2. 图像的分割 H.264支持一幅图像划分成片片中宏块的数目是任意的。在非FMO模式下片中的宏块次序是同光栅扫描顺序FMO模式下比较特殊。片的划分可以适配不同的MTU尺寸也可以用来交织分组打包。 3. 参考图像选择 参考图像数据选择不论是基于宏块、基于片还是基于帧都是错误恢复的有效工具。对于有反馈的系统编码器获得传输中丢失图像区域的信息后参考图像可 以选择解码已经正确接收的图像对应的原图像区域作参考。在没有反馈的系统中将会使用冗余的编码来增加错误恢复性能。 4. 数据的划分 通常情况下一个宏块的数据是存放在一起而组成片的数据划分使得一个片中的宏块数据重新组合把宏块语义相关的数据组成一个划分由划分来组装片。 在H.264中有三种不同的数据划分。 头信息划分包含片中宏块的类型量化参数和运动矢量是片中最重要的信息。 帧内信息划分包含帧内CBPs和帧内系数帧内信息可以阻止错误的蔓延。 帧间信息划分包含帧间CBPs和帧间系数通常比前两个划分要大得多。 帧内信息划分结合头信息解出帧内宏块帧间信息划分结合头信息解出帧间宏块。帧间信息划分的重要性最低对重同步没有贡献。当使用数据划分时片中的数据根据其类型被保存到不同的缓存同时片的大小也要调整使得片中最大的划分小于MTU尺寸。 解码端若获得所有的划分就可以完整重构片解码端若发现帧内信息或帧间信息划分丢失可用的头信息仍然有很好的错误恢复性能。这是因为宏块类型和宏块的运动矢量含有宏块的基本特征。 5. 参数集的使用 序列的参数集(SPS)包括了一个图像序列的所有信息图像的参数集(PPS)包括了一个图像所有片的信息。多个不同的序列和图像参数集经排序存放在解码 器。编码器参考序列参数集设置图像参数集依据每一个已编码片的片头的存储地址选择合适的图像参数集来使用。对序列的参数和图像的参数进行重点保护才能很 好地增强H.264错误恢复性能。 在差错信道中使用参数集的关键是保证参数集及时、可靠地到达解码端。例如在实时信道中编码器用可靠控制协议及早将他们以带外传输的方式发送使控制协 议能够在引用新参数的第一个片到达之前把它们发给解码器另外一个办法就是使用应用层保护重发多个备份文件确保至少有一个备份数据到达解码端第三个 办法就是在编解码器的硬件中固化参数集设置。 6. 灵活的宏块次序(FMO 灵活的宏块次序是H.264的一大特色通过设置宏块次序映射表(MBAmap)来任意地指配宏块到不同的片组FMO模式打乱了原宏块顺序降低了编码 效率增加了时延但增强了抗误码性能。FMO模式划分图像的模式各种各样重要的有棋盘模式、矩形模式等。当然FMO模式也可以使一帧中的宏块顺序分 割使得分割后的片的大小小于无线网络的MTU尺寸。经过FMO模式分割后的图像数据分开进行传输以棋盘模式为例当一个片组的数据丢失时可用另一个片 组的数据(包含丢失宏块的相邻宏块信息)进行错误掩盖。实验数据显示当丢失率为(视频会议应用时)10%时经错误掩盖后的图像仍然有很高的质 量。 7. 冗余片方法 前边提到了当使用无反馈的系统时就不能使用参考帧选择的方法来进行错误恢复应该在编码时增加冗余的片来增强抗误码性能。要注意的是这些冗余片的编码参 数与非冗余片的编码参数不同也就是用一个模糊的冗余片附加在一个清晰的片之后。在解码时先解清晰的片如果其可用就丢弃冗余片否则使用冗余模糊片来重 构图像。
H.264在动中通应急图像传输中的应用 动中通系统对编解码技术的需求 动中通系统的卫星通道的特点决定了编解码器要具备如下能力。 第一受动中通卫星天线增益、经纬度、地球同步轨道通信卫星自身参数以及天气状况如下雨、多云的限制在许多地区上行带宽超不过1.5Mbit/s。结合我公安实战要求需要编解码器在低于1.5Mbit/s的带宽下能够传输清晰的D1质量的图像。 第二由于受到树木、山体及建筑物等物体的遮挡卫星通道经常出现中断这就要求图像编解码器在卫星链路恢复后能够即时恢复图像传输。 第三卫星链路相对于有线链路其误码率要高很多这就给动中通系统的编解码系统提出了更高的要求要采取相应机制以适应较高的误码率。 第四动中通系统经常需要在高速运行的环境下进行图像传输此时图像的变化将非常剧烈这就对编解码器的运算处理能力提出了更高的要求这种要求远大于对室内电视会议系统图像处理能力的要求。 第五动中通系统一般运行在车载环境中环境温度较高电磁干扰较强对编解码器的适应性和抗干扰性能都提出了很高的要求。 H.264技术是动中通图像 编解码器理想的选择 1.H.264技术的产生与发展 图1 视频编码标准沿革示意图 H.264是一种高性能的视频编解码技术。它是由两大标准化组织联合组建的联合视频组JVT共同制定的新数字视频编码标准所以它既是ITU-T的H.264又是ISO/IEC的MPEG-4高级视频编码AdvancedVideoCodingAVC而且它将成为MPEG-4标准的第10部分。 2.H.264技术可以很好地适应动中通卫星通道的特点与动中通系统有效地结合。 (1具有较高的压缩效率 H.264编码视频流与H.263或MPEG-4Simple Profile编码视频流相比平均可节省39的比特率。通过引入一系列新特性H.264的压缩率提升近1倍,大大节省了卫星的传输带宽。目前国内的H.264编解码器厂商可以在1.2Mbit/s的编码码率下实现D1720×576分辨率的连续清晰图像。 表1 H.264与MPEG-2压缩码率比较 (2基于UDP实现图像即时恢复 由于受到遮挡动中通系统经常发生卫星链路中断的现象在卫星信号恢复后编解码系统要能够以最快的速度恢复图像传输。H.264可以把关键信息分离出来减小断流再恢复的同步时间同时H.264编解码器可以建立在UDP基础之上能够快速重建链路目前国内的编解码器厂商已经实现图像即时恢复。 (3具有较强的抗丢包和抗误码性能 在卫星数据通信过程中由于噪声和其它原因误码是必然存在的。H.264标准的参数集和片的使用、FMO、冗余片等关键技术可以大大提高系统的抗丢包和抗误码性能。H.264定义了视频编码层VLC和网络提取层NAL并在框架结构上进行了分离可以在异构网络环境中使用。H.264把关键信息分离出来凭借参数集的设计确保在易出错的环境中正确地传输它们也增强了码流传输的错误恢复能力。H.264技术中定义了灵活片组FMO、数据分割等错误恢复工具方便解码端实行错误掩盖。 此外在运行过程中出现卫星链路中断或误码率过高时实现了画面停留在最后清晰的一帧上同时在实现了在信号恢复之后画面从接收到的清晰的一帧开始。H.264技术内置的多种错误恢复工具有利于解码端进行错误掩盖误码超过一定阈值后跳过该帧断流后则保持在最后一正常帧的静止画面码流恢复后从第一个正常解码的IDR帧开始显示。 (4具有较强地抗干扰能力 动中通系统中的摄像头有时会引入较大干扰特别在低照度的环境中干扰对图像质量有非常大的影响。根据分析主要有两种噪声会影响视频质量一种是相邻色素之间产生的伪颜色噪声一种是由于信号强度而产生的泊松噪声会影响物体的边缘清晰度。一般滤波器的工作原理是先做低通滤波然后再做高通滤波。从频谱上分析物体的边缘成分在做低通的时候已经损失掉了一部分尽管在高通后通过一定的处理可以还原大部分但实际上它已经不能够达到最理想的效果。这些噪点随着产品型号和工作环境的不同而不同。由于视频压缩算法效率与时间上的相关性有关这种随机噪点对视频压缩的影响非常大有时候甚至造成码流成倍上升将压缩算法的优点全部掩盖。H.264技术一方面使用了高级图像预处理方法能够减小低照度环境下噪点影响另一方面通过实时滤波技术的应用使得在压缩之前就排除了信号中的干扰压缩还原的图像有很大提高同时也降低了传输码率。 (5网络适应性强 H.264包含一个内置的互联网协议适配层(InternetProtocolAdaptiveLayer)所以H.264可以被映射到任何固定IP、无线IP、存储装置或广播网络中而这就是电信公司和消费性电子厂商都准备支持H.264的原因。H.264作为最新的视频编码标准采取了一系列切合实际的技术措施如视频编码层和网络提取层分离、封装NALUnits、指定参数集等提高了网络适应性增强了数据抗误码的顽健性从而保证了视频传输后压缩视频的QoS。 3.在动中通卫星系统中H.264编解码器经受住了实战的洗礼。 北京奥运安保中大量地启用了平板式相控阵动中通卫星通信车该类卫星车具有技术先进、机动灵活、操作简单、锁星效果好、性价比高等诸多优点但也有其难以弥补的不足——上行带宽低。在北京地区只有1.5Mbit/s左右在原有MPEG-2或MPEG-4SimpleProfile编解码器下很难实现动中通条件下D1720×576分辨率的清晰图像连续传输。为此有关方面技术人员对多种编解码器做了大量的实验、对比以及改进最终选择了H.264编解码器。在奥运安保期间它实现了在1.21.5Mbit/s的视频码率下传输清晰的D1图像圆满完成了奥运安保尤其是火炬接力、公路自行车赛、马拉松赛等线路型赛事的图像传输任务。 目前国内的有关技术机构已经开始着手较窄带宽下适合无线移动传输的基于H.264技术的高清编解码器的研发工作。随着技术的不断发展、整体结构的不断完善、算法的不断优化以及芯片处理能力的不断提高相信不久便可以看见国产的H.264编解码器在较窄的卫星带宽下实现高清品质的图像传输
关于H.264的六个问题
(1) H.264是国际标准吗?为何说H.264要比其他压缩技术更具前景 和此前的视频压缩技术如H.263不同的是H.264虽然仍然是ITU-T体系之下的命名规范却大量借鉴了ISO/IEC的相关规范和研究。具体而言ITU-T之下的视频编码专家组Video Code Expert GroupVCEG确立了H.264而ISO/IEC之下的运动图像专家组MPEG则将其命名为MPEG-4Part10/AVC。这两个专家组织共同制定了该标准。 因此H.264和此前的视频压缩技术相比既是行业标准同时也是国际标准。此前ITU-T制定的视频标准因为和ISO/IEC的MPEG系列标准存在兼容性问题所以严格意义上并没有合适的、较为统一并为设备商们全体遵循的全球性国际标准。 和此前的压缩技术相比H.264的优势主要体现在下面几个方面 1. 精确匹配解码避免错误累积; 2. 更简单的规范实施; 3. 强大的容错能力; 4. 高效压缩比其他视频压缩能力高50%以上; 5. 时延级差以适应更多应用环境等。 (2) H.264是标准体系还是单一性标准H.264的总体优缺点如何有没有不足之处 VCEG和MPEG联合开发H.264标准带来的最大好处就是有助于H.264在全球范围内的设备统一化推广起来更为简便。但是和此前的视频标准一样为了使得应用范围更广H.264也还是通过等级区别和类别算法对多种应用场景进行各自的协议支持。 H.264可以提供11个等级、7个类别的子协议格式算法其中等级定义是对外部环境进行限定例如带宽需求、内存需求、网络性能等等。等级越高带宽要求就越高视频质量也越高。类别定义则是针对特定应用定义编码器所使用的特性子集并规范不同应用环境中的编码器复杂程度。 H.264除了在技术上的优势应用上的优点主要体现在被更广泛地接受成为统一性的全球标准可以降低总体应用成本。当前主要缺点是对终端网络摄像机、显示终端要求更高。另外对于家庭用户而言解码回放设备价格过高导致目前普及上存在一定的困难。 (3) 当前H.264主要用在哪些领域视频监控是主体方向吗 视频监控是H.264部署的重要方向之一这得益于H.264强大的压缩能力、通用性以及对网络性能的容忍能力。但H.264的应用领域极为宽泛视频监控只能是其主要的应用方向之一而不能视作主体方向。可以说当前所有的视频应用都可以通过H.264获得高质量的实现例如数字电视广播、高清电视、在线视频的存储和点播、3G视频电话等等。 (4) H.264相关技术在中国市场有没有大的应用高于企业级 我国是H.264部署较为活跃的国家特别在视频监控行业我国的投资巨大但相关的市场总投入目前并无合适估算。原因在于交通、公安以及国家重点行业的视频设备尤其是高清视频设备部署情况并不是特别公开。 2008年奥运会成为中国部署H.264视频监控的一个重要阶段。此外中国电信在早期阶段进行的IPTV测试中也大量采用了H.264技术虽然后续中国电信也开始对国产视频标准AVS但对H.264的测试和跟踪仍然在继续。中国电信“全球眼”业务当前已经开始在一些局部地区大量采用H.264技术并和现有专网视频业务进行混合方案的提供效果良好这是当前中国乃至全球范围内覆盖最大、专项业务线最为全面的业务类型。 (5) 中国在H.264方面的进展如何自主技术方面有哪些突破 鉴于H.264作为全球通用标准的优势国内大部分企业在部署新的视频应用时都有可能采用H.264并且正因为应用的广泛性H.264的相关设备价格将会迅速下降部署成本也将因此得以降低。 我国的广电系统和电信运营商曾经将H.264作为主要的推动方向并取得了一系列的成绩。在目前电信已经实行运营的IPTV项目中几乎全部采用了H.264; 广电系统的各大电视台在进行从模拟向数字转换以及网络双向改造中也大量采用了H.264技术标准。 而随着我国第二代具有自主知识产权的视频编码标准AVS信息技术先进音视频编码出台情况发生了变化。由于AVS对比H.264算法更为简便专利授权模式和收费都较为便利和低廉并且和H.264在编解码、压缩上处于同一水平因此我国开始大力推广AVS的应用及产业链打造。国家正在努力构建对AVS产业链的政策扶持和资金扶持以促进AVS逐步走向快车道。从目前看AVS标准已经看到H.264的应用广泛程度和后续竞争的存在很多公司在开发AVS的同时积极将AVS纳入到和H.264兼容的体系中这将有利于推动AVS的发展并在后续过程中相互竞争的同时为AVS的发展争取更多的空间。 (6) H.264标准技术的采用将会带动哪些上下游产品和应用的迅速发展 总体而言H.264标准被视做下一代视频编解码应用的最佳实现之一被普遍认为会是将来更具竞争力的标准。 H.264的应用至少能够促进以下几个方面的发展 1. 视频监控的全IP化和高清化; 2. 百万像素摄像机市场的发展; 3. 蓝光DVD及上下游硬件设备的发展; 4. 局域网容量需求的上升以及由此带动的网络存储容量升级; 5. 数字电视、IPTV发展的提速以及上下游产品和内容源质量提升; 6. 网络带宽的进一步升级等。
