MPEG-4在文章监控录像领域中的应用优势及在DVR中的应用

DVR 1的发展现状及MPEG-4在嵌入式DVR中的优势

1.1 DVR的发展

总的来说,DVR的发展经历了两个阶段:基于PC的DVR和嵌入式DVR。传统的基于PC的DVR采用存储在硬盘上的Windows操作系统。这种开放式系统具有用户友好的GUI的优点,但也有Windows固有的不稳定性和CPU支持有限的缺点。嵌入式DVR采用RTOS,一种可以嵌入ROM/Flash存储器的实时操作系统。它控制区域广,可以组成非常复杂的监控网络,性能稳定可靠,弥补了这一缺陷。

在嵌入式DVR中,文章压缩技术是其关键的核心技术,现在MPEG-1是DVR采用的主流压缩技术。MPEG-1的核心是离散余弦变换和双向运动补偿算法。主要思想是通过减少图像间时间和空间上的冗余和相关信息来减少数据量。MPEG-1在800 kbps ~ 2 Mbps的传输速率下可以达到很好的图像清晰度。但是使用MPEG-1的嵌入式DVR也有很多缺点:硬盘消耗大;由于数据量大,不适合网络传输;不够灵活,适应性差,无法根据网络情况自适应调整传输速率。MPEG-4的出现克服了上述缺陷,是现代嵌入式DVR的发展趋势。

1.2 MPEG-4在嵌入式DVR中的优势

MPEG-4在压缩方法上远远优于MPEG-1。基于场景描述和磁带设计的要点,MPEG-4在文章监控和记录领域有以下几个方面的优势:

(1)节省存储空间。

(2)文章清晰度高。虽然MPEG-4是一种针对低带宽的音文章解决方案,但其独特的压缩模式也适用于CIF或更高清晰度(768 576、640 480)的文章压缩。这样有效突破了MPEG-1的最大清晰度CIF(352 288)限制,获得了更好的文章压缩质量。

(3)文章帧率可调。

(4)比MPEG-1更有利于网络传输。MPEG-4 优越的文章压缩模式也决定了它在低带宽网络上的优异性能。

MPEG-4核心思想和关键技术在DVR中的应用

MPEG-4代表了基于模型/对象的第二代压缩编码技术。它充分利用人眼的视觉特性,把握图像信息的本质,从轮廓和纹理上支持基于视觉内容的交互功能,适应多媒体信息应用从播放到基于内容的访问、检索和操作的发展趋势。特别适用于嵌入式DVR。

2.1 MPEG-4核心理念3354——基于对象的编码

AV(音文章对象)是MPEG-4提出的一个重要概念。它是一个可以在场景中访问和操纵的实体。具体来说,在图像中,对象是可以表示有意义实体的一组区域。对一个物体的划分可以基于其独特的纹理、运动、形状、模型和高层语义。MPEG-4的编码基于AV对象,AV对象是视听内容的表示单位,其基本单位是原始AV对象。原始AV对象可以是自然的或合成的声音和图像。它具有时间域和空间域的灵活性,可以根据对象的重要程度科学地分配比特,从而保证图像的主观质量。因此,MPEG-4具有高效编码、高效存储和传输、互操作的特点。AV对象编码是MPEG-4的核心思想。在DVR的应用中,基于AV-object编码的高效压缩可以节省大量存储资源,还可以根据现场带宽和误码率等客观条件灵活扩展,充分利用带宽。从下面对MPEG-4所采用的核心技术的分析中,这种基于AV的对象编码的好处将会更清楚地看到。

2.2 MPEG-4的关键技术

(1)文章对象提取技术。MPEG-4实现基于内容的编码时,首先需要将文章和图像划分为静态对象或运动对象,然后针对不同的对象采用相应的编码方法,实现高效压缩。目前文章对象分割的一般步骤是:通过低通滤波、中值滤波、形态滤波等对原始文章/图像数据进行简化。便于分段;从文章/图像数据中提取颜色、纹理、运动、帧差、位移帧差、语义等特征;基于某种一致性指标确定分割决策;进行相关的后处理,滤除噪声,准确提取边界。

与其他应用相比,MPEG-4用于嵌入式DVR使得文章对象的提取简单得多,并且不会出现嵌入式DVR的文章/图像中不能有太多复杂的文章内容。基本上可以分为一个静止的物体:背景和几个运动的物体。

(2) VOP(文章对象平面)编码技术。VOP是文章对象(VO)在某一时刻的采样,也是MPEG-4文章编码的核心概念之一。MPEG-4在编码过程中对不同的VO采用不同的编码策略,即前景VO的压缩编码尽可能细致平滑;对于背景VO,采用高压缩率的编码策略,甚至在解码端被其他背景拼接而不传输。这种基于对象的文章编码不仅克服了第一代文章编码中高压缩率编码带来的块效应,而且使用户能够与场景进行交互,既提高了压缩率,又实现了基于内容的交互,为文章编码提供了广阔的发展空间。此外,MPEG-4支持任意形状图像和文章的编码和解码。对于任意形状的文章对象,MPEG-4使用VLBV(极低比特率文章)核心进行编码。

在嵌入式DVR的应用中,有一个很大的特点:背景物体是静止的或者很少运动。因此,根据实际情况,可以对背景对象进行高压缩率的编码,或者只在少数几帧中出现,这样可以大大减轻存储和传输的压力。以上方法是MPEG-4中的Sprite编码思想,Sprite称为马赛克或背景全景图。子画面是通过拼接文章序列中文章对象的所有部分而形成的图像。通过Sprite编码,将背景Sprite发送到解码端,生成背景图像,然后只需要传输少量的参数,可以减少整个文章传输过程的数据量,达到很高的压缩比。而且对于Sprite图像,为了减少延迟,也可以利用MPEG-4的分层传输功能进行分层逐块传输。

(3)可伸缩编码技术。可伸缩编码也是可伸缩编码。文章的可伸缩性是指比特率的可调性,即文章数据只压缩一次,但可以根据实际情况以不同的帧率、空间分辨率或文章质量进行解码,从而支持多种不同的应用需求。可分级编码分为空间域和时间域。MPEG-4通过文章对象层(VOL)数据结构实现分层编码。在可分级编码中,文章序列被分成两层:基本层和增强层。基本层提供文章序列的基本信息,而增强层提供文章序列的更高分辨率和细节。在嵌入式DVR中,MPEG-4 采用基于对象的分层传输思想,利用时空扩展编码调整空间分辨率和帧率。这样一方面可以方便的实现速率控制,很好的改变网络带宽;另一方面,它还可以实现用户与DVR之间的交互性能,用户可以方便地选择分辨率和帧率,以获得满意的文章效果。

(4)运动估计和运动补偿技术。MPEG-4使用I帧、P帧和B帧来表示不同类型的运动补偿。I帧采用帧内压缩,只有空间相关性,没有运动补偿,因此不依赖于其他帧,是解码的参考帧。I帧图像周期性地出现在图像序列中。p帧和B帧图像被帧间编码,并且利用了空间和时间相关性。p帧采用前向时间预测,可以提高压缩效率和图像质量,B帧采用双向时间预测,可以大大提高压缩比。但是,B帧可以用作其他图像编码的参考帧,并且可以不可随意访问。因此,在嵌入式DVR的应用中,当用户的可用带宽比较低时,可以只转发I帧和尽可能少的P帧,这样可以降低传输比特率,获得可以接受的文章质量。

3在基于MPEG-4的嵌入式DVR中的实现

3.1硬件实现

基于MPEG-4的嵌入式DVR的硬件实现如图1所示,采用如下方案:

(DSP选用TI公司的TMS320C6416,工作频率为750MHz,运算速度为4000MIPS。

(2) ARM板采用ARM嵌入式系统扩展板(CY-ARM4510B)。

(3) PCI接口板(CY-PCI2.2)。

图1硬件框图

3.2软件实施

部分软件用ANSI C编写,用GNU Make-3.74或更高版本的GCC编译器编译。MPEG-4编解码是在MPEG-4提供的框架下,根据嵌入式DVR应用的实际情况,经过一些简化和优化后实现的。代码从以下三个方面进行优化:

(1)尽量减少代码量,提高数据结构的有效性。所以需要去掉DVR应用中基本不用的结构和处理部分。

(2)尽量使执行控制更加合理,减少不必要的存储分配和释放,尽量减少对外存的访问。

(3)改进ME/MC(快速运动估计和运动补偿),提高编码效率。

该程序分为三个部分:编解码共用部分、编码部分和解码部分。根据上述优化思想,我们对程序进行了优化。优化后,VOP的结构发生了很大的变化,保留了基本的语法元素,并简化了Sp rite,定义如下:

结构vop

{

Int p预测类型;

Intmod _ time _ base

浮动时间公司;

Int vop _ coded

Int rounding _ type

Int宽度;

Int高度;。

中sp rite编码元素的一部分

Int sp rite _ hdim

Int sp rite _ vdim

Int sp rite _ left _ edge

Int sp rite _ top _ edge

Int warp ing _ accuracy/3变形精度(2,4,8,16) 3/

Int sp rite _ usage/3 0:没有;1:静态;3 /

Int no _ of _ sp rite _ points

/3 0:固定,1:平移,2:旋转,缩放,3:仿射,4:透视图3/

TrajPoint 3 ref _ point _ coord

/3参考点的位置sp rite 3 /

TrajPoint 3 traj _ point _ coord

/3运动补偿后参考点的位置3 /

traj point 3 diff traj _ point _ coord;

/3 ( dui,dvj)轨迹

坐标,待传输3 /

int brightness _ change _ in _ sp rite;

浮动亮度_变化_因子;

Int low_latency_sp写入启用;

/3 0:基本脚本,1:保存的脚本3/

结构vop 3记录;/3当前正在解码sp rite指针3/

Sp rite _ motion 3 warp _ param/3全局运动矢量3/。

}

在VOP,Sprite _ usage为1,所以图像中只处理静态Sprite;Sprite_hdim和Sprite_vdim对应于静态的sprite像素,它们随着宏块的数量而变化。对于环境稳定的DVR的应用,有一定的参考价值。当精灵点数为0时,零运动。同时在image、sprite_motion、vol、video _object、motion等结构和编解码功能上做了一些类似的优化,以适应DVR的特性,提高编码效率。

(2)软件支持空间可伸缩性和空间可伸缩性,设置参数可支持五种类型:0为时域扩展类型0;1用于空域扩展;2.时间域和空间域的扩展;3是时域扩展类型1;4是时域扩展型2是空域扩展型。

增强型印刷电路板.

基础国际生产总值.

对于时域扩展,基本层的帧速率变为5fps,增强层的帧速率也是5fps。支持三种类型:

0情况I-VOP在基层周期性出现,P-VOP在基层和增强层周期性出现,而B-VOP不出现。

增强层.

基础层.

1情况I-VOP和P-VOP在基本层被编码和解码,只有B-VOP在增强层。

增强层.

基础层.

在案例3的基础层中有I-VOP、P-VOP和B-VOP,而在增强层中只有B-VOP。

增强层.

基础层.

4结束语

MPEG-4基于内容的压缩是信息处理的高级阶段,更贴近人自有信息处理方法。本文着重分析了将MPEG-4编码方法应用于嵌入式DVR的优势,并讨论了这种DVR的实现方法。实践表明,该应用是对DVR的一种有效优化,可以在多方面提高DVR的性能。MPEG-4编码将是下一代DVR的发展趋势。