做网站网络,wordpress投稿页面路径怎么写,购买网站空间域名,彩票网站建设开发一、原理介绍
图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术#xff0c;它将多幅图像拼接成一幅大尺度图像或360度全景图#xff0c;图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几…一、原理介绍
图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术它将多幅图像拼接成一幅大尺度图像或360度全景图图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几个方面摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接融合以及亮度与颜色的均衡处理等以下对各个步骤进行分析。
摄相机标定
由于安装设计以及摄相机之间的差异会造成视频图像之间有缩放镜头焦距不一致造成、倾斜垂直旋转、方位角差异水平旋转因此物理的差异需要预先校准得到一致性好的图像便于后续图像拼接。
相机的运动方式与成像结果之间的关系见下图。 图1相机的运动方式与成像结果之间的关系
图像坐标变换
在实际应用中全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。例如由于机载或车载特性相机的排列方式不尽相同不能保证相机在同一面上如柱面投影不一定在同一个柱面上平面投影不一定在同一平面上另外为了避免出现盲区相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见而且容易被忽略直接投影再拼接效果较差。因而有必要在所有图像投影到某个柱面或平面之前需要根据相机的位置信息和角度信息来获得坐标变换后的图像。
理论上只要满足静止三维图像或者平面场景的两个条件中的任何一个两幅图像的对应关系就可以用投影变换矩阵表示换句话说只要满足这其中任何一个条件一个相机拍摄的图像可以通过坐标变换表示为另一个虚拟相机拍摄的图像。
一般情况下8参数的透视投影变换最适合描述图像之间的坐标关系其中8参数的矩阵为[m0,m1,m2;m3,m4,m5; m6,m7,1]各参数对应的相机运动表示如下 如图2显示的是相机向下倾斜一定角度拍摄图像这个角度与m6和m7具有对应关系如果要获得校正图像只需要对8参数矩阵求逆后进行坐标变换。 (a) 原始图像 图2(a) 原始图像(b)x方向形变效果(c)倾斜校正后效果
图像畸变校正
由于制造、安装、工艺等原因镜头存在着各种畸变。为了提高摄像机拼接的精度在进行图像拼接的时候必须考虑成像镜头的畸变。一般畸变分为内部畸变和外部畸变内部畸变是由于摄影本身的构造为起因的畸变外部畸变为投影方式的几何因素起因的畸变。镜头畸变属于内部畸变由镜头产生的畸变一般可分为径向畸变和切向畸变两类。径向畸变就是集合光学中的畸变像差主要是由于镜头的径向曲率不同而造成的有桶形畸变和枕型畸变两种。切向畸变通常被人为是由于镜头透镜组的光学中心不共线引起的包括有各种生成误差和装配误差等。一般人为光学系统成像过程当中径向畸变是导致图像畸变的主要因素。径向畸变导致图像内直线成弯曲的像且越靠近边缘这种效果越明显。根据径向畸变产生的机理对视频图像进行校正。效果如图3(b)所示经过校正的图像其有效像素区域缩小一般可通过电子放大的方式进行校正如图3(c)所示。 (b)(c)
图3(a)为原始采集图像(b)为经过径向失真校正的图像(c)为经过放大的图像
图像投影变换
由于每幅图像是相机在不同角度下拍摄得到的所以他们并不在同一投影平面上如果对重叠的图像直接进行无缝拼接会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换再进行拼接。一般有平面投影、柱面投影、立方体投影和球面投影等。
平面投影就是以序列图像中的一幅图像的坐标系为基准将其图像都投影变换到这个基准坐标系中使相邻图像的重叠区对齐称由此形成的拼接为平面投影拼接柱面投影是指采集到的图像数据重投影到一个以相机焦距为半径的柱面在柱面上进行全景图的投影拼接球面投影是模拟人眼观察的特性将图像信息通过透视变换投影到眼球部分构造成一个观察的球面立方体投影是为了解决球面影射中存在的数据不宜存储的缺点而发展出来的一种投影拼接方式它适合于计算机生成图像但对实景拍摄的图像则比较困难。如下图4所示图像拼接处理流程示意图。 图4图像拼接处理流程示意图
匹配点选取与标定
由于特征点的方法较容易处理图像之间旋转、仿射、透视等变换关系因而经常被使用特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。Harris等提出了一种角点检测算法该算法是公认的比较好的角点检测算法具有刚性变换不变性并在一定程度上具有仿射变换不变性但该算法不具有缩放变换不变性。针对这样的缺点Lowe提出了具有缩放不变性的SIFT特征点。 图5 两幅图像中标定的匹配特征点
如上图5所示图像的拼接需要在图像序列中找到有效的特征匹配点。图像的特征点寻找直接影响图像拼接的精度和效率。对于图像序列如果特征点个数≥4个则很容易自动标定图像匹配点如果特征点很少图像拼接往往不能取得较为理想的效果。
图像拼接融合
图像拼接的关键两步是配准(registration)和融合(blending)。配准的目的是根据几何运动模型将图像注册到同一个坐标系中融合则是将配准后的图像合成为一张大的拼接图像。
在多幅图像配准的过程中采用的几何运动模型主要有平移模型、相似性模型、仿射模型和透视模型。
图像的平移模型是指图像仅在两维空间发生了 方向和 方向的位移如果摄像机仅仅发生了平移运动则可以采用平移模型。图像的相似性模型是指摄像机本身除了平移运动外还可能发生旋转运动同时在存在场景的缩放时还可以利用缩放因子 多缩放运动进行描述因此当图像可能发生平移、旋转、缩放运动时可以采用相似性模型。图像的仿射模型是一个6参数的变换模型即具有平行线变换成平行线有限点映射到有限点的一般特性具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等可以描述平移运动、旋转运动以及小范围的缩放和变形。图像的透视模型是具有8个参数的变换模型可以完美地表述各种表换是一种最为精确变换模型。
图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。在非多分辨率技术中主要有平均值法、帽子函数法、加权平均法和中值滤波法等。多分辨率技术主要有高斯金字塔、拉普拉斯金字塔、对比度金字塔梯度金字塔和小波等。 (e)
图6 柱面全景图像拼接
(a)-(d)为四幅不同视角的图像(e)为最终拼接得到的柱面全景图像
亮度与颜色的均衡处理
因为相机和光照强度的差异会造成一幅图像内部以及图像之间亮度的不均匀拼接后的图像会出现明暗交替这样给观察造成极大的不便。
亮度与颜色均衡处理通常的处理方式是通过相机的光照模型校正一幅图像内部的光照不均匀性然后通过相邻两幅图像重叠区域之间的关系建立相邻两幅图像之间直方图映射表通过映射表对两幅图像做整体的映射变换最终达到整体的亮度和颜色的一致性。
二、国内外现状
全景拼接侦察系统在国外已经有了较早的研究早在1992年剑桥大学的L.G.Brown就对图像拼接的核心技术进行总结1996年微软研究院的Richard Szeliski提出基于运动的全景拼接模型。Szeliski后来又相继发表了若干这方面论文2000年Shmuel Peleg提出改进方法根据相机的运动方式自适应选择拼接模型2003年M.Brown发表了SIFT特征进行图像拼接的方法但计算量很大2007年Seong Jong Ha提出移动相机系统的全景拼接方法不仅保证效果而且运算速度也不错。
在国内方面也有不少高校科研机构对视频拼接技术及应用进行研究其中上海凯视力成信息科技有限公司研发的“全景视觉态势感知系统” 最具代表性该系统功能完善、技术先进、性能可靠并已成功应用于多种车型。
上海凯视力成信息科技有限公司全景视觉态势感知系统——PVS9112型是实时的全固态无机械运动的高清360度凝视视频系统系统提供实时的连续覆盖整个战场的全运动视频人机交互界面直观快捷。系统适应于恶劣环境支持彩色和红外传感器可以黑天和白天全天候工作实时地图像处理和高清视频的显示显示界面同时提供360度全景窗口和感兴趣区域的高清画面。系统提供开发式结构便于同其它系统如雷达等集成到一起以获得一个完整的态势理解。 传感头 图8 几种传感头
图形界面 图9 PVS9112图形界面
特点: 实时的360度视频全景显示便于对态势的感知理解、安全监视、目标探测。从而提高平台的攻击能力和安全防护性。 支持高清彩色和红外传感器。日夜均可工作。 显示全局拼接画面、局部感兴趣。 图形交互界面。并支持多种人机交互接口支持触摸屏、鼠标、键盘、自定义按键、操纵摇杆等可无缝接入已有系统。 无运动部件高可靠性。 适应车船飞机等恶劣的工作环境。
可选特征: 目标检测与告警 自动多目标跟踪 视频记录和回放 可选支持PTZ长距离光电探测系统在全景视频上可以通过触摸的方式控制PTZ的快速转动到指定的位置克服了传统操控PTZ方式的缺陷使得PTZ摄像机的功效大大提高。 图像透雾增强算法 电子稳像算法
开放式体形架构 二、应用
从图像拼接的实际应用来看主要有大型航空照片卫星图像拼接车载系统监控虚拟场景实现视频压缩很多资料上都提及车载系统的拼接这种拼接侦查系统可以用于不同车辆如反恐、安全监视、侦察、巡逻和警车等系统给操作者提供车辆周围的实时全景图像使之能够感知全面而丰富的态势操纵车辆的同时还可以有效将自己保护在车内不用通过车辆的挡风玻璃就可以实时操控。全景图像极大地增强了用户的视觉感知系统使其在特种车辆、军用以及民用方面都拥有广阔的市场前景。与传统的多画面监控相比全景拼接画面更符合人眼观察极大地提高了侦察的准确性。但很少提及机载系统因此机载方面只要设计合理应用前景是巨大的。
应用实例
方式一基本模式
摄像机组 一或两个终端支持记录或不记录每个终端所显示内容可以不同。 方式二增强模式
摄像机组 2以上终端可通过GigE网络来扩展连接其他设备如视频记录仪等。 采集和预处理模块实现对视频信号的捕获并对摄像机组进行管理如PTZ控制等。在这一层实现对不同路数、不同接口形式的摄像机的支持。并作必要的预处理功能如图像的缩放平移投影变换、数据压缩等为后续处理器准备好数据。模块还通过多个GigE网络将视频数据分发给多个不同的处理器或其它设备如视频记录仪等。这种组成结构可适应不同应用需求如不同的摄像机种类和数量终端处理功能要求不同等等。
关于视频拼接产品的介绍
