基于全景图的虚拟现实系统研究(2)

    以上三种算法都有其自身的特点，当然也有各自的局限性，应该根据全景模型的不同和图像采集方式的差异选择合适的算法。下面根据全景图生成过程详细描述对算法的选择和改进。

本文提出的方法中采用圆柱模式，这种模式相对简单，同时又不影响全景图像浏览的真实性。由于立方体模式过于简单，该模式在展示全景图时存在明显的边界痕迹，降低了全景图像真实性；球面模式虽然相对扩大了全景图浏览的视野，可是也相应增加了算法复杂度和图像采集的难度。

为了提高图像拼接算法的复杂度处理能力以及能够自适应抖动、光照差、扭曲等。本文对图像采集方式未做过多限制：不用三角架固定相机，绕摄影者中心360度旋转相机拍摄图像，每次拍摄相机旋转的角度为θ，不固定相机的焦距，这样做的目的是进一步提高算法自适应校准图像拼接能力。

4.3 图像拼接

首先，抽取合适的图像特征来定位拼接，为了尽可能多的保留图像的特征，利用数字图像处理中的Laplace算子边缘检测算法，再加上二值化处理和平滑滤波3*3模板的噪音消除抽取出图像的特征图。

  

图2   特征提取后图象的二值化图

图象经过变换之后，得到了具有重叠相似区域的两幅图象，对于相似区域的寻找，一般的算法都是根据人体视觉特征定义1个模板矢量(Pattern Vector)，对两幅图象分别运算相似距离，根据相似距离来寻找图象的相似部分。本文提出了一种新的重叠区域的搜寻方法，它基于差值图象的极值点搜寻，可以方便地提取两幅图象之间的相似部分，不需要频域上的任何运算。设有两个矩形区域A和B，已知B中包含一个区域A2，A与A2是相同的模块，求B中A2的位置。典型的算法是从Ｂ的左下角起，把每一块与A大小相同的区域C与A相比较，得出评价函数，其值最小的区域就是A2。

评价函数一般定义为:对于A和C中每一对对应点p和q，

                                (1)

考虑到两幅图象的亮度不一样，即使是同一模块，由于亮度不同，评价函数的值也很大，把评价函数定义为：

                                 (2)

图像缝合分两个步骤。拼接处会有明显的一条缝。可用颜色拟合的方法来调和相邻图象的亮度,生成无缝的合成图象。以合成图象的拼接线为中心,两边各取10个象素点的距离,此区域为矫正区。第一步是图像经过矩阵投影生成新的图像需要用到双性插值。第二步是两幅图像重叠区域之间的线性插值。

柱面投影变换及其反变换算法的核心是投影变换公式,为此建立坐标系,如图4所示。原始图象I、投影柱面图象J和柱面K,原点为观察点Ｏ(投影中心)。设柱面半径为ｒ,投影宽度角为θ,图象宽度为Ｗ,高度为Ｈ。能很容易得到柱面图象的宽度为r×sin(θ/2),高度仍为Ｈ。对图象I上的任意一点Ｐ,假设它在图象上的坐标为(ｘ,ｙ),P在柱面图象J上的对应点Q,假设Q在J上的坐标是(ｘ’,ｙ’)。[5]

图3　柱面投影变换

这里θ角由每张图象所占的角度唯一确定。一个全景的角度是360º那么每张图象对应的角度就显而易见了一般的θ角约为30 - 40º。最后，根据两幅图像的平移量，柱面投影，最后拼接全景图（见图4和图）。

基于全景图的虚拟实景生成系统的实现在是一台windows NT操作系统下的pc工作站，P3-1G，128M内存，显卡(硬件支持OpenGL加速)，使用Microsoft visual c++6.0和OpenGL编程。

图4 图象拼接前的情况

图5 图象拼接后的全景图

随着基于图象绘制技术发展，全景图现已广泛应用在军事、教育、科研、商业、影视、娱乐、工程训练等，并随着JAVA和Internet的发展成为一种快捷、实用、效果很好的虚拟现实漫游系统。本文对基于全景图的虚拟现实模型进行了比较深入的研究，在根据前人对全景图的研究资料中，本文提出了一种基于全景图的虚拟现实系统模型的构想，并给出了较为实用的解决方案，克服了抖动、光照差、扭曲等对全景图的影响，对图象拼接算法作了比较和改进尝试，对圆柱面投影作了较深入的探讨，实用价值高效率。未来基于全景图的虚拟现实各种技术发展将前景广阔。

[1]  Cai Yong, Liu Xue hui, Wu Eng hua. Image-based rendering: A technology for virtual reality system. Journal of Software, 1997, 8 (10): 721- 728 ( in Chinese)

(蔡　勇, 刘学慧, 吴恩华. 基于图像绘制的虚拟现实系统环境.软件学报, 1997, 8 (10) : 721- 728)

[2]  Chen S E. Quick time VR ——An image-based approach to virtual environment navigation. In: P roc S IGGRA PH 95, New York, 1995. 29- 38

[3]  Szeliski R, Shum H-Y. Creating full view panoramic image mosaics and texture-mapped models. In: Proc SIGGRA PH‘97,Los Angeles, California, 1997. 251- 258

[4]  Kirk Duffin, William Barrett. Globally Optimal Image Mosaics[C].In: Proceedings Graphics Interface’98,19982:217~222

[5]  Brown L G. A survey of image registration techniques. ACM Computing Surveys, 1992, 24 (4): 325- 376

[6] Min-A Kim, Sung-Soo Kim, Hwan-Gue Cho.Image Mosaicing Technique Using Feature-Based Graph Matching Algorithm

[7]  钟力，张茂军，孙立峰等.360 度柱面全景图象生成算法及其实现[J]. 小型微型计算机系统，1999:20(12):899~903

[8]  张鹏，周东翔，郝建新等.IBR技术中柱面全景图镶嵌的快速算法[J].计算机工程，1999;25(12):17~18