视点稀疏且可旋转的多透视拼接

目前的多透视拼接算法存在两点局限：1）需要大量源视点以保证足够多的拼接切片可以提取;2）视点方向应与水平运动方向垂直以模拟与场景面的正交投影或视点旋转角度较小以实现最小扭曲拼接。这两点很大程度上限制了多视点拼接的应用。为此,提出一个基于稀疏可旋转视点的多透视拼接算法。该算法采取两步走的策略,即：虚拟变换和同步校正与配准,解决相邻视点成像时因与场景面不垂直而产生的不同程度透视变形以及视点因旋转角度变化而产生的重叠区域变化问题,实现稀疏可旋转视点图像拼接。实验结果表明该算法是有效的。     

全方位全景图象的生成

提出了一种适宜于生成全方位全景图象的拼接和平滑算法，给出了一种消除拼接积累误差的方法，进而首次在立方体表面拼接成功了全方位全景图象，并由此生成了球面上的全方位全景图象．     

基于图象的室内虚拟漫游系统

基于图象的绘制（Image Based Rendering)作为一种全新的图形绘制方式,以其相对于传统几何绘制而言,具有高效实用的优点,近年来得到了研究人员越来越多的关注,但IBR技术仍存在一些主要难点,如图象的无缝拼接和实时漫游。针对此问题,开发了一个基于部分球面模型的室内虚拟漫游系统。该系统采用自动匹配和人机交互相结合的方法,可以无缝地将多幅照片拼接成一张全景图,同时采用一种改进的基于查找表的算法,实现了固定视点的实时漫游。     

立方体表面上的图象拼接

介绍了一种全方位全景图的建模和实现方式，给出并实现了普通图像、立方体表面以及景物所在平面之间一组新的坐标变换，提出了一种实现彩色图象拼接的方法，在立方体表面实现了实景图象的拼接，给出了拼接实例，为全方位全景图象的生成奠定了基础。     

建筑造型及其环境图象的渲染技术

本文提出一个用于建筑物及其周围场景真实感图形生成的图形图象综合光线跟踪算法采用综合处理图形和图象的光线跟踪技术，对建筑物及其场景中插人的景物图象（如树木、人物等）可以根据光源、视点的位置，生成合理的阴影和倒影。由于引入了虎视点及位置纹理映射的方法，景物图象在造型表面上的倒影及景物图象上被其它物体遮挡的阴影效果更加逼真。提出的天空背景的处理方法，使得背景可以反射、透射到建筑物表面上，并在视点变化时天空背景可以正确地移人或移出视野。此外本文还在表现建筑物表面材料的连续纹理映射、模拟地面积水的局部反射效果等问题上给出了解决方法。     

空间相机CCD像面拼接重叠像元数分析与计算

为了避免空间相机在侧摆成像时多片CCD的拼接处出现缝隙,造成部分目标信息缺失且获取的图像无法正常拼接的问题,根据CCD推扫成像的工作原理和像移补偿残差对图像出现缝隙的原理进行分析,通过采用重叠像元的方法克服了图像缝隙的问题;根据实际工程需求对像面重叠像元数进行计算,对重叠像元数提出具体要求;根据实例计算得出,在96级积分级数下允许的偏流角误差不大于12＇和偏流机构的偏差为1＇的前提下,像面拼接时相邻两片CCD之间的重叠像元数计算值应大于15,考虑误差及安装多重因素增加一定的余量,重叠像元数为40完全满足地面覆盖宽度10 km的要求。     

一种基于特征跟踪的彩色序列图像拼接方法

本文针对图像拼接中的录找匹配点难题，提出运用特征跟踪和窗口匹配方法，寻找正确的匹配征点，对序列图象进行几何视点校正后进行融合拼接，提出的算法计算量小，对于虚拟场景的建设等运算量大的场合具有很好的应用。     

船舶操纵模拟器视景中的山形建模

船舶操纵模拟器是一种能够部分模仿海上真实情况,专门为满足与培训、技术研究等目的而设计研制的装置,其核心技术之一是海上视景模拟,而地形地貌是海上视景中的重要组成部分,根据船舶操纵模拟器实时视景显示的需要,在分析航行舰艇对可视范围内重要岛屿与背景山脉的几何精神要求的基础上,提出了基于待高线的山形堆积建模和山形轮廓建模方法,并给出了山形轮廓图形的误差定义、有效适用范围,以及船舶操纵模拟器中地形建模的误差准则,该方法生成图形的数据量较小,其图形更新速率与几何精度能达到船舶操纵模拟器实时视景显示的要求。     

宽基线视差图像的拼接算法

针对两幅视差图像的拼接问题，提出了一种新算法，即利用Hessian仿射不变检测算子检测出特征区域，利用SIFT特征描述算子提取特征区域特征矢量，根据特征矢量的欧几里德距离来建立图像间的稀疏对应关系；由这些对应点稀疏地确定场景中的一些点，以这些点为顶点建立场景的三角面片近似，再据此将重叠区域重投影生成推扫式成像的中间部分图像。将中间部分推扫式成像图像和原左图像的左半部分以及原右图像的右半部分一起拼接生成大图像。利用实际图像进行的拼接实验表明该算法是一个有效的视差图像拼接算法。     

基于ASIFT算法的低重叠度无人机影像拼接方法

在无人机平台上采用低重叠方式成像能够大大提高数据获取效率,可满足包括应急救援和航空侦察等时效性要求很高的特殊领域应用需求。然而,此类影像具有重叠度低和旋转角大的特点,利用常规正射影像镶嵌的方法进行拼接往往带来较大的拼接误差。提出了基于ASIFT算法的低重叠图像配准方法,并对序列影像做光束法平差处理,得到最优变换矩阵后,结合多分辨率样条融合算法进行全景影像输出。实验结果表明:该方法可以获取足够数量稳定的匹配点对,较好地约束了序列影像之间的几何关系,得到的拼接影像无缝清晰,适应于低重叠度无人机影像的快速拼接。     

基于SURF和KLT跟踪的图像拼接算法

针对现有图像拼接精度不高和速度慢的问题,提出一种图像自动拼接算法。采用特征向量实现图像序列完全自动排序,把特征向量作为图像中的运动目标,利用KLT跟踪算法计算特征点的偏移量,从而得到图像之间精确的单应性变换矩阵,给出一种基于视觉特征的色彩融合方法实现图像的无缝拼接。实验证明该算法提高了匹配的精度和速度,能够实现自动排序,并具有较好的鲁棒性。     

无人机遥感影像镶嵌技术综述

无人机影像镶嵌是低空遥感数据处理系统中的一个重要内容,其目的是将序列无人机影像拼接成一幅具有地理坐标的影像。为了使该领域的研究人员对当前无人机影像镶嵌方法有较全面的了解,对各种无人机影像镶嵌方法进行了综述。多项式法、卡尔曼滤波法、基于SfM点云匹配和传统空中三角测量法均需要地面控制点,而对偶四元数POS辅助空中三角测量方法无需或者只需少量地面控制点,将在无人机影像镶嵌领域有较为广阔的应用前景。     

基于无穷单应的线性多视图重构

研究了由多幅图像恢复摄像机矩阵和空间物体三维几何形状的问题,对Cross等人提出的利用无穷远平面诱导的单应进行重构的算法进行了改进,提出了一种新的算法。该算法只需要一个点和一条直线在所有视图中均可见,解决了原算法要求4个共面参考点的难题。     

基于最佳缝合线的序列遥感图像拼接融合方法

在图像融合过程中常采用重叠区域像素加权融合方法,这会存在鬼影现象。为解决这一问题,提出了一种改进的最佳缝合线生成算法和沿最佳缝合线的融合方法,并将其应用于序列遥感图像的拼接融合。首先在重叠图像中,对重叠区域的边赋予权值,然后进行最大流最小割,最终获取最佳缝合线。在计算边权值时引入了图像梯度信息,使缝合线更准确。在图像融合时,沿最佳缝合线生成一个条带形融合区域,采用渐入渐出法对缝合线两侧的条带形融合区域图像进行过渡处理,使拼接后的图像更为真实。在序列遥感图像拼接上,采用捆绑调整算法调整拼接图像的参数来实现全局误差最小化。实验表明,该方法能够有效消除鬼影并且能获得准确的拼接图像与融合,对于序列遥感图像的拼接融合能够获得很好的效果。     

序列环带图像处理技术及其应用

结合在地质勘探中的特殊应用,根据深度控制,对井下孔壁四周360°范围的柱面空间投影到像面上得到序列环带图像。根据图像拼接误差理论对相邻图像间重叠区域大小进行选定,用改进的链队列种子填充法寻找环带图像的圆心和半径方向,以一定的角度为步长遍历每一个同心圆,将环带图像展开成矩形图,再用网格匹配法进行相邻图像间的配准,采用平滑因子实现序列图像间的无缝拼接,使之更符合人的观察习惯。     

多视角深度运动图的人体行为识别

目的 使用运动历史点云（MHPC）进行人体行为识别的方法,由于点云数据量大,在提取特征时运算复杂度很高。而使用深度运动图（DMM）进行人体行为识别的方法,提取特征简单,但是包含的动作信息不全面,限制了人体行为识别精度的上限。针对上述问题,提出了一种多视角深度运动图的人体行为识别算法。方法 首先采用深度图序列生成MHPC对动作进行表示,接着将MHPC旋转特定角度补充更多视角下的动作信息;然后将原始和旋转后MHPC投影到笛卡儿坐标平面,生成多视角深度运动图,并对其提取方向梯度直方图,采用串联融合生成特征向量;最后使用支持向量机对特征向量进行分类识别,在MSR Action3D和自建数据库上对算法进行验证。结果 MSR Action3D数据库有2种实验设置,采用实验设置1时,算法识别率为96.8%,比APS_PHOG（axonometric projections and PHOG feature）算法高2.5%,比DMM算法高1.9%,比DMM_CRC（depth motion maps and collaborative representation classifier）算法高1.1%。采用实验设置2时,算法识别率为93.82%,比DMM算法高5.09%,比HON4D（histogram of oriented 4D surface normal）算法高4.93%。在自建数据库上该算法识别率达到97.98%,比MHPC算法高3.98%。结论 实验结果表明,多视角深度运动图不但解决了MHPC提取特征复杂的问题,而且使DMM包含了更多视角下的动作信息,有效提高了人体行为识别的精度。     

基于场景模态深度理解网络的单目图像深度理解

基于深度卷积神经网络的图像处理方法得到的单目深度图像质量远高于传统图像处理方法,但该方法对无用特征的训练易产生误差积累,且基于回归求解的连续深度距离预测精度较低,导致图像深度信息提取不精确、目标边缘模糊与图像细节缺失。提出一种应用于单目彩色图像的场景模态深度理解网络。建立以堆叠沙漏为主框架的网络模型,通过反复进行自下而上和自上而下的特征提取过程融合低层次纹理与高级语义特征,在每层网络训练中结合离散的深度标签和真实深度图像降低深度理解难度,插入误差修正子模块和极大似然译码优化子模块以准确提取深度特征。实验结果表明,该网络获取的深度信息更准确,其在NYUv2数据集上绝对相关误差较ACAN网络降低0.72%,在KITTI数据集上均方相关误差较GASDA网络降低41.28%,与DORN等深度网络相比,其预测的深度图像包含更多细节信息且目标轮廓更清晰。     

Recovering epipolar geometry from images of smooth surfaces

We present four methods for recovering the epipolar geometry from images of smooth surfaces. In the existing methods for recovering epipolar geometry corresponding feature points are used that cannot be found in such images. The first method is based on finding corresponding characteristic points created by illumination (ICPM—illumination characteristic points method). The second method is based on correspondent tangency points created by tangents from epipoles to outline of smooth bodies (OTPM—outline tangent points method). These two methods are exact and give correct results for real images, because positions of the corresponding illumination characteristic points and corresponding outline are known with small errors. But the second method is limited either to special type of scenes or to restricted camera motion. We also consider two more methods which are termed CCPM (curve characteristic points method, curves, denoted by word “green”, are used for this method on Figures) and CTPM (curve tangent points method, curves, denoted by word “red” are used for this method on Figures), for searching epipolar geometry for images of smooth bodies based on a set of level curves (isophoto curves) with a constant illumination intensity. The CCPM method is based on searching correspondent points on isophoto curves with the help of correlation of curvatures between these lines. The CTPM method is based on property of the tangential to isophoto curve epipolar line to map into the tangential to correspondent isophoto curves epipolar line. The standard method termed SM (standard method, curves, denoted by word “blue” are used for this method on Figures) and based on knowledge of pairs of the almost exact correspondent points, has been used for testing of these two methods. The main technical contributions of our CCPM method are following. The first of them consists of bounding the search space for epipole locations. On the face of it, this space is infinite and unbounded. We suggest a method to partition the infinite plane into a finite number of regions. This partition is based on the desired accuracy and maintains properties that yield an efficient search over the infinite plane. The second is an efficient method for finding correspondence between points of two closed isophoto curves and finding homography, mapping between these two isophoto curves. Then this homography is corrected for all possible epipole positions with the help of evaluation function. A finite subset of solution is chosen from the full set given by all possible epipole positions. This subset includes fundamental matrices giving local minimums of evaluating function close to global minimum. Epipoles of this subset lie almost on straight line directed parallel to parallax shift. CTPM method was used to find the best solution from this subset. Our method is applicable to any pair of images of smooth objects taken under perspective projection models, as long as assumption of the constant brightness is taken for granted. The methods have been implemented and tested on pairs of real images. Unfortunately, the last two methods give us only a finite subset of solution that usually includes good solution, but does not allow us to find this good solution among this subset. Exception is the case of epipoles in infinity. The main reason for such result is inaccuracy of assumption of constant brightness for smooth bodies. But outline and illumination characteristic points are not influenced by this inaccuracy. So, the first pair of methods gives exact results.     

图像拼接的改进算法

图像拼接在制作全景图的过程中具有重要作用，但是现有的方法不能很好地处理鬼影和曝光差异，针对存在的问题，提出了一种实现图像拼接的算法．首先利用动态规划的方法在要进行拼接的图像中找到一条最佳的缝合线，然后利用多分辨率技术进行拼接，解决了鬼影和曝光差异。     

一种基于膨胀的渐进渐出图像融合算法

在对多幅图像的不同区域进行拼接时,需要涉及到图像分割、配准以及图像融合等方法。针对多幅图像不同区域进行拼接的情况,提出了一种“基于膨胀的渐进渐出”图像融合算法,该算法在图像融合过程中结合形态学方法,大幅度提高了拼接图像的效果。多个实验验证了所提算法的有效性。