虚拟现实场景图像点云大数据展示仿真

虚拟现实技术可以利用计算机图像建模技术构建虚拟空间，通过视觉效果增强现实效果。但是，由于虚拟场景特征点较多，且密度较大，复杂场景的三维重建和展示的难度较高。提出基于图像点云大数据的虚拟现实场景展示方法。利用Kinevt v2设备获取虚拟现实场景两帧图像及点云数据，通过对点云数据的滤波处理，优化虚拟现实场景重构精度。基于滤波处理，提取虚拟现实场景两帧图像的特征点，并匹配特征点，构建三维场景重建模型。将三维场景重构模型与配准后的点云数据、场景颜色信息相融合，完成模型的可视化，实现虚拟现实场景的展示。实验结果证明了研究方法展示的虚拟现实场景特征信息更完整，在图像滤波处理前后，研究方法的虚拟现实场景特征点提取效率均更高，总耗时在7ms以内，且研究方法应用下图像处理器占用的空间内存低于20MB。     

基于胶囊内窥镜图像的肠胃道三维重建技术

为了改进胶囊内窥镜观测的准确性和真实性,提出了基于胶囊内窥镜序列图像的胃肠道三维重建的方法.首先利用SIFT算法提取前后两幅序列图像中尽可能多的对应特征点;计算获取各特征点在成像面上的二维坐标;进一步利用8点算法计算胶囊内镜运动变化的旋转矩阵和平移矢量.进而计算得到每个特征点的相对三维坐标和世界三维坐标;然后,采用Delaunay三角剖分算法对各三维点进行网格化,并完成场景的三维重建.实验表明相机与被测点距离在100 mm之内时,得到的深度误差小于1 mm;距离250 mm内时,相对误差在3％之内.说明所提出的算法是可行的.     

基于多视图深度采样的自然场景三维重建

自然场景的多视图三维重建一直是计算机视觉领域的基本问题,有着广泛的应用.随着深度获取设备的日益普及,如何有效地利用多视点的深度图信息重建场景的三维模型已成为一个重要的研究课题.为了自动剔除输入深度图中的错误深度信息,恢复高质量的场景模型,提出一种多视图深度采样方法来实现自然场景的三维几何重建.首先对深度图进行非均匀采样以获得每帧的三维点集,并剔除部分深度误差较大的三维点;然后通过深度置信度估计的方法对多帧的三维点集进行融合并剔除多帧之间重复冗余的三维点,从而获得整体场景的三维点云;最后基于融合后的三维点云生成完整的场景几何模型.一系列复杂的自然场景实例证明了该方法的正确性和鲁棒性,其不仅能够重建小规模的物体,也同样适用于大规模场景的三维几何重建.     

相位矩不变量用于评价基于图像的三维重建结果

基于图像的三维重建的评价一般要在三维扫描仪获取的精确三维模型上进行,成本高、效率低,且不适用于大型的物体或者大规模的场景.针对该问题,提出一种基于图像相位信息不变性的评价方法.首先获取物体的三维重建模型在某视点下的二维投影图;然后对该投影图以及真实物体在相近视点下的图像进行边缘提取;再对2幅边缘图像计算文中提出的相位矩不变量,以构造特征向量;最后通过比较特征向量的距离来衡量重建结果的质量.实验结果表明了该方法对评价基于图像重建的三维面片模型的有效性和适用性.     

图像亮度线索下的单目深度信息提取

目的 深度信息的获取是3维重建、虚拟现实等应用的关键技术,基于单目视觉的深度信息获取是非接触式3维测量技术中成本最低、也是技术难度最大的手段。传统的单目方法多基于线性透视、纹理梯度、运动视差、聚焦散焦等深度线索来对深度信息进行求取,计算量大,对相机精度要求高,应用场景受限,本文基于固定光强的点光源在场景中的移动所带来的物体表面亮度的变化,提出一种简单快捷的单目深度提取方法。方法 首先根据体表面反射模型,得到光源照射下的物体表面的辐亮度,然后结合光度立体学推导物体表面辐亮度与摄像机图像亮度之间的关系,在得到此关系式后,设计实验,依据点光源移动所带来的图像亮度的变化对深度信息进行求解。结果 该算法在简单场景和一些日常场景下均取得了较好的恢复效果,深度估计值与实际深度值之间的误差小于10%。结论 本文方法通过光源移动带来的图像亮度变化估计深度信息,避免了复杂的相机标定过程,计算复杂度小,是一种全新的场景深度信息获取方法。     

融合超像素分割技术的虚拟成像细节重建研究

虚拟成像是在三维空间中投射立体影像的技术，受采集设备、环境以及网络传输等因素的影响，图像易出现分辨率降低问题，导致虚拟成像细节重建效果不理想。为解决上述问题，提出基于VR和小波降噪的复杂虚拟成像重建方法。依据光学原理确定最小识别距离，结合摄像机采集目标物体多视点图像。利用简单线性迭代聚类(simple linear iterative clustering, SLIC)超像素分割技术优化小波降噪法，完成图像的去噪。基于此，通过VR技术获取全息三维影像重建点坐标和深度距离，并将其投射至透明介质上，实现复杂虚拟成像重建。实验结果表明，研究方法的虚拟成像超像素分割效果更优，平均峰值信噪比为25.5dB,平均结构相似度为0.83,具有较高的应用可靠性。     

基于相机云台技术的全景图像制作方法探究

当今三维全景虚拟现实技术正广泛应用于各领域,三维全景视图是构成虚拟现实场景的主要元素,而三维全景视图源于全景图像建模,因此,要获取逼真且完美无缺的虚拟现实场景,全景图像原始采集和后期拼接处理工作尤为重要.就通过搭建相机云台采集图像,拼接处理后生成高质量的全景图像方法进行了探究.     

一种非定标图像高精度三维重建算法

由非定标图像重建三维场景有着广泛的应用。给出了一种非定标多视图像三维重建算法。该算法主要基于因子分解和光束法平差技术。首先用因子分解方法得到射影空间下相机投影矩阵和物点坐标,以旋转矩阵的正交性以及对偶绝对二次曲面秩为3为约束,将射影空间升级到欧式空间,最后用光束法平差进行优化。该方法可同时获得相机的内外参数、畸变系数和场景的三维坐标。仿真实验表明,在1000 mm×1000 mm×400mm的范围内,当像点检测误差在0-1pixel和0-2pixel内,所重建三维点的误差分别为0.1530 mm和0.6712 mm。在500 mm×500 m×200 mm下,真实实验重构三维点的误差在0.3 mm以内。所提出的算法稳定可靠,可对实际工程进行指导。     

露天矿生态重建VR仿真系统研究

介绍了用虚拟现实技术开发露天矿生态重建视景仿真系统的几项关键技术。针对露天矿生态重建应用特点,采用层次型与面向对象相结合的三维数据结构,构造露天矿生态重建视景仿真模型;用LOD技术为露天矿虚拟环境中的地形和建筑物构造多层次、多分辨率的细节模型,提出了基于视点的连续LOD算法,对三维地形模型按数据块进行简化,以适应不同硬件平台和视觉特性的分辨率需求;采用Vega软件实现露天矿三维动态全景图显示与实时驱动的基本方法;用实物标图技术在虚拟场景中进行生态重建规划方案的设计方法;提出一种新的用鼠标获取三维虚拟场景中实体模型信息的算法,实现三维动态查询和与外部数据库的链接。     

基于立体视觉的玉米叶片形态测量与三维重建

提出一种基于立体视觉的玉米叶片形态测量和重建的方法。利用双目立体视觉系统获取玉米叶片的两幅图像,通过图像分割技术和边缘检测算法对每幅图像中的玉米叶片进行边缘提取;利用极线约束和彩色图像RGB值对图像进行匹配,计算出叶片边缘的三维坐标,从而恢复叶片的三维边缘;利用对叶片边缘的恢复技术,对叶片曲面进行三维重建;根据恢复的区域点云,可以测出任意两点的空间距离,实现了对叶片的三维测量。试验结果表明,此方法能够很好地恢复玉米叶片的三维信息,为玉米叶片三维形态的无损、快速检测监测提供了新的方法。     

基于图像序列的交互式快速建模系统

给出了一个基于图像序列的交互式三维建模系统.通过输入一段未标定的图像或视频序列,系统能够自动地恢复出摄像机参数;然后用户只需要在少量几帧图像上简单勾画出物体的形态结构,系统就能自动解析出多帧之间用户交互的对应关系,从而迅速、逼真地重建出场景的三维模型.该系统提供了点与线段的重建、直线与平面的重建、曲线与曲面的重建等功能,能够满足对现实世界中的复杂场景的快速高精度的重建要求.几组真实拍摄的图像序列的建模实验表明:该系统高效、实用.能够很好地满足实际建模需求.     

基于非局部POCS的超分辨率图像重建

图像获取过程中,受成像系统的影响,无法获取原始场景中所有的信息。超分辨率图像重建技术就是在不改变成像系统的前提下,提高图像质量。POCS(凸集投影算法)可以利用多帧低分辨率图像重建一帧高分辨率图像。然而传统的POCS算法通常会产生"锯齿"边缘。在自然图像中,会存在许多的相似边缘结构。利用局部相似性的结构,可以有效地消除"锯齿"边缘。因此提出一种基于非局部POCS的超分辨率图像重建算法,以有效锐化图像边缘,提高图像的视觉感观。     

基于轮廓线法的汽车类外观专利图像三维重建

对立体产品的外观设计专利图像进行三维重建是外观设计专利三维检索的基本前提。结合汽车类外观专利图像的特点,提出汽车类外观专利图像三维重建方法。该方法利用三视图理论及汽车模型的对称性,根据俯视图信息确定主视图与后视图之间在不同高度的距离,进而获取三维空间点坐标;对车轮部分的连接进行特殊处理,并按照子轮廓线连接法构造四角面片,实现三维模型的重建。实验结果表明:1)与传统方法相比错误面片数降低了19.4%;2)重建效果图在外形上与实际物体更为接近。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

三维模型的空间匹配与拼接

为获得敦煌莫高窟第172窟的全景三维模型,实现文化遗产数字化保护,提出一种三维模型的空间匹配与拼接方法。首先通过基于四目立体视觉系统的复杂场景三维重建方法,获取单一场景的三维模型;然后以场景真实三维点云数据的对应图像坐标为约束条件,进行高精度特征点匹配;最后以两对同名点在相邻两场景中的空间距离应该一致为条件,保留匹配精度高的点,用于计算旋转矩阵和平移矩阵,进行三维模型间的空间拼接。实验结果表明:与传统拼接方法相比,本文的模型拼接处无明显错位现象,视觉效果更好,传统方法与本方法的匹配误差分别为0.008 2和0.001 6,拼接精度得到显著改善。     

基于双目视觉的板材平面测量研究

针对传统人工测量板材尺寸精度较低、工作量大、易导致板材表面受损等局限,基于双目视觉技术设计了一种板材尺寸视觉测量系统;通过双目相机采集棋盘格图像,采用MATLAB进行相机标定和图像校正,拍摄左右图像并通过半全局立体匹配算法(SGM,semi global matching)进行特征点立体匹配,重建出目标三维点云模型;为提高目标特征点坐标获取的准确性,提出基于HARRIS的亚像素检测方法;采用区域生长算法结合膨胀和腐蚀操作提取板材表面轮廓,根据三角测量原理计算出板材轮廓上各点的三维坐标从而实现板材的尺寸测量,并进行点云重建增强三维展示效果;实践结果表明亚像素检测方法在角点提取上存在优势,在实际板材测量应用中实现了高精度尺寸测量,满足了工业测量需求。     

复杂室内图像的灭点检测与箱体重建方法

近年来,随着家居虚拟展示应用的推广,针对图像的室内场景建模技术成为研究和应用的热点。在图像理解的基础上,针对单张复杂室内图像提出了一套箱体建模方法。首先进行代表房间主轴方向的灭点检测,并通过分析影响灭点检测的因素,对灭点检测算法提出相应的改进,从而显著改善算法的执行效率和准确性。然后对图像的场景布局信息进行自动还原,并通过加入布局优化步骤,提高布局还原结果的准确率。最后利用灭点得到相机的内、外部参数,并以此为基础实现图像到三维模型的转换。实验表明,单张复杂室内图像的箱体重建方法能够快速地对图像场景进行分析,并恢复场景的箱体布局,满足虚拟重建的需要。     

基于学习的多帧图像超分辨率重建技术研究

由于可用信息不足,多帧图像超分辨率重建问题常常是一个不适定问题。为解这一问题,需要额外的图像先验知识。本文提出一个基于学习的多帧图像超分辨率重建算法,该方法从训练图像集中学习先验知识。实验表明本文方法要优于传统基于最大后验概率估计的超分辨率重建算法。     

乒乓球的三维运动轨迹重建

主要基于图像序列对乒乓球的运动轨迹进行三维重建,并对乒乓球运动形态进行分析.首先对采集的图像进行立体校正,利用颜色识别和改进的霍夫圆检测算法提取出序列图像中乒乓球的圆心坐标;然后根据前后帧图像的特征点坐标差值在时间序列上匹配特征点;最后,利用三角测量法对匹配的特征点进行三维重建,并计算出乒乓球不同时刻的速度和加速度,实现了动态物体的三维运动重建.实验结果表明该三维运动重建方法提高了特征提取的准确性,有效地实现了时间序列上的匹配,获得了物体的三维运动数据.     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。