Unity3D虚拟现实技术在三维图像场景重构中的应用

现今使用的图像场景重构方法主要利用模型跟踪图像特征细节,通过空间转换得到重构后的场景。由于缺乏对场景深度的分析,导致重构后的场景误差较大。提出利用Unity3D虚拟现实（Virtual Reality,VR）技术重构三维图像场景。首先,根据双目成像原理获取场景深度,滤波处理图像中的点云数据。其次,引入指数权重系数描述图像特征,将详细的场景信息输入Unity3D。最后,借助Unity3D处理组件实现场景重构。经实验表明,利用Unity3D重构的结构相似性平均为93.94%,场景体素并交比数值较高,重构质量良好。     

三维场景分割中多模态数据融合的2D-3D耦合网络

提出基于二维空间RGB颜色和三维点云数据融合的语义理解网络。先使用轻量级网络提取二维图像的特征，再基于二维图像特征、几何结构和全局环境信息提取三维场景语义分割框架。该算法采用异构网络，有效地将图像和点云信息结合起来，解决了单点云数据处理结果不够精细的问题。     

基于稀疏图像序列的雕塑点自动云三维重构方法

为了提高对雕塑点稀疏图像的点云三维重建的分析能力,提出一种基于稀疏图像序列的雕塑点自动云三维重构方法,基于稀疏散乱点三维重建和锐化模板特征匹配方法进行图像三维重建。采用三维角点检测和边缘轮廓特征提取方法,进行雕塑点稀疏图像三维点云特征检测,对检测的雕塑点稀疏图像点云数据进行信息融合处理,采用梯度运算方法进行特征分解,实现对雕塑点稀疏图像的信息增强和融合滤波。结合局部均值降噪方法进行图像的提纯处理,提高雕塑点稀疏图像轮廓重建能力,采用锐化模板特征匹配和块分割技术,实现雕塑点自动云三维重构。仿真结果表明,采用该方法进行雕塑点自动云三维重构的准确性较高,图像匹配能力较好,且重构输出信噪比较高。     

改进ICP算法用于多组图像的点云拼接与融合

随着计算机图形图像技术、机器视觉、虚拟现实技术等的发展,近年来,通过室外场景的序列图像进行三维重建的方法逐渐成为计算机视觉和图形学等相关领域的重点研究方向。但是,通常在图像的采集过程中由于受到测量设备和环境的影响,单次拍摄的序列组图可能并不能提取到足够的物体表面信息,导致不能够完成三维物体的重构,而不能为后续的目标识别和精确打击提供准确信息依据。针对此类问题,文中采用融合多组图像点云的方法,先利用彩色直方图匹配补充补拍图像序列,然后单独解算补拍组图的点云数据,再对不同点云的重叠部分利用改进的迭代最近点算法计算变换参数,最后进行融合处理,从而完成不同组图的点云数据间的配准和融合工作。实验证明,该方法能快速有效补充用于重构的点云数据,拼接和融合效果良好。     

基于高斯混合模型聚类的Kinect深度数据分割

基于深度图像的室内场景理解是计算机视觉领域中的前沿问题。针对三维室内场景中平面较多的特性,提出一种基于高斯混合模型聚类的深度数据分割方法,实现对场景数据的平面提取。首先将Kinect获取的深度图像数据转换为离散三维数据点云,并对点云数据作去噪和采样处理;在此基础上计算所有点的法向量,利用高斯混合模型对整个三维点云的法向集合聚类,然后利用随机抽样一致性算法对各个聚类进行平面拟合,由每个聚类得到若干平面,最终把整个点云数据分割为一些平面的集合。实验结果表明,该方法得到的分割区域边界准确,分割质量较高。提取出的平面集合为以后的室内对象识别和场景理解工作奠定了较好的基础。     

地面三维激光扫描点云数据处理及建模

本论文以昆明理工大学呈贡校区“昆明理工大学”石碑作为目标场景,利用地面三维激光扫描仪Maptek I-Site 8200SR获取目标场景的点云数据,使用Maptek I-Site Studio 6.0对点云数据进行预处理,包括点云数据的配准、去噪及精简;通过提取特征点云同时结合AutoCAD2014、3ds Max实现对目标场景的建模。研究三维激光扫描点云数据预处理的方法步骤及模型构建过程,通过分析数据处理及建模结果,结合当前的研究状况探讨了模型的相关应用,并展望进一步的研究方向以及工作内容。     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

基于智能的配电网电力大数据三维场景可视化分析

配电网电力大数据的三维场景重构是实现数据优化挖掘的关键,提出基于人工智能的配电网电力大数据三维场景可视化分析方法。建立配电网电力大数据三维场景的网格分布结构模型,并进行配电网电力大数据三维场景实时数据监测,根据监测结果进行配电网电力大数据的统计特征分析,对配电网电力大数据三维场景实时数据采用信息融合和模糊层析性分析方法进行信息融合和自适应调度,提取配电网电力大数据的三维可视化分布特征量,采用视觉特征重构技术,实现对配电网电力大数据三维场景可视化重构,在人工智能算法控制下提高电力大数据三维场景可视化重构的精度。仿真结果表明,采用该方法进行配电网电力大数据三维场景可视化重构的精度较高,提高了配电网电力大数据挖掘的效能。     

基于图像处理的外螺纹三维模型重构

提出了一种基于多角度序列图像特征实现外螺纹的三维模型重建的方法。 首先在旋转平台上采集多角度序列螺纹件图像,然后对每帧图像进行特征点提取,将序列图 像的特征点进行三维变换和插值,最终生成三维模型。实验结果表明,此算法能精确高精度 地实现外螺纹三维模型重构。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

面向三维重建的自适应列文伯格-马夸尔特点云配准方法

针对三维重建时点云配准过程易受环境噪声、点云曝光、光照、物体遮挡等因素的影响,以及传统ICP配准算法配准精度低、耗时长等问题,提出一种基于自适应列文伯格-马夸尔特迭代式的点云配准方法。首先,对初始点云数据采用统计滤波和体素栅格滤波相结合的方式进行降噪预处理;然后,对滤波后的点云进行分层,剔除位于层外的外点数据,以提高后续点云配准的精度;针对传统点云特征描述方法计算量大的问题,使用平滑度参数提取点云特征,以提升点云配准的效率;最后,根据点云特征建立帧间点到线及点到面的约束关系,采用改进的列文伯格-马夸尔特(Levenberg-Marquardt)方法完成点云配准,构建较理想的三维重建模型。实验结果表明,提出的点云配准方法适用于室内及室外场景的三维重建,环境适应性强,且点云配准精度和效率都有较大提升。     

基于QT的机载三维激光扫描仪软件系统设计

随着测绘技术的发展,利用机载三维激光扫描仪获取点云数据,从点云数据中提取模型信息成为现代测绘技术的一种发展趋势. 点云数据处理的相关应用也越来越多,点云数据的处理软件参差不齐,需求和功能也各不相同. 针对上述问题,在基于QT编程平台下,利用PCL开发机载三维激光扫描仪点云数据处理软件,集中处理点云数据. 该系统由点云数据读写、三维显示、点云滤波、网格重构、点拾取、点云分割及NARF关键点提取等功能模块组成. 各模块采用面向对象的思想设计,功能易于扩展,以完成进一步的测绘工作. 实践表明,该系统具有良好的工程实用价值,可以快速完成机载三维激光扫描仪的数据处理工作.     

基于模板替换的室内场景建模方法研究

当前,室内场景建模相关研究已经取得很多进展,特别是基于多视角融合的建模 框架与基于单视角的建模框架的提出,增强了机器人的环境感知能力。但仍然存在以下不足： ①基于多视角融合的建模方式预处理时间长,建模完成后需线下优化过程,不能满足特定条件 下的建模需求;②基于单视角的建模算法输出一般为体素,建模质量较低,信息缺失严重,对 于场景细节无法精确刻画,难以满足机器人交互的要求。特提出一种基于模板替换的室内场景 建模方法研究。首先,预处理由设备采集到的三维点云场景,分割出存在点云缺失的单个对象, 并利用虚拟扫描技术采样对象表面点并计算法向量与曲率。采用八叉树网格结构,将点云的法 向量与曲率信息分别存入网格中,再利用卷积神经网络(CNN)提取高维特征向量,将其与数据 库中三维对象特征进行欧氏距离比较,得到检索序列。从序列中挑选出最相似的对象,利用迭 代就近点(ICP)配准方法,与扫描场景进行配准,完成场景优化。对提出的网络模型在 2 个基准 数据集上进行测试并表现出良好的性能。     

基于3DS MAX的机器人动画场景特征增强研究

为了提高机器人动画场景识别和构造能力,需要进行机器人动画场景的特征增强处理,提出基于3DS MAX的机器人动画场景特征增强方法,采用暗原色场景参数采集和信息融合的方法,实现对机器人动画场景3DS MAX图像特征检测和数据采集,建立机器人动画场景图像分布参数模型,通过环境和区域参数重构的方法,进行机器人动画场景3DS MAX界面重构,构建机器人动画场景3DS MAX图像滤波和特征分析模型,通过图像信息增强和参数反馈补偿的方法,进行机器人动画场景3DS MAX的特征分析和RGB像素重组,根据特征检测和卷积分析结果,实现机器人动画场景的特征增强。仿真测试结果表明,采用该方法进行机器人动画场景3DS MAX特征增强处理,提高了机器人动画场景的重建和识别能力,场景逼真度较高。     

基于AutoCAD和3DSMAX的虚拟校园三维场景构建研究

当前的虚拟校园三维场景构建方法是利用osgEarth获取GoogleEarth数据,构建虚拟校园三维地图,然后依据本地地形信息与三维场景模型完成对虚拟校园的三维场景构建;该方法在三维场景构建过程中没有考虑到校园后续建设发展,只凭现在所需进行三维场景构建,导致虚拟校园三维场景杂乱,存在虚拟校园三维场景构建顾虑不周的问题;为此,提出一种基于AutoCAD和3DSMAX的虚拟校园三维场景构建方法;该方法首先利用Kinect的RGB深度摄像头获取校园平面数据、影像数据和贴图资料,采用相机阵列合成算法对所得校园图像进行特征提取,然后依据非局部均值滤波方法对获取的校园图像进行去噪操作,最后利用边缘方向和梯度表示中的结构方向与强度,对校园图像外轮廓的纹理特征进行收敛,依据外轮廓纹理特征收敛实现校园图像内轮廓的准确定位,将校园图像与虚拟校园三维场景构建所需图像进行匹配,由此完成对虚拟校园三维场景的构建;实验结果证明,所提方法是虚拟校园三维场景构建领域革命性的突破,提高了学校的招生率,增加了校园文化历史的展现机会,为该领域的研究发展提供了有效依据。     

基于3D-SIFT与4PCS融合的大数据量点云快速配准方法

测量点云与模型点云的配准是视觉定位的关键。针对测量点云数据量大且与CAD模型点云重叠率低造成视觉定位精度差、算法效率低的问题,提出一种基于三维尺度不变特征变换（3D-SIFT）与4点快速鲁棒匹配算法（4PCS）融合的测量点云与模型点云配准方法。首先利用深度相机对零件进行点云提取并对提取到的测量点云进行降噪和滤波处理;接着利用3D-SIFT特征点提取算法对测量点云和CAD模型点云进行特征点提取;最后把提取的特征点作为4PCS算法的初始值进行2种点云数据的配准。与常用的4PCS算法、Super-4PCS算法相比,在算法仿真与实际应用实验结果表明,本文算法在保证配准精度的前提下将配准速度提高30%以上。     

基于OpenGL驱动的三维场景重构

基于OpenGL环境,提出利用场景渲染结果即帧缓存数据(主要包括颜色缓存及深度缓存)进行局部三维场景重构的方法.根据投影变换原理和深度缓存特点研究了逆投影变换,得到了三维点元的重构方法.在此基础上,利用帧缓存数据重构每像素对应的三维点元,从而构成相机坐标系下的三维点云模型,即原始三维场景在当前相机视角下的离散采样,被定义为虚拟视模型.根据透视投影和帧缓存的特点,分析了虚拟视模型的点位精度,实验表明虚拟视模型具有较高的相对精度.提出的场景重构方法具有天然的多分辨特性,支持场景简化与流式传输以及独立于场景的具体表示形式,可采用拦截方式从一般三维软件中实时重构虚拟视模型,从而提供了一种获取三维数据的新方法.     

基于多模态特征融合的三维点云分类方法

针对点云数据本身信息量不足导致现有三维点云分类方法分类精度较低的问题,结合多模态特征融合,设计一种三维点云分类模型。通过引入投影图对点云数据信息进行扩充,将点云数据与图像数据同时作为输入,对PointCNN模型提取的点云特征与CNN模型提取的投影图特征进行加权融合,从而得到最终分类结果。在ModelNet40数据集上的分类结果表明,该模型的分类精度达到96.4%,相比PointCNN模型提升4.7个百分点。     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。     

基于三维激光雷达的道路边界提取和障碍物检测算法

为了快速有效地提取智能车辆在不同环境下的道路环境信息,提出基于三维激光雷达的道路边界提取和障碍物检测算法.首先,对三维激光雷达点云数据进行栅格化滤波处理,利用单束激光点云空间邻域联合分割的方法进行空间分析,得到点云平滑度特征图像.然后,采用自适应方向搜索算法获取道路边界候选点,并进行聚类分析和曲线拟合.最后,对道路边界约束下可通行区域内点云进行聚类分割,获得道路内障碍物方位和距离信息.实验表明,文中算法能够实时准确地提取道路边界和障碍物位置信息,满足智能车环境建模和路径规划的需求.