多层次感知的多视图三维模型重建

针对基于体素表征的多视图三维模型重建过程中,存在二维视图所包含的空间信息离散,空间网格中体素分布稀疏的问题,提出基于多层次感知的多视图三维模型重建方法,旨在通过对视图级、体素级与物体级信息的多层次感知,重建具有完整结构与局部细节的三维模型。在视图特征提取阶段设计了上下文感知的通道注意力模块来最大限度获取二维视图中潜在空间信息;在三维模型生成阶段,通过体素感知的VoxFocal Loss来促进空间网格中体素生成;在三维模型细化阶段,通过具有物体感知能力的三维判别器来自适应地消除三维模型中冗余体素,生成更具真实感的三维模型。在大型合成数据集ShapeNet和真实世界数据集Pix3D上验证了该方法的有效性与先进性。     

基于DST融合多视图模糊推理赋值的三维目标检测

针对前置激光雷达的点云数据,提出一种基于DST融合多视图模糊推理赋值的有效障碍物分割判别方法.将点云数据转换为体素地图并进行路面分割,得到前、俯视图.在两视图中根据不同的模糊推理规则对某体素属于目标的程度进行基本概率赋值,并通过DST融合判别目标,精确分割目标,从而得到方盒模型参数.将三维识别问题转换为一系列的二维检测问题,与直接利用三维点云信息相比,可以降低数据处理复杂度,提高系统稳定性.在自主研发的自动驾驶汽车上采用前置16线激光雷达和TX2嵌入式开发板进行多次在线试验,并在KITTI上进行对比验证,结果表明所提方法在实际应用中拥有较好的实时性和准确性.     

基于二维透视图像的建筑物基本体素三维重建

根据建筑物由基本体素构成的特点,研究从一幅简单建筑物二维图像中重建三维图形的方法.利用透视原理,通过从建筑物二维影像中抽取三维几何信息,分析透视几何图形与体素之间的关系,重建基本体素的三维坐标,在三维空间中重新构建建筑物外形.并利用VLISP在AutoCAD中实现.     

基于三角形不规则网模型的快速体素化方法

为了改善在大数据量时体素化效率不高的缺点,针对三角形不规则网（TIN）模型的三角网特性,提出了一种快速简单的体素化算法。首先通过细划三角面片,将面体素化转换为简单的点体素化生成体表面模型,然后利用深度缓存原理快速寻找初始种子体素进行体内填充。实验结果表明,对于精细复杂的大规模TIN模型,算法能确实有效地生成逼近原模型的26-连通的体素模型,且具有高效的时间效率。     

基于压缩体素模型的快速成型直接切片算法*

基于STL文件模型的间接分层切片算法存在缺乏拓扑信息, 面误差诊断修复困难等问题,结合压缩表示形式的体素模型特点,提出了一种新的基于压缩体素模型直接切片分层优化算法.该算法利用Dexel模型记录的Dexel射线和物体交点所表达的物体表面点位置,通过设定分层平面厚度等参数获得截面轮廓数据,生成可直接适用于快速成型系统的共用层接口CLI文件.该算法在虚拟油泥造型系统中得到了应用,实验结果表明算法稳定、分层效果良好.     

针对密集点云的快速自适应四边形网格生成算法

为了能够从密集点云直接获得四边形网格,而不需要通过三角形网格重构获得,提出针对密集点直接构造的四边形网格生成算法.首先进行点云数据体素化得到体素模型,建立体素和点云的索引关系,并对体素做精细化操作,以提高映射效果;然后通过体素模型外表面的顶点与原始点云的映射得到四边形网格模型,并对四边形网格进行优化.在斯坦福的数据集上进行实验,并使用MeshLab软件进行效果展示,结果表明,该算法可以基于密集点云直接生成四边形网格模型,同时可以通过调整体素大小来自适应地改变算法效率和四边形网格的大小.     

一种新的虚拟血管镜自动导航路径生成方法

血管的中心路径提取是虚拟血管镜的重要组成部分, 它提供了自动导航的路径. 本文提出一种新的内窥路径生成方法, 用改进L1中值算法对体素点云化的脑血管数据进行骨架的提取. 首先,对核磁共振成像(Magnetic resonance imaging, MRI)增强血管数据进行基于统计的分割算法进行分割; 其次,对推广的Roberts算子在体素空间分割出的单体素点边界进行体素点的点云化, 生成点云模型; 最后,在点云空间中运用基于法向信息的L1中值算法进行骨架提取. 该过程克服了传统方法在体素中进行骨架提取时对数据缺失、孤点敏感的局限性, 并且对下采样后的点云化数据提取的骨架效率高, 骨架居中性较好, 最终把骨架用作脑血管虚拟内窥的自动漫游路径, 实现自动导航.     

基于生成对抗网络的多视图学习与重构算法

同一事物通常需要从不同角度进行表达.然而,现实应用经常引出复杂的场景,导致完整视图数据很难获得.因此研究如何构建事物的完整视图具有重要意义.本文提出一种基于生成对抗网络（Generative adversarial networks,GAN）的多视图学习与重构算法,利用已知单一视图,通过生成式方法构建其他视图.为构建多视图通用的表征,提出新型表征学习算法,使得同一实例的任意视图都能映射至相同的表征向量,并保证其包含实例的重构信息.为构建给定事物的多种视图,提出基于生成对抗网络的重构算法,在生成模型中加入表征信息,保证了生成视图数据与源视图相匹配.所提出的算法的优势在于避免了不同视图间的直接映射,解决了训练数据视图不完整问题,以及构造视图与已知视图正确对应问题.在手写体数字数据集MNIST,街景数字数据集SVHN和人脸数据集CelebA上的模拟实验结果表明,所提出的算法具有很好的重构性能.     

基于多视图聚类算法的三维流场关键点附近的流线筛选EI北大核心CSCD

在关键点周围进行流线可视化时,流场特征复杂多样以及流线之间可能存在共点或对称性等情况,可能导致常规的基于几何或相似性的筛选方法失效.为此,提出了基于数据驱动思想的关键点周围的流线筛选方法MvCcp,它是基于多视图聚类算法的流线筛选方法,通过对流场进行不同粒度的体素化,生成流线的位置视图和基于距离场直方图的特征视图数据,并通过多视图聚类算法进行流线筛选.针对HalfCylinder等6个典型的关键点周围的三维流场,与其他3种典型的流线筛选方法进行了定性可视化比较,并基于MSE,PSNR,SSIM,AAD等定量指标进行对比实验表明,MvCcp在所有实验中具有更出色和更稳定的表现.     

ST-Rec3D：基于结构和目标感知的三维重建

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将IoU损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在ShapeNet和Pix3D数据集上的对比结果表明,ST-Rec3D在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。     

用于冷启动推荐的异质信息网络对比元学习

在推荐系统中,冷启动推荐由于缺乏用户和物品交互信息而具有很大的挑战性.该问题可以由数据层和模型层的策略进行缓解.传统的数据层方法利用如特征信息的辅助信息来增强用户和物品表示的学习.最近,异质信息网络被整合于推荐系统中.它可以提供更丰富的辅助信息和更有意义的语义信息.但是,这些模型无法充分利用结构和语义信息,并且忽视了网络中的无标签信息.模型层的方法应用了元学习框架,该框架通过学习相似任务的先验知识然后利用很少的标签信息适应新任务,与冷启动问题相似.综上,我们提出了一个基于异质信息网络的对比元学习框架CM-HIN,同时在数据层和模型层解决冷启动问题.具体的,利用元路径和网络模式两个视图分别刻画异质信息网络的高阶以及本地结构信息.在元路径和网络模式视图中,采用对比学习挖掘异质信息网络的无标签信息并整合两个视图.在三个基准数据集上的三个冷启动推荐场景的大量实验中,CM-HIN超越了所有先进的基线模型.     

基于像素语义信息的单图像视图生成深度预测方法

单幅图像的深度预测具有重要的应用前景。为解决现有视图生成方法中图像扭曲的问题，创新性引入目标检测思想改进了视图生成网络Deep3D,提出基于像素语义信息的单图像视图生成模型。把视图生成网络得到视差概率分布和目标检测模型提取到中心点概率分布加权结合到一起。把模型得到的视差图与输入图结合来产生右图，最后利用左右图计算得到深度图。实验结果显示，该方法有效提升了生成右图和计算得到深度图的精度。     

基于条件生成对抗网络的光场图像透视视图生成算法

光场图像新视图生成算法在视点内插和外插方面已经取得了良好的研究成果,但在视点位置平移和旋转一定角度情形下的透视视图生成仍然是一项具有挑战性的任务。针对上述问题,提出了一种基于条件生成对抗网络的光场图像透视视图生成算法LFIPTNet（light field image perspective transformation network）,利用相机的位姿信息作为条件来引导条件生成对抗网络学习新视图的内容。提出了多个模块,充分利用相机位姿信息和光场宏像素图像（macro pixel image,MPI）记录空间信息、角度信息、深度信息来生成预测视图。提出的方法在构建的数据集上与最新的三种方法进行了比较,相比于性能第二的StereoMag模型,PSNR提高了7.77 dB,SSIM提高了0.35。消融实验部分对提出的模块进行了评估,验证了创新点的有效性。充分的实验结果表明LFIPTNet相比于现有算法,生成的预测视图更加准确。     

一种基于视图的本体映射模型的构建

为了实现异构本体间的互操作,本体映射是最有效的解决方法.在本体映射的研究中,已经有很多文献提出了多种映射方法,比较和分析这些方法后,本文基于Schema映射理论构建了基于视图的本体映射模型.首先生成各局部本体的视图;然后对各局部本体视图概念进行聚类分析生成类聚簇,在此基础上基于概念语义关系将局部本体视图元素合并集成为全局本体视图元素,生成全局本体视图,同时建立起全局本体视图与局部本体视图间的映射关系.该模型增加了本体映射的可理解性和清晰性;适应于动态信息环境;为实现异构本体间信息共享提供了一个可视化的框架.     

基于体素的快速MEMS工艺模拟

为了快速生成MEMS模型和实现加工的过程模拟,给出一种基于体素的快速MEMS工艺模拟方法.该方法利用MEMS材料属性和体素表示的特性,利用布尔运算快速生成所需要的模拟过程和最终结果.最后给出了具体实现,并给出了测试实例.     

语义导向多尺度多视图深度估计算法

目前利用深度学习进行多视图深度估计的方法可以根据卷积类型可以大致分为两类.其中,基于2D卷积网络的模型预测计算速度快,但预测精度较低;基于3D卷积网络的模型预测精度高,却存在高硬件消耗.同时,多视图中相机外部参数的变化使得模型无法在物体边缘、遮挡或纹理较弱区域生成高精度预测结果.针对上述问题,提出了基于3D卷积的语义导...     

一种三维建筑物模型自动纹理映射方法

针对三维模型纹理映射受观测视角及遮挡影响的问题,提出了一种基于高斯混合模型的纹理自动映射方法。首先在体素三维重建模型上,为每一个目标表面体素建立高斯混合模型来描述该体素的颜色在不同图像上观测值的分布;然后利用输入的序列图像及对应的相机参数,结合场景的可见性约束,用图像每一个像素的颜色信息更新三维场景模型中它所对应的体素的高斯混合模型;最后用高斯混合模型的期望估计体素的实际颜色纹理。结果表明,该方法可以得到准确精细的三维建筑物纹理模型。     

微机绘制单视点镜像体视图原理

绘制体视图，要求在同一画面上绘出由左、右两个视点所得到的两个透科，黍为体视图对，而某些绘图中的透视图绘制功能，显示一幅画面时只能使用一个社点。为此，对如何用一个视点，对同一物体一次绘制出一对体视图进行了探讨，并利用ＡｕｔｏＣＡＤ软件成功地绘制出了镜像体视图。     

多视图立体三维重建中的孔洞修复算法

为了解决多视图立体三维重建算法不能很好地处理弱纹理或无纹理及高光区域的重建问题,提出一种基于可见外壳与多视图三维点云有机融合的多视图立体三维重建孔洞修复算法.该算法以可见外壳及多视图三维点云为输入,首先提取出可见外壳内满足点云稀疏度约束的叶节点,然后利用可见外壳法向量射线约束去除包裹在三维点云外层的叶节点,最后通过加入三维点云曲面曲率约束来消除点云中凹陷区域的影响.实验结果表明,文中算法有效地解决了物体缺乏纹理区域表面的孔洞修复问题,使得最终生成的三维网格模型完整和平滑,具有参数可调、易于实现的特点,对于不同的模型都具有非常好的鲁棒性.     

基于采样点组二值化策略的鲁棒二值描述子研究

鉴于当前基于采样模型的二值描述子的采样信息相关度高且描述子的鲁棒性较低,通过改进视网膜采样模型,提出基于采样点组二值化策略的鲁棒二值描述子。首先,通过减少采样层数并增大采样点间的距离,设计出低采样点密度和低采样区域重叠度的改进视网膜采样模型。然后,在模型中的采样点圆形邻域内获取若干像素点,将其与采样点一起组成采样点组,分别计算两个采样点组对应点的灰度对比结果,并利用投票策略决定最终二值结果。最后,将采样点组的梯度对比信息与灰度对比信息一起编码生成描述子,以提高对相似灰度区域的描述力。通过对比实验可以看出,所提二值描述子对各种图像变化具有较好的鲁棒性且具有较好的匹配效果。