基于可变形卷积的服装检索方法

传统的服装检索方法使用固定形状的感受野,当服装目标存在几何变形时无法有效地提取其特征。针对这个问题,提出基于可变形卷积和相似性学习的服装检索方法。首先,构建可变形卷积网络,自动学习服装特征的采样位置和服装图像的哈希编码;然后,级联相似性学习网络,度量哈希编码的相似性;最后,根据相似性评分产生检索结果。实验结果表明,该方法能够有效地提取存在几何变形的服装目标的特征,从而减少了图像背景特征的干扰,提高了检索模型的准确率。     

结合三维几何形状信息和二维纹理的3D目标匹配

为了实现场景中三维目标与模型之间的匹配,提出了一种结合三维几何形状信息和二维纹理的三维目标匹配方法。首先提取场景中深度图像的尺度不变特征变换(SIFT)特征,用SIFT算法与三维模型重建时所用到的一系列2.5维深度图像进行一一匹配,找到与场景中目标姿态最为相似的深度图像,提取此深度图像的三维几何形状特征与模型进行匹配,实现模型的初始化,即将模型重置到与场景目标相接近的姿态。最后用融合二维纹理信息的迭代就近点（ICP）算法实现场景中目标与模型之间的匹配,从而得到场景中三维目标的准确姿态。实验结果验证了方法的可行性与精确性。     

基于卷积神经网络的左心室超声图像特征点定位

针对传统级联卷积神经网络（CNN）在左心室超声图像中定位准确度较低的问题，提出一种融合更快速区域卷积神经网络（Faster-RCNN）模型提取区域的级联卷积神经网络，实现对超声图像中左心室心内膜和心外膜轮廓特征点的定位。首先，采用两级级联的方式改进传统级联卷积神经网络的网络结构，第一级网络利用一个改进的卷积网络粗略定位左心室心内膜和心外膜联合的特征点，第二级网络使用四个改进的卷积网络分别对心内膜特征点和心外膜特征点进行位置微调，之后定位输出左心室心内膜和心外膜联合的轮廓特征点位置；然后，将改进的级联卷积神经网络与目标区域提取融合，即利用Faster-RCNN模型提取包含左心室的目标区域并将目标区域送入改进的级联卷积神经网络；最后，由粗到细对左心室轮廓特征点进行定位。实验结果表明，与传统级联卷积神经网络相比，所提方法在左心室超声图像上的定位效果更好，更逼近真实值，在均方根误差的评价标准下，特征点定位准确度提升了32.6个百分点。     

基于深度卷积神经网络的三维模型检索

为了更有效地利用三维模型数据集进行特征的自主学习,提出一种使用自然图像作为输入源,以三维模型的较优视图集为基础,通过深度卷积神经网络的训练提取深度特征用于检索的三维模型检索方法。首先,从多个视点对三维模型进行视图提取,并根据灰度熵的排序选取较优视图;然后,通过深度卷积神经网络对视图集进行训练,从而提取较优视图的深度特征并进行降维,同时,对输入的自然图像提取边缘轮廓图,经过相似度匹配获得一组三维模型;最后,基于检索结果中同类模型总数占检索列表长度的比例对列表进行重排序,从而获得最终的检索结果。实验结果表明,该算法能够有效利用深度卷积神经网络对三维模型的视图进行深度特征提取,同时降低了输入源的获取难度,有效提高了检索效果。     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

基于卷积神经网络的室内场景三维重建技术研究

三维场景重建技术是计算机视觉领域的十分重要的研究课题。传统三维场景重建大多是专业工程师通过手工制图实现,效率不高且成本较高。对此提出一种基于卷积神经网络的三维场景重建方法。该方法在对2D图像进行语义分割的基础上,提取分割后的室内场景元素图像块,训练一个基于卷积神经网络的三维模型匹配模型;再将匹配得到的三维模型结合深度图构造的残缺三维模型,进一步进行组合,从而完成室内场景的三维重建工作。实验验证了该方法的可行性和优异性。     

结合分类卷积神经网络和形状上下文的线画图检索

传统线画图检索中仅仅利用线画图形状特征信息导致检索准确率不高,为了高效、准确地从线画图数据集中检索相似的线画图,提出一种结合分类卷积神经网络和形状上下文的线画图检索方法.首先利用大卷积核的分类卷积神经网络对线画图像数据集进行分类训练任务得到神经网络权值参数,使用该网络结构提取数据集中每张线画图的卷积特征信息;然后根据用户在画图板上绘制得到的简单线画图输入,利用卷积神经网络进行二次分类得到前15种最相似的分类,并结合形状上下文算法对15种分类匹配相似度并取前8种分类;最后使用卷积神经网络提取用户输入的线画图特征信息并与8种分类中的线画图特征信息进行匹配,根据相似度大小排序得到线画图匹配结果.基于Caffe卷积神经网络开发框架,采用TU-Berlinsketchbenchmark线画图数据集进行实验的结果表明,该方法能高效、准确地从数据集中检索得到相似线画图,同时能保证检索结果集中于最相似的几种类别且同类型中能有更多的选择.     

基于双通道级联注意力网络的医学图像配准

为提高卷积神经网络在医学图像上的配准性能,提出一种双通道级联注意力网络用于医学图像配准.针对浮动图像和固定图像,用两个卷积神经网络对配准场进行估计;用配准场级联策略提高配准场变形估计性能;在配准场估计过程中引入注意力机制用于自动学习和优化注意力特征并分配特征权重,进一步加强特征表达能力,提高配准性能.通过对脑部图像和肺部图像的配准实验分析,验证了该方法的有效性和准确性.     

基于级联深度卷积神经网络的高性能图像超分辨率重构

为了进一步提高现有图像超分辨率重构方法所得图像的分辨率,提出一种高性能的深度卷积神经网络（HDCN）模型用于重构放大倍数固定的超分辨率图像。通过建立级联HDCN模型解决传统模型重构图像时放大倍数无法按需选择的问题,并在级联过程中引入深度边缘滤波器以减少级联误差,突出边缘信息,从而得到高性能的级联深度卷积神经网络（HCDCN）模型。基于Set5、Set14数据集进行超分辨率图像重构实验,证明了引入深度边缘滤波器的有效性,对比HCDCN方法与其他图像超分辨率重构方法的性能评估结果,展现了HCDCN方法的优越性能。     

基于数据挖掘的立体视觉效果评价方法研究

为了提升三维图像立体视觉效果评价质量,研究基于数据挖掘的立体视觉效果评价方法。利用二维Gabor滤波器提取图像的单目特征,即自然场统计特征;按照双目竞争特点融合左右图像,获取独眼图,提取双目特征,即方向梯度直方图特征;级联两个特征,获取左、右图像特征,归一化处理左、右图像特征的局部亮度系数,结合主观立体视觉效果评价分数,输入改进卷积神经网络,训练网络,获取客观立体视觉效果评价模型,在模型内输入测试图像,输出评价分数。实验证明,上述方法可有效评价三维图像的立体视觉效果;卷积核数量为50个,所提方法的评价质量最佳;在评价不同失真类型三维图像时的皮尔森线性相关系数、斯皮尔曼等级相关系数均较高,具备较优的三维图像立体视觉效果评价质量。     

局部几何与全局结构联合感知的三维形状分类方法

针对复杂结构的三维形状分析与识别问题,提出了新颖的图卷积分类方法,建立了局部几何与全局结构联合图卷积学习机制,有效提高了三维形状数据学习的鲁棒性与稳定性。首先,通过最远点采样与最近邻方法构造局部图,并建立动态卷积算子,有效提取局部几何特征;同时,基于特征域采样构造全局的特征谱图,通过卷积算子获得全局结构信息。进而,构建加权的联合图卷积学习网络模型,引入注意力机制,实现自适应的特征融合。最终,在联合优化目标函数约束下,有效提高特征学习的性能。实验结果表明,融合局部几何与全局结构的联合图卷积网络学习机制,有效提高了深度特征的表示能力及区分性,具有更为优秀的识别力和分类性能。提出的研究方法可应用于大规模三维场景识别、三维重建以及数据压缩,在机器人、产品数字化分析、智能导航、虚拟现实等领域具有着重要的工程意义与广泛的应用前景。     

基于谱对称的形状配准方法

针对现有三维形状配准方法中存在左右翻转的错误匹配问题,提出了基于内蕴对称特征检测的高效形状配准算法。首先,通过热核与几何约束构建模型的内蕴自对称点对;其次,基于谱嵌入特征空间分析提取模型的内蕴对称平面,并依据模型表面法向量有效识别模型的左右结构属性;然后,根据内蕴对称点对获得模型的一致性谱对称结构描述;最后,引入一致性点漂移算法(CPD),实现基于谱对称的非刚性模型的形状配准,有效避免了模型配准中的左右结构翻转问题。实验进一步论证了这种方法不仅有效提高了模型匹配的效率,而且能有效识别同类模型的结构特征,对于非刚性模型的配准具有较强的鲁棒性。     

基于深度学习的三维数据分析理解方法研究综述

基于深度学习的三维数据分析理解是数字几何领域的一个研究热点.不同于基于深度学习的图像分析理解,基于深度学习的三维数据分析理解需要解决的首要问题是数据表达的多样性.相较于规则的二维图像,三维数据有离散表达和连续表达的方法,目前基于深度学习的相关工作多基于三维数据的离散表示,不同的三维数据表达方法与不同的数字几何处理任务对深度学习网络的要求也不同.本文首先汇总了常用的三维数据集与特定任务的评价指标,并分析了三维模型特征描述符.然后从特定任务出发,就不同的三维数据表达方式,对现有的基于深度学习的三维数据分析理解网络进行综述,对各类方法进行对比分析,并从三维数据表达方法的角度进一步汇总现有工作.最后基于国内外研究现状,讨论了亟待解决的挑战性问题,展望了未来发展的趋势.     

三维视觉前沿进展

在自动驾驶、机器人、数字城市以及虚拟/混合现实等应用的驱动下,三维视觉得到了广泛的关注。三维视觉研究主要围绕深度图像获取、视觉定位与制图、三维建模及三维理解等任务而展开。本文围绕上述三维视觉任务,对国内外研究进展进行了综合评述和对比分析。首先,针对深度图像获取任务,从非端到端立体匹配、端到端立体匹配及无监督立体匹配3个方面对立体匹配研究进展进行了回顾,从深度回归网络和深度补全网络两个方面对单目深度估计研究进展进行了回顾。其次,针对视觉定位与制图任务,从端到端视觉定位和非端到端视觉定位两个方面对大场景下的视觉定位研究进展进行了回顾,并从视觉同步定位与地图构建和融合其他传感器的同步定位与地图构建两个方面对同步定位与地图构建的研究进展进行了回顾。再次,针对三维建模任务,从深度三维表征学习、深度三维生成模型、结构化表征学习与生成模型以及基于深度学习的三维重建等4个方面对三维几何建模研究进展进行了回顾,并从多视RGB重建、单深度相机和多深度相机方法以及单视图RGB方法等3个方面对人体动态建模研究进展进行了回顾。最后,针对三维理解任务,从点云语义分割和点云实例分割两个方面对点云语义理解研究进展进行了回顾。在此基础上,给出了三维视觉研究的未来发展趋势,旨在为相关研究者提供参考。     

Discriminative Sketch‐based 3D Model Retrieval via Robust Shape Matching

We propose a sketch‐based 3D shape retrieval system that is substantially more discriminative and robust than existing systems, especially for complex models. The power of our system comes from a combination of a contour‐based 2D shape representation and a robust sampling‐based shape matching scheme. They are defined over discriminative local features and applicable for partial sketches; robust to noise and distortions in hand drawings; and consistent when strokes are added progressively. Our robust shape matching, however, requires dense sampling and registration and incurs a high computational cost. We thus devise critical acceleration methods to achieve interactive performance: precomputing kNN graphs that record transformations between neighboring contour images and enable fast online shape alignment; pruning sampling and shape registration strategically and hierarchically; and parallelizing shape matching on multi‐core platforms or GPUs. We demonstrate the effectiveness of our system through various experiments, comparisons, and user studies.     

非刚性三维模型检索特征提取技术研究

三维模型特征描述符是一种简洁且信息量丰富的表示方式.特征提取是许多三维模型分析处理任务的关键步骤.近年来,针对非刚性三维模型特征提取技术的研究引起了人们的广泛关注.本文首先汇总了常用的非刚性三维模型基准数据集和算法评价标准.然后在广泛调研大量文献和最新成果的基础上,将非刚性三维模型特征分为人工设计的特征描述符和基于学习的特征描述符两大类并分别加以介绍.对每类方法所包含的典型算法,尤其是最近几年基于深度学习的特征提取算法的基本思想、优缺点进行了分析、对比和总结.最后进行总结,并对未来可能的发展趋势加以展望.     

自监督深度残差函数映射网络的3维模型对应关系计算

目的 针对传统非刚性3维模型的对应关系计算方法需要模型间真实对应关系监督的缺点,提出一种自监督深度残差函数映射网络（self-supervised deep residual functional maps network,SSDRFMN）。方法 首先将局部坐标系与直方图结合以计算3维模型的特征描述符,即方向直方图签名（signature of histograms of orientations,SHOT）描述符;其次将源模型与目标模型的SHOT描述符输入SSDRFMN,利用深度函数映射（deep functional maps,DFM）层计算两个模型间的函数映射矩阵,并通过模糊对应层将函数映射关系转换为点到点的对应关系;最后利用自监督损失函数计算模型间的测地距离误差,对计算出的对应关系进行评估。结果 实验结果表明,在MPI-FAUST数据集上,本文算法相比于有监督的深度函数映射（supervised deep functional maps,SDFM）算法,人体模型对应关系的测地误差减小了1.45;相比于频谱上采样（spectral upsampling,SU）算法减小了1.67。在TOSCA数据集上,本文算法相比于SDFM算法,狗、猫和狼等模型的对应关系的测地误差分别减小了3.13、0.98和1.89;相比于SU算法分别减小了2.81、2.22和1.11,并有效克服了已有深度函数映射方法需要模型间的真实对应关系来监督的缺点,使得该方法可以适用于不同的数据集,可扩展性大幅增强。结论 本文通过自监督深度残差函数映射网络训练模型的方向直方图签名描述符,提升了模型对应关系的准确率。本文方法可以适应于不同的数据集,相比传统方法,普适性较好。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.