基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

一种新的形变指纹匹配方法

提出了一种基于细节点局部配准的形变指纹匹配方法。首先,结合细节点的纹理信息以及结构信息获取多个参照点;然后依据选取的多参照点实现模板指纹图像与输入指纹图像的全局配准从而获得指纹之间的公共区域;将公共区域内的细节点与它们最近的参照点聚类组合,形成多个分组,并将各分组内的细节点以对应的参照点为极点转化到极坐标系下建立指纹的局部对应性;最后,采用界限盒约束条件实现指纹匹配。实验结果表明,基于局部配准的指纹匹配方法对形变指纹匹配具有较好的鲁棒性,能较大提升指纹的识别性能。     

结合深度学习和全局-局部特征的图像显著区域计算

为提高图像显著区域的检测效率,提出一种结合区域特征-全文信息的深度学习框架用于显著区域检测计算.首先提出基于前景的颜色独特性和紧凑性来突出显著前景区域;然后结合全局空间情景分布和局部信息之间的关系,提出全局上下文模型与局部精细检测模型来深度准确计算图像的显著特征;并提出循环结构网络对每个特征图进行位置加权,最后将每个块模型的输出以反馈方式连接到输入建立循环连接,通过反复迭代过滤噪声,减少背景信息的影响.将提出的算法在ECSSD,DUT-OMRON图像库中与其他算法进行对比测试,得出的实验结果均优于当前流行算法.     

基于细节点柱形编码和深度卷积特征的指纹检索方法

指纹检索方法使用细节点柱形编码作为特征,充分考虑指纹细节点的局部结构特征,却忽略指纹的整体结构特征,限制指纹检索的准确率.基于此种问题,文中提出基于细节点柱形编码和深度卷积特征的指纹检索方法.使用深度卷积网络学习指纹的整体结构特征(深度卷积特征),并结合深度卷积特征和细节点柱形编码,提升指纹检索的准确率.在3个经典指纹检索数据库上通过实验分析深度卷积特征的特性.实验表明,文中方法有效提升指纹检索的准确率.     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。     

基于多粒度区域相关深度特征学习的行人重识别

在对行人重识别的研究中,联合使用从图像中提取的全身与局部特征已经成为当前的主流方法.但是许多基于深度学习的重识别模型在提取局部特征时忽略了它们在空间上的相互联系,当不同行人具有局部相似的外观时,这些局部特征的辨别能力会受到很大影响.针对该问题,提出了一种学习多粒度区域相关特征的行人重识别方法.该方法在对骨干网络提取的卷积特征张量作不同粒度的区域划分后,设计了区域相关子网络模块来学习融入空间结构关系的各局部区域特征.在区域相关子网络模块中,为了赋予局部特征与其他区域相关联的空间结构信息,综合利用了平均池化运算的空间保持能力与最大池化运算的性能优势.通过对当前特征和其他各区域的局部特征进行联合处理,使各局部特征间产生很强的空间相关性,提升了特征判别能力.在区域相关子网络模块的设计上,采用了与深度残差网络相同的短路连接结构,使得网络更易于优化.最后,由全身特征与使用区域相关子网络增强后的各局部区域特征联合实现行人重识别.Market-1501,CUHK03,DukeMTMC-reID 3个公开数据集上的实验结果表明,所提算法取得了优于当前主流算法的行人身份匹配准确率,具有非常优秀的重识别性能.     

基于深度学习的三维点云人脸识别

为了增强三维点云人脸识别系统针对多表情、多姿态的鲁棒性,提出一种基于深度学习的点云特征提取网络ResPoint。ResPoint网络使用了分组、采样和局部特征提取（ResConv）等模块,而在ResConv模块中使用了跳跃式连接,因此所提网络对于稀疏点云有很好的识别结果。首先通过人脸几何特征点定位鼻尖点,并以该点为中心切割出面部区域,切割出的区域有噪点并且有孔洞,因此对其进行高斯滤波和三维立方插值;其次,使用ResPoint网络对预处理后的点云数据提取特征;最后,在全连接层组合特征以实现三维人脸的分类。在CASIA三维人脸数据库上的实验中,与关系型卷积神经网络（RS-CNN）相比,ResPoint网络的识别正确率提高了5.06%。实验结果表明,ResPoint网络增加了网络深度的同时使用不同的卷积核提取特征,因此ResPoint网络有更好的特征提取能力。     

基于编码特征学习的3D点云语义分割网络

目前点云语义分割已广泛应用到自动驾驶、虚拟现实等多个领域，但现阶段点云分割算法无法提取较完整的空间结构信息，难以解释每个点编码信息的问题.针对此缺陷，文中提出基于编码特征学习的3D点云语义分割网络.首先，在引入角度信息和增强特征的基础上构造局部特征编码器(Local Feature Encoder, LFE),学习较完整的局部空间结构，缓解相似物体错分割问题.然后，设计混合池化聚合模块(Mixed Pooling Polymerization, MPP),聚合粗犷特征和精细特征，同时保证点云的排序不变性.最后，采用多尺度特征融合，充分利用编码层不同尺度特征，实现准确的语义分割.在两个大型基准数据集S3DIS和SemanticKITTI上的实验表明文中网络的优越性.     

人脸局部特征增强的亲属关系验证方法

亲属关系验证是人脸识别的一个重要分支,可以用于寻找失散亲人、搜寻走失儿童、构建家庭图谱、社交媒体分析等重要场景。父母和孩子的人脸图像之间往往存在较大的差异,如何从人脸中提取到有鉴别力的特征是提高亲属关系验证准确率的关键。因此,提出了一种基于深度学习和人脸局部特征增强的亲属关系验证方法,构建了人脸局部特征增强验证网络（Local Facial Feature Enhancement Verification Net,LFFEV Net）,获取用于亲属关系验证的具有强鉴别力的人脸特征表示。LFFEV Net由局部特征注意力网络和残差验证网络两部分组成。局部特征注意力网络提取人脸局部关键特征,将获取的局部关键特征和对应的原始图像一同输入到残差验证网络中获取更具鉴别力的人脸特征,将特征经过融合并结合Family ID信息进行亲属关系验证。算法在公开的亲属关系数据集KinFaceW-I和KinFaceW-II上进行测试,实验结果表明,所设计的方法在亲属关系验证任务中有较高的识别率。     

基于区域中心签名的点云局部特征描述算法

针对目前点云局部特征描述子存在对噪声、点密度变化等因素鲁棒性差的问题,提出了一种基于区域中心签名的点云局部特征描述新算法。以查询点为中心构建一个球形包围盒,沿径向方向均匀划分为五个主区域,再沿不同的方位角、仰角方向将主区域划分为若干体积沿径向逐渐增大的子区域;采用顶点坐标、顶点数量、中心值编码子区域局部特征,进而通过不同子区域局部特征的融合,生成区域中心签名描述子。以斯坦福数据集为验证对象,对该算法和经典描述子进行了对比分析,结果表明,该算法具有更好的性能。     

基于PCPNet改进的深度学习点云去噪方法研究

针对三维设备获取的点云数据存在大量噪声和数据处理中局部细节部分丢失等问题，提出一种基于PCPNet改进的深度学习网络来有效去噪。该网络利用多尺度特征聚合模块自适应的聚合了不同尺度点云块的局部细节特征和整体特征，并用LSTM来聚合不同尺度的点云块特征，这样能够更好地保留局部特征，估算更为精确的局部细节法线。多次试验表明，该方法相较于传统方法和PCPNet等深度学习方法在性能上更好，对不同噪声具有一定的鲁棒性，同时又能够对局部边缘信息进行有效保留。     

融合局部动态特征的面部表情识别

面部表情是人类表达情感最重要的方式之一。面部表情变化受多个面部器官和面部肌肉运动的影响。为了能有效提取局部动态特征和解决面部表情部分遮挡问题，提出一种简单有效的融合局部动态特征的深度学习网络，通过构建引导注意网络，利用检测到的脸部关键点来引导网络关注无遮挡的面部区域。为了强化不同表情特征之间的联系，利用局部动态特征网络，在带有时间序列的关键帧中提取如眼睛、嘴巴等关键区域的动态信息和时空信息。最后，将局部动态特征补充到整体网络中。融合后的网络在CK+、Oulu-CASIA、RAF-DB和AffectNet数据集上的精度分别为98.08%,90.59%,86.02%和61.28%,相较于其它网络的识别率均有提高。     

基于多粒度空间混乱的细粒度图像分类算法

细粒度图像分类是计算机视觉领域一个具有挑战性的任务,在实际场景中具有很高的应用价值。其中不同子类别的物体整体轮廓差异较小,微小的判别性局部区域是分类的关键。然而,这些重要的局部区域的尺度可能不同, 不能用单一的标准去衡量它们。为了解决这个问题,本文提出了多粒度空间混乱模块来帮助神经网络学习如何寻找到不同尺度的判别性细节。该模块首先将图片划分为不同粒度的局部区域,然后随机打乱并重组构成新的输入图片。经过处理的图片具有区域无关性,从而迫使网络更好地在不同粒度层次下寻找有判别力的局部区域并从中学习特征。在3个广泛使用的细粒度图像分类数据集上的实验证明本文提出的模块可以有效地帮助网络寻找判别性局部区域从而提升了准确率并且网络不需要图片的任何部位标注信息。     

基于局部感知的车辆重识别算法

针对车辆重识别技术中难以通过全局外观特征准确识别不同车辆之间细微差异性的问题,提出一种基于局部感知的车辆重识别算法(local-aware based vehicle re-identification,LVR)。获取全局宏观特征以保留图像的上下文信息;利用空间变换网络的对齐模块对车辆图像进行分块,获取车辆局部细节信息;采用由粗到细的关键点检测方法获取局部关键点特征。在两个大型车辆数据集(即VeRi和VehicleID)上的评估结果表明,该算法具有较好的重识别效果。     

一种新的点模式指纹匹配方法

指纹的旋转和平移是指纹匹配中必须解决的问题,针对这一问题提出了一种新的指纹局部特征描述方法,主要是利用特征点之间的距离、特征点类型来构建新的局部特征向量,利用这些局部结构特征来实现对匹配参考点的确定,将存在平移和旋转的两个指纹特征点集转换为以匹配参考点为极点的极坐标下进行全局匹配。实验结果表明该算法对于指纹图像的旋转和平移具有较强的适应性,可以满足实际应用的需要。     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。     

基于局部关系卷积的点云分类与分割模型

深度学习已成为点云分析的主要方法,但是现有方法在点云特征抽象时无法充分参考局部形状信息,因此对局部形状变化感知的鲁棒性较差,难以针对形状特征生成合适的卷积核。为此,提出了局部关系卷积（local relation convolution,LRConv）,一种通过全面局部关系感知形状特征的卷积算子。参考点云局部中所有邻域点之间的低维空间关系,定义了一种不依赖于点的顺序与刚性变换的局部关系描述;使用多层感知机从关系描述中学习得到局部区域中每个点对应的卷积权重;通过卷积权重来变换点的特征,并聚合局部区域的抽象特征。在基准测试实验中,LRConv分类网络在ModelNet上的分类准确率较PointNet++提高了2.1个百分点,LRConv零件分割网络在ShapeNet上的分割类别平均重合度较PointNet++提高了1.5个百分点。实验结果充分验证了LRConv在特征抽象中的有效性。     

基于局部特征点方法的动作识别研究

利用局部特征点方法进行视频中的动作识别研究,通过对尺度空间理论以及多种经典的局部特征点检测方法的深入分析,将SIFT算法引入到视频研究领域,提出了一种全新而高效的视频特征点检测算法。在此基础上,设计了合理的机器学习方法对局部特征点进行训练,利用训练出的通用动作模式在视频中进行动作识别。     

全局—局部特征优化的时尚服饰搭配

目的 由于现有时尚服饰搭配方法缺乏服饰图像局部细节的有效特征表示,难以对不同服饰间的局部兼容性进行建模,限制了服饰兼容性学习的完备性,导致时尚服饰搭配的准确率较低。因此,提出一种全局—局部特征优化的时尚服饰搭配方法。方法 首先,利用不同卷积网络提取时尚服饰的图像和文本特征作为全局特征,同时在卷积网络基础上构建局部特征提取网络,提取时尚服饰图像的局部特征;然后,基于图网络和自注意力机制构建全局—局部兼容性学习模块,通过学习不同时尚服饰全局特征间和局部特征间的交互关系,并定义不同时尚服饰的权重,进行服饰全局和局部兼容性建模;最后,构建服饰搭配优化模型,通过融合套装中所有服饰的全局和局部兼容性优化服饰搭配,并计算搭配得分,输出正确的服饰搭配结果。结果 在公开数据集Polyvore上将本文方法与其他方法进行对比。实验结果表明,利用局部特征提取网络提取的时尚服饰图像局部特征能有效地表示服饰局部信息;构建的全局—局部兼容性学习模块对时尚服饰的全局兼容性和局部兼容性进行了完整建模;构建的时尚服饰搭配优化模型实现了全局和局部兼容性的优化组合,使时尚服饰搭配准确率（fill in the blank,F...     

基于YOLOX的车辆检测

车辆检测是智能交通系统重要的一个研究方向.针对监控视角下的车辆检测问题,提出了一种改进YOLOX算法的车辆检测方法.使用网络深度更小的YOLOX＿S模型,对网络结构改进.使用GHOST深度可分离卷积模块代替部分传统卷积,在保证模型检测精度的同时减少模型参数;将CBAM注意力模块融合到特征提取网络中,并添加特征增强结构,加强特征提取网络获得的特征图语义信息,增强提取网络对目标的检测能力;通过使用CIoU＿loss优化损失函数,提高模型边界框的定位精度.测试实验结果表明,改进后的网络识别准确率提升了2.01%,达到95.45%,证明了改进方法的可行性.