融合人类认知网络优化的中国画情感识别

现有中国画研究缺少对画作情感的分析,但画家将生活感悟寄情于美术创作,升华国画的艺术价值.基于此种情况,文中提出融合人类认知优化深度学习网络结构的中国画情感识别算法.首先,根据图像显著性和笔道复杂度提出中国画感兴趣区域提取算法.再使用可视化卷积神经网络提取国画情感特征,并交互式地融合国画情感表达手法知识优化网络结构.最后微调构建的网络预测国画情感.实验将1 000幅中国画分为4种情感类别,准确率较高,识别效果较优.消融实验与可视化实验分析网络各层作用,进一步验证文中算法识别中国画情感的能力.     

融合骨骼数据的弱监督视频行为检测方法研究

在视频理解任务中,为了减少行为检测任务中的数据标注成本同时提高检测精度,本文提出一种基于骨骼数据的弱监督视频行为检测方法,使用视频级的类别标注对行为检测网络进行弱监督训练.本文以二维人体骨骼数据和RGB图像数据作为网络输入,利用循环神经网络从骨骼数据中提取时域信息并送入全连接层输出所需的特征.骨骼数据提取的特征与RGB数据提取的特征分别传入注意力网络生成相应的权重,用来生成加权特征与加权时序类别激活图值.最后根据加权特征与加权时序类别激活图值进行行为的分类与时域定位.实验结果表明,所提出的结合人体骨骼数据的算法比有监督算法少使用了数据的时间标注.算法在THUMOS14数据集和ActivityNet1.3数据集上能够提高检测准确率.     

基于空间特征重标定网络的遥感图像场景分类

为充分利用遥感图像的场景信息,提高场景分类的正确率,提出一种基于空间特征重标定网络的场景分类方法。采用多尺度全向高斯导数滤波器获取遥感图像的空间特征,通过引入可分离卷积与附加动量法构建特征重标定网络,利用全连接层形成的瓶颈结构学习特征通道间的相关性,对多尺度空间特征进行权重筛选以实现特征重标定,并结合卷积神经网络训练得到最终的分类结果。实验结果表明,该方法在UCM_LandUse与机载SAR图像数据上的分类正确率分别达到94.76%和95.38%,与MNCC、MS-DCNN、PCA-CNN等算法相比,其遥感图像分类精度与泛化能力显著提升。     

基于多尺度特征卷积神经网络的目标定位

针对实际应用中诸多数据集标签部分缺失、无定位标注等问题，提出了基于多尺度特征卷积神经网络的弱监督定位算法。其核心思想是利用神经网络分层的特性，在多层卷积层上使用梯度加权类激活映射，生成梯度金字塔模型，并通过均值滤波计算特征质心位置，利用置信强度映射和阈值梯减模块产生连接的像素段，围绕最大边界标注进行弱监督定位。在标准测试集上的实验结果表明，该算法能够在存在大量类别、多尺度图像的情况下完成目标定位，具有较高的精确度。     

多层次深度网络融合人脸识别算法*

深度学习模型可以获得更具有鉴别力的人脸特征,提高人脸识别性能.因此,文中结合深度学习思想,提出多层次深度网络融合特征提取模型.在深度子空间基础上,采用“卷积-池化”网络结构,在降低特征维度的同时保留图像纹理信息,并且获得局部转换鲁棒性.同时,利用人脸标定算法获得人脸特征点,并以此划分人脸区域为5个局部人脸块.基于多层次分类策略,利用全局人脸训练全局网络,完成测试样本预分类.利用局部人脸块训练局部网络,在候选类别中完成最终分类.实验表明,结合局部特征与全局特征的模型可以取得较好的识别率,对光照、表情、姿态,遮挡等影响因素具有较好的鲁棒性,并且加入池化层及两步判别的算法可以有效提高识别率.     

用于图像检索的多区域交叉加权聚合深度卷积特征

针对依赖图像特征和聚合编码的"以图搜图"方法检索准确率较低的问题,提出一种基于多区域的交叉加权聚合深度卷积特征描述算法——RCro W.首先利用目标区域具有较高激活响应的特性标记出目标轮廓位置,将卷积特征图和目标轮廓掩码图结合生成空间权重矩阵;然后引入多区域策略,将空间权重矩阵转变成多区域交叉权重矩阵;最后利用多区域交叉权重矩阵加权聚合深度卷积特征生成图像特征向量.在Oxford5k,Paris6k和Holidays这3个数据集上进行的实验的结果表明,RCroW算法的图像检索平均准确率优于CroW,R-MAC和SPoC等7种算法.     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

基于密集卷积网络的X线气胸检测与定位

现有X线气胸检测存在两个主要问题：一是由于气胸通常与肋骨、锁骨等组织重叠，在临床上存在较大的漏诊，而现有算法的检测性能仍有待提高；二是现有基于卷积神经网络的算法无法给出可疑的气胸区域，缺乏可解释性。针对上述问题，提出了一种结合密集卷积网络（DenseNet）与梯度加权类激活映射的方法用于X线气胸的检测与定位。首先，构建了一个较大规模的胸部X线数据集PX-ray用于模型的训练和测试。其次，修改DenseNet的输出节点并在全连接层后添加一个sigmoid函数对胸片进行二分类（气胸/非气胸）。在训练过程中通过设置交叉熵损失函数的权重来缓解数据不平衡问题，提高模型准确率。最后，提取网络最后一个卷积层的参数以及对应的梯度，通过梯度加权类激活映射算法获得气胸类别的粗略定位图。在PX-ray测试集上的实验结果表明，所提方法的检测准确率为95.45%，并且在曲线下面积（AUC）、敏感度、特异性等指标上均高于0.9，优于VGG19、GoogLeNet以及ResNet算法，同时实现了对气胸区域的可视化。     

端到端双通道特征重标定DenseNet图像分类

目的 针对密集连接卷积神经网络（DenseNet）没有充分考虑通道特征相关性以及层间特征相关性的缺点,本文结合软注意力机制提出了端到端双通道特征重标定密集连接卷积神经网络。方法 提出的网络同时实现了DenseNet网络的通道特征重标定与层间特征重标定。给出了DenseNet网络通道特征重标定与层间特征重标定方法;构建了端到端双通道特征重标定密集连接卷积神经网络,该网络每个卷积层的输出特征图经过两个通道分别完成通道特征重标定以及层间特征重标定,再进行两种重标定后特征图的融合。结果 为了验证本文方法在不同图像分类数据集上的有效性和适应性,在图像分类数据集CIFAR-10/100以及人脸年龄数据集MORPH、Adience上进行了实验,提高了图像分类准确率,并分析了模型的参数量、训练及测试时长,验证了本文方法的实用性。与DenseNet网络相比,40层及64层双通道特征重标定密集连接卷积神经网络DFR-DenseNet（dual feature reweight DenseNet）,在CIFAR-10数据集上,参数量仅分别增加1.87%、1.23%,错误率分别降低了12%、9.11%,在CIFAR-100数据集上,错误率分别降低了5.56%、5.41%;与121层DFR-DenseNet网络相比,在MORPH数据集上,平均绝对误差（MAE）值降低了7.33%,在Adience数据集上,年龄组估计准确率提高了2%;与多级特征重标定密集连接卷积神经网络MFR-DenseNet（multiple feature reweight DenseNet）相比,DFR-DenseNet网络参数量减少了一半,测试耗时约缩短为MFR-DenseNet的61%。结论 实验结果表明本文端到端双通道特征重标定密集连接卷积神经网络能够增强网络的学习能力,提高图像分类的准确率,并对不同图像分类数据集具有一定的适应性、实用性。     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于三路径网络的医学图像分割方法

卷积神经网络由于强大的特征提取能力在医学图像分割任务上取得一定进展,但仍需提升边缘分割的准确性.为此,文中提出基于边缘选择图推理的三路径网络,包括目标定位路径、边缘选择路径和细化路径.在目标定位路径中,设计多尺度特征融合模块,聚合高级特征,实现病变区域的定位.在边缘选择路径中,构造边缘选择图推理模块,用于低级特征的边缘筛选,并进行图推理,保证病变区域的边缘形状.在细化路径中,建立渐进式组级细化模块,逐步细化不同尺度特征的结构信息与细节信息.此外,引入融合加权Focal Tversky损失和加权交并比损失的复合损失,减轻类不平衡的影响.在公开数据集上的实验表明,文中方法性能较优.     

基于浅层定位的动态细化目标检测网络

现有的目标检测框架中,浅层弱分类能力是制约着网络精度进一步提高的关键.对此,提出基于浅层定位信息的动态细化检测网络.该网络在单阶段算法的基础上,通过增加多连接模块来增强浅层特征,同时去除浅层的分类操作以最大程度地保留浅层的定位结果,并将其作为候选框送入深层网络.深层网络通过使用引入自适应因子的感受野模块构建特征金字塔,以获得丰富的语义信息用于对浅层的回归结果进行判别和微调.最后设计基于自注意的可变形卷积头,通过对候选框的偏移来自发进行定位校准,使得网络获得精确的检测结果.在PASCAL VOC和MS COCO数据集上的实验结果表明,所提出的网络结构可以实现优异的检测精度.     

MSP-Net:多尺度点云分类网络

针对传统点云分类网络难以充分发挥卷积神经网络优势的问题,提出一种多尺度点云分类网络MSP-Net.首先,基于局部区域划分的完备性、自适应性、重叠性及多尺度特性要求,提出了多尺度局部区域划分算法,并以点云及不同层次的特征为输入,得到多尺度局部区域;然后构建了包含单尺度特征提取、低层次特征聚合及多尺度特征融合等模块的多尺度点云分类网络.该网络充分地模拟了卷积神经网络的作用原理,具备随着网络尺度和深度的增加,局部感受野越来越大,特征抽象程度越来越高的基本特征.最后将该算法应用在标准公开数据集ModelNet10和ModelNet40上,分别取得了94.71%和91.73%的分类准确率,表明该算法在同类工作中处于领先或相当的水平,验证了算法思想的可行性及有效性.     

结合双语义数据增强与目标定位的细粒度图像分类

细粒度图像分类旨在对属于同一基础类别的图像进行更细致的子类划分,其较大的类内差异和较小的类间差异使得提取局部关键特征成为关键所在。提出一种结合双语义数据增强与目标定位的细粒度图像分类算法。为充分提取具有区分度的局部关键特征,在训练阶段基于双线性注意力池化和卷积块注意模块构建注意力学习模块和信息增益模块,分别获取目标局部细节信息和目标重要轮廓这2类不同语义层次的数据,以双语义数据增强的方式提高模型准确率。同时,在测试阶段构建目标定位模块,使模型聚焦于分类目标整体,从而进一步提高分类准确率。实验结果表明,该算法在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集中分别达到89.5%、93.6%和94.7%的分类准确率,较基准网络Inception-V3、双线性注意力池化特征聚合方式以及B-CNN、RA-CNN、MA-CNN等算法具有更好的分类性能。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

语义特征图引导的青光眼筛查方法

现有的端到端青光眼筛查模型往往忽略细微病变区域而导致过拟合问题,并且其可解释性区域尚不明确.针对上述问题,提出一种语义特征图引导的青光眼筛查方法.利用基于MobileNet v2作为特征提取网络的DeepLab v3+分割模型进行视盘区域的分割定位,并且根据定位结果提取用于青光眼筛查的重点感兴趣区域,再通过设计注意力模块将其嵌入VGG分类网络实现青光眼的准确筛查.注意力模块利用语义特征图融合浅层特征综合生成注意力图,通过强化特征分类相关区域而抑制非相关区域,达到增强模型分类鲁棒性的目的.所提方法基于LAG database数据集测试的敏感性、特异性以及AUC分别为0.970,0.983和0.996,优于已有方法,且通过可视化注意力激活热图得到的模型决策关注区域更为精细,能够获得与医生诊断参考区域相一致的结果.     

基于残差的优化卷积神经网络服装分类算法

针对目前服装分类算法在解决多类别服装分类问题时分类精度一般的问题,提出了一种基于残差的优化卷积神经网络服装分类算法,在网络中使用了如下三种优化方法:(1)调整批量归一化层、激活函数层与卷积层在网络中的排列顺序;(2)"池化层+卷积层"的并行池化结构;(3)使用全局均值池化层替换全连接层。经过由香港中文大学多媒体实验室提供的多类别大型服装数据集(DeepFashion)和标准数据集CIFAR-10上的实验表明,所提出的网络模型在处理图片的速度和分类精度方面都优于VGGNet和AlexNet,且得到了目前为止已知的在DeepFashion数据集上最好的分类准确率。该网络也可以更好地应用于目标检测和图像分割领域。     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

基于空谱分组卷积密集网络的高光谱图像分类

针对高光谱图像分类在特征提取过程中高分辨率信息丢失,导致分类精度下降的问题,提出一种基于空谱分组卷积密集网络的高光谱图像分类方法。设计光谱-空间三维分组卷积密集模块,对光谱与空间特征进行分步提取,利用分组卷积构造的密集网络能减少数据固有信息冗余,使高分辨率的特征进行重用,避免细节特征信息丢失;设计光谱残差注意力模块,该模块通过结合空-谱特征计算注意力权重,对提取到的光谱特征进行权重重分配,对光谱信息富有的区域进行增强。实验结果表明,相比于若干最优的深度网络方法,所提高光谱图像分类方法具有更好的分类性能。     

基于特征重标定生成对抗网络的图像分类算法

针对传统鉴别器的损失策略和结构难以提取到更抽象以及任务相关的鲁棒性特征,从而导致半监督图像分类表现不足,提出了基于特征重标定的生成对抗网络。为了学习到任务相关的特征,在现有半监督GAN的基础上,为鉴别器引入模型在不同状态下的无监督均方差损失正则项,对训练样本中两个分支的同一输入对应得到的不同输出进行参数惩罚,从而指导特征重标定的优化方向。此外,在鉴别器中加入压缩激活模块来优化传统鉴别器的卷积池化结构。该模块自动学习每一个特征通道的重要程度,能够提取任务相关的特征抑制任务无关的特征,实现特征的重标定功能,从而提高半监督图像分类的表现。