多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.     

多尺度局部特征选择的行人重识别算法

针对行人重识别问题中人体姿态变化、对齐及部分遮挡等情况,提出了一种基于深度学习的局部区域选择和局部特征提取算法。算法首先利用残差卷积神经网络获取基本特征,然后利用多尺度的滑动窗口提取不同候选局部区域特征,并按照覆盖区域进行分组,每组选择一个最优局部特征,并融合整体特征得到最终特征表达。实验结果表明,通过该方法提取的局部特征具有更好的表达能力,提高了行人重识别的精确度。     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。     

基于多特征融合的多尺度服装图像精准化检索

为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."     

基于深度特征融合的空间植物图像分割算法

空间植物培养实验作为空间科学的一项重要研究,通常会获得大量的植物序列图像,传统的处理方法多采用人工观察,以供后续的进一步分析。本文提出一种基于多尺度深度特征融合的空间植物分割算法。该方法应用全卷积深度神经网络来提取多尺度特征,并分层次地融合由深层到浅层的特征,以达到对植物进行像素级的识别。分层次的特征融合了语义信息、中间层信息和几何特征,提高了分割的准确性。实验表明该方法在分割准确性方面表现良好,能够自动提取空间植物实验中的有效信息。     

基于注意力机制与特征融合的图像超分辨率重建

目前多数利用卷积神经网络进行图像超分辨率重建的方法忽视对自然图像固有属性的捕捉,并且仅在单一尺度下提取特征。针对该问题,提出一种基于注意力机制和多尺度特征融合的网络结构。利用注意力机制融合图像的非局部信息和二阶特征,提高网络的特征表达能力,同时使用不同尺度的卷积核提取图像的不同尺度信息,以保存多尺度完整的信息特征。实验结果表明,该方法重建图像的客观评价指标和视觉效果均优于Bicubic、SRCNN、SCN和LapSRN方法。     

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题，本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先，设计编码器-解码器模型，将视觉Transformer结构作为编码器在多个尺度上提取特征.其次，设计残差通道注意力融合的解码器，优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后，在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明，所提出算法的深度图像质量和物体轮廓信息均高于现有算法，其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.     

WBCT域系数相关性的图像融合算法研究

基于小波变换的Contourlet变换(WBCT)是一种非冗余的多尺度几何分析变换,比Contourlet变换具有更好的信息挖掘能力.因此将WBCT应用于图像融合领域,能更好地提取图像边缘特征,为融合提供更多的原始图像特征信息.WBCT域系数相关性的图像融合算法是针对WBCT分解系数尺度内以及不同区域内像素点间的相关性设计图像融合规则.实验表明,以WBCT为基础设计的系数相关性融合算法能更有效、更准确地提取图像中的特征,为融合图像保留更全面的原始图像信息,是一种有效可行的图像融合算法.     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

基于组合学习的人脸超分辨率算法

现有的基于深度学习的人脸超分辨算法大部分仅仅利用一种网络分区重建高分辨率输出图像,并未考虑人脸图像中的结构性信息,导致了在人脸的重要器官重建上缺乏足够的细节信息。针对这一问题,提出一种基于组合学习的人脸超分辨率算法。该算法独立采用不同深度学习模型的优势重建感兴趣的区域,由此在训练网络的过程中每个人脸区域的数据分布不同,不同的子网络能够获得更精确的先验信息。首先,对人脸图像采用超像素分割算法生成人脸组件部分和人脸背景图像;然后,采用人脸组件生成对抗网络（C-GAN）独立重建人脸组件图像块,并采用人脸背景重建网络生成人脸背景图像;其次,使用人脸组件融合网络将两种不同模型重建的人脸组件图像块自适应融合;最后,将生成的人脸组件图像块合并至人脸背景图像中,重建出最终的人脸图像。在FEI数据集上的实验结果表明,与人脸图像超分辨率算法通过组件生成和增强学习幻构人脸图像（LCGE）及判决性增强的生成对抗网络（EDGAN）相比,所提算法的峰值信噪比（PSNR）值分别高出1.23 dB和1.11 dB。所提算法能够采用不同深度学习模型的优势组合学习重建更精准的人脸图像,同时拓展了图像重建先验的来源。     

基于特征级和决策级融合的人脸吸引力评价方法

在个性化的人脸吸引力的研究中,由于特征缺失和对于大众审美的影响因素考虑不足,导致预测个人偏好无法到达很高的预测精度。为了提高预测精度,提出了一个基于特征级和决策级信息融合的个性化人脸吸引力预测框架。首先,将代表不同人脸美丽特征的客观特性融合到一起,利用特征选择算法挑选出具有代表性的人脸吸引力特征,并利用不同的信息融合策略将人脸局部、全局特征融合起来;然后,将传统的人脸特征与通过深度网络自动提取的特征融合起来。同时,提出多种融合策略进行对比,将代表着大众审美偏好的评分信息与代表个人偏好的个性化评分信息进行决策级融合,最终实现个性化的人脸吸引力预测评分。实验结果表明,相比现有针对个性化人脸吸引力评价研究的算法,所提的多层次融合方法在预测精度方面有显著的提升,能够达到Pearson相关系数0.9以上。该方法可用于个性化推荐、人脸美化等领域。     

基于迁移学习的并行卷积神经网络牦牛脸识别算法

为了在牦牛养殖过程中对牦牛实现精确管理,需要对牦牛的身份进行识别,而牦牛脸识别是一种可行的牦牛身份识别方式。然而已有的基于神经网络的牦牛脸识别算法中存在牦牛脸数据集特征多、神经网络训练时间长的问题,因此,借鉴迁移学习的方法并结合视觉几何组网络（VGG）和卷积神经网络（CNN）,提出了一种并行CNN（Parallel-CNN）算法用来识别牦牛的面部信息。首先,利用已有的VGG16网络对牦牛脸图像数据进行迁移学习以及初次提取牦牛的面部信息特征;然后,将提取到的不同层次的特征进行维度变换并输入到Parallel-CNN中进行二次特征提取;最后,利用两个分离的全连接层对牦牛脸图像进行分类。实验结果表明：Parallel-CNN能够对不同角度、光照和姿态的牦牛脸进行识别,在含有300头牦牛的90 000张牦牛脸图像的测试数据集上,所提算法的识别准确率达到91.2%。所提算法可以对牦牛身份进行精确识别,从而帮助牦牛养殖场实现对牦牛的智能化管理。     

跨年龄人脸验证技术研究

针对跨年龄人脸验证任务中面部纹理、形状特征变化的问题,提出一种基于双编码平均局部二值模式(dual-coded average local binary pattern,DCALBP)与深度学习算法相结合的多任务人脸验证算法.首先,使用多任务卷积神经网络(multi-task convolutional neural ...     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

基于局部特征聚类损失和多类特征融合的面部表情识别

在真实世界中,每个个体对表情的表现方式不同.基于上述事实,文中提出局部特征聚类(LFA)损失函数,能够在深度神经网络的训练过程中减小相同类图像之间的差异,扩大不同类图像之间的差异,从而削弱表情的多态性对深度学习方式提取特征的影响.同时,具有丰富表情的局部区域可以更好地表现面部表情特征,所以提出融入LFA损失函数的深度学习网络框架,提取的面部图像的局部特征用于面部表情识别.实验结果表明文中方法在真实世界的RAF数据集及实验室条件下的CK+数据集上的有效性.     

基于掩膜生成网络的遮挡人脸检测方法

针对复杂遮挡条件下人脸检测精度低的问题,提出一种基于掩膜生成网络（MGN）的遮挡人脸检测方法。对人脸训练集进行预处理,将训练人脸划分为25个子区域,并为每个子区域分别添加遮挡。将一系列添加遮挡的人脸图像和原始人脸图像作为图像对依次输入MGN进行训练,以生成对应各个遮挡子区域的遮挡掩膜字典。通过组合相关字典项生成与检测人脸遮挡区域相对应的组合特征掩膜,并将该组合特征掩膜与检测人脸深层特征图相点乘,以屏蔽由局部遮挡引起的人脸特征元素损坏。在AR和MAFA数据集上进行实验,结果表明,该方法的检测精度高于MaskNet、RPSM等方法,且检测速度较快。     

基于DCNN的人脸特征点检测及面部朝向计算

在介绍人脸特征点检测的理论知识的基础上,提出了一种基于深层卷积神经网络（Deep Convolutional Neural Network,DCNN）解决人脸5点特征点（眼角、鼻子、嘴角）预测问题的方法。通过添加更多的卷积层稳定地增加网络的深度,并且在所有层中使用3×3的卷积滤波器,有效减小参数,更好地解决了人脸特征点检测问题。然后计算双眼角与嘴角所成平面与正视时此平面的单应性矩阵,最后利用等效算法求解驾驶员面部转角。实验结果表明,面部特征点检测准确率达到97.96%,算法在角度判断上的误差是1°~5°,这证明了该算法对注意力分散监测的有效性。     

基于Gabor小波与深度信念网络的人脸识别方法

特征提取与模式分类是人脸识别的两个关键问题。针对人脸识别中的高维和小样本问题,从人脸特征的提取与降维算法入手,提出基于受限玻尔兹曼机(RBM)的二次特征提取及降维算法模型。首先把图像均匀分成若干局部图像块并进行量化,再对图像进行Gabor小波变换,通过RBM对得到的Gabor人脸特征进行编码,学习数据更本质的特征,从而达到对高维人脸特征降维的目的;并以此为基础提出基于深度信念网络(DBN)的多通道人脸识别算法。在ORL、UMIST和FERET人脸库上对不同样本规模和不同分辨率的图像进行实验,识别结果表明,与采用线性降维和浅层网络的方法相比,所提方法取得了较好的学习效率和很好的识别效果。     

基于卷积神经网络和流形排序的图像检索算法

针对基于内容的图像检索(CBIR)中低层视觉特征与用户对图像理解的高层语义不一致以及传统的距离度量方式难以真实反映图像之间相似程度等问题,提出了一种基于卷积神经网络(CNN)和流形排序的图像检索算法。首先,将图像输入CNN,通过多层神经网络对图像的监督学习,提取网络中全连接层的图像特征;其次,对图像特征进行归一化处理,然后用高效流形排序(EMR)算法对查询图像所返回的结果进行排序;最后,根据排序的结果返回最相似的图像。在corel数据集上,深度图像特征比基于场景描述的图像特征的平均查准率(mAP)提高了53.74%,流形排序比余弦距离度量方式的mAP提高了18.34%。实验结果表明,所提算法能够有效地提高图像检索的准确率。