深度特征的实例图像检索算法综述

基于内容的图像检索算法（CBIR）目标是在数量庞大的图像数据库中通过分析视觉内容,找出与查询图像在语义上匹配或相近的图像。其中通过特征提取获得具有判别性的图像表示对检索结果至关重要。随着深度学习的不断发展,图像检索中使用的图像特征表示方法也逐渐由原来的基于手工特征的方法转变为基于深度特征的方法。通过从特征提取的不同方法角度出发,回顾并追踪了最近基于深度特征的图像检索算法。对基于深度特征的图像检索算法分为基于深度全局特征与基于深度局部特征的图像检索算法两方面进行综述,其中在基于深度局部特征算法中重点关注了深度卷积特征聚合技术。并对现在广泛应用的深度全局与局部特征融合的图像检索方法进行归纳。探讨了深度特征的实例图像检索技术在遥感图像检索、电子商务产品检索和医疗图像检索领域中的实际应用,并比较这些特征提取算法在图像检索精度方面的表现。最后展望了深度特征提取技术在实例图像检索领域的未来研究趋势。     

多特征组合的深度图像分割算法

深度图像直接反映景物表面的三维几何信息,且不受光照、阴影等因素的影响,对深度图像处理、识别、理解是目前计算机视觉领域研究的热点和重点之一。针对深度图像信息单一且噪声较大的特点,提出一种基于组合特征的阈值分割算法,实现对深度图像数据的有效分割。算法首先通过梯度特征对图像进行Otsu阈值分割;在此基础上,分别在不同分割区域内利用深度特征进行Otsu多阈值分割,得到候选目标;然后,在空域上利用像素的位置特征对候选目标进行分割、合并与去噪,最终得到图像分割的结果。实验结果表明,该方法能有效克服深度图像中噪声的影响,得到的分割区域边界准确,分割质量较高,为以后的室内对象识别和场景理解工作奠定了较好的基础。     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

深度强化学习的图像特征高效分类方法仿真

针对现有的图像特征分类方法收敛性差,分类无法满足日益增加的网络需求的现状,本文提出了一种基于深度强化学习的图像特征分类方法。通过对目标图像特征区域进行复域Contourlet分解,过滤处理分解结果,从而可以将目标图像子带系数矩阵提取出来,求取系数矩阵的相关特征。采取深度学习网络,使所选图像的特征向量直接经过已训练的层状网络深度模型,完成图像特征分类。实验结果表明,所提方法的误识率比现有方法明显降低,收敛速度明显提升。改进方法比传统方法更具优势,能够满足图像特征分类智能化处理的需要。     

基于特征融合的非接触式掌纹识别

由于单一的特征描述掌纹中的所有信息,容易导致识别准确率低,因此提出一种边缘特征与纹理特征相结合的掌纹识别方法。先使用整体嵌套边缘检测模型和Gabor滤波器分别提取掌纹的边缘特征和纹理特征,再通过特征融合方法融合两种特征。最后,将融合后的特征图像输入到卷积神经网络,并得出分类结果。通过在不同的公开掌纹数据集上进行对比实验,结果表明本文方法取得了良好的结果。     

基于CNN特征提取和加权深度迁移的单目图像深度估计

单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而,图像匹 配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此,提出了一种基于卷积神经网 络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取 CNN 特征计算输入图像 在数据集中的近邻图像;然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数; 再将形变函数迁移至候选深度图像集,同时引入基于 SIFT 的迁移权重 SSW,并通过对加权迁 移后的候选深度图进行优化获得最终的深度信息。实验结果表明,该方法显著降低了估计深度 图的平均误差,改善了深度估计的质量。     

改进的SSD航拍目标检测方法

近年来,无人机技术的快速发展使得无人机地面目标检测技术成为计算机视觉领域的重要研究方向,无人机在军事侦察、交通管制等场景中具有普遍的应用价值.针对无人机场景下目标分辨率低、尺度变化大、相机快速运动、目标遮挡和光照变化等问题,提出一种基于残差网络的航拍目标检测算法.在SSD（single shot multibox detector）目标检测算法的基础上,用表征能力更强的残差网络进行基准网络的替换,用残差学习降低网络训练难度,提高目标检测精度;引入跳跃连接机制降低提取特征的冗余度,解决层数增加出现的性能退化问题.同时,针对SSD目标检测算法存在的目标重复检测和小样本漏检问题,提出一种基于特征融合的航拍目标检测算法.算法引入不同分类层的特征融合机制,把网络结构中低层视觉特征与高层语义特征有机地结合在一起.实验结果表明,算法在检测准确性和实时性方面均具有较好的表现.     

基于深度卷积神经网络的人脸识别技术综述

人脸识别是计算机视觉的重要应用之一,广义的人脸识别包含图像采集、人脸检测、人脸对齐、特征表示等过程。人脸识别的发展史主要是人脸特征表示方法的变迁史。针对特征的表示方法,从人脸识别技术的发展历史、研究现状和未来发展三个方面进行综述:分阶段对传统的几类经典的人脸识别算法进行回顾和总结;以深度学习算法的诞生过程为切入点,重点分析了在人脸识别中取得突破性进展的深度卷积神经网络DCNN(deep convolutional neural networks)的技术思想和关键问题;针对人脸识别和深度学习算法的重大挑战,展望了未来可能存在的发展方向。     

基于多元语言特征与深度特征融合的中文文本阅读难度自动分级研究

文本阅读难度自动分级是让计算机能够根据文本特征自动判断文本所属的难度级别,该文以此为目标,提出一种基于多元语言特征与深度特征相融合的方法来实现对文本难度的自动分级。其中多元语言特征考虑了汉字、词汇、句子等不同的语言层面,同时涉及到频率、长度、复杂度、丰富度、连贯度等不同维度的信息。另一方面,该文利用了基于BERT的神经网络预训练模型来提取文本中句子的深度特征,在此基础上构建了一个端到端神经网络来将语言特征与深度特征进行融合,最终在自动分级任务上取得了不错的效果,分级正确率超过了基于传统语言特征的方法和基于主流神经网络的方法,充分表明了所提出的特征融合方法在文本阅读难度自动分级任务上的有效性。     

姿态特征与深度特征在图像动作识别中的混合应用

人体姿态是动作识别的重要语义线索,而CNN能够从图像中提取有很强判别能力的深度特征,本文从图像局部区域提取姿态特征,从整体图像中提取深度特征,探索两者在动作识别中的互补作用.首先介绍了一种姿态表示方法,每个肢体部件的姿态由描述该部件姿态的一组Poselet检测得分表示.为了抑制检测错误,设计了基于部件的模型作为检测上下文.为了从数量有限的数据集中训练CNN网络,本文使用了预训练和精细调节的方法.在两个数据集中的实验表明,本文介绍的姿态特征与深度特征混合使用,动作识别性能得到了极大提升.     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

基于联合特征块学习的特征直线描述方法

特征直线描述是特征直线匹配过程的关键和基础。为了改善手工设计方法在复杂场景下存在区分性弱、鲁棒性差的缺陷,提出了一种基于联合特征块学习的特征直线描述方法。首先,在原有的小型直线数据集上重新构造直线块,即通过联合每幅图像中直线支撑区域内像素的亮度与梯度获得固定大小的直线块。其次,将获得的直线块输入预先训练的L2-Net,使用微调策略和三元组损失函数训练网络。最后,输出紧凑且强区分性的特征直线描述子。特征匹配任务的实验结果证明,所提出的基于联合特征块学习的特征直线描述方法与最先进的手工直线描述符相比,更具有优越性和有效性。     

基于双焦的单目立体成像系统分析

讨论了基于双焦的单目立体成像模型,分析了在共轴模型下CCD成像离散性而导致的深度计算误差与镜头焦距及物点空间位置的关系,当镜头焦距增加时,可精确恢复深度增大,当物点距镜头光轴距离较远,即物点位于视场边缘时,深度计算误差较小;并根据双焦成像特点提出了相应的特征匹配方法,即采用与两焦距倍数相关的特征提取算子,并对匹配结果进行相应的深度计算及插值;文章最后给出了理想双焦图像对的相应实验结果,并探讨了实验误差的形成原因。     

基于改进SIFT特征和神经网络结合的场景识别

基于深度学习的场景识别作为计算机视觉领域的重要方向,目前仍存在部分问题,如仅提取图像的高层语义特征而缺失了图像的底层特征,针对这个问题,提出基于改进SIFT特征与深度神经网络相结合的室内RGB-D图像识别方法。首先提取图像的SIFT特征,然后利用随机森林算法根据重要度对SIFT特征进行筛选,然后结合基于ResNet的深度神经网络,并提出基于深度直方图与深度均值直方图的深度损失函数,加速模型的收敛。实验结果表明,算法可以在NYUD v2数据集上达到71.52%的识别率,有效提升了室内场景识别的准确率。     

用改进的深度差分特征识别人体部位

为了进一步提高人体部位识别正确率,考虑人体部位尺寸不一特性,提出了改进型深度差分特征。改进型深度差分特征根据人体部位尺寸大小确定特征偏移量取值,然后利用随机森林算法训练分类模型,实现了人体部位识别。实验结果表明,采用改进型深度差分特征作为分类模型的训练特征点,实现了人体部位更高、更准确的识别率,比原深度差分特征提高了1.95%。     

基于深度学习的遥感图像土地分类研究

针对采用单一特征描述技术存在的高分辨率遥感图像特征多、分类精度低的问题,提出一种基于深度学习的遥感图像土地分类模型。模型对高分1号卫星获得的遥感图像进行了预处理,采用特征级图像融合的方法将这些特征关联起来,实现遥感图像特征融合。将融合后的图像特征输入训练后的深度信念网络进行处理,由Softmax分类器获得土地分类。实验分析表明,该模型能够对所有土地类型进行清晰的分类。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

基于增强深度特征和TSK模糊分类器的癫痫脑电信号识别

识别癫痫脑电信号的关键在于获取有效的特征和构建可解释的分类器.为此,提出一种基于增强深度特征的TSK模糊分类器(ED-TSK-FC).首先,ED-TSK-FC使用一维卷积神经网络(1D-CNN)自动获取癫痫脑电信号的深度特征与潜在类别信息,并将深度特征和潜在类别信息合并为增强深度特征;其次,将增强深度特征作为ED-TSK-FC模糊规则前件与后件部分的训练变量,保证原始输入的深度特征及其潜在意义都出现在模糊规则中,进而对增强深度特征作出良好的解释;然后,采用岭回归极限学习算法对模糊规则的后件参数进行快速求解,在不显著降低分类准确度的情况下,ED-TSK-FC的廉价训练方法可以缩短模型的训练时间;最后,在Bonn癫痫数据集上,分别从分类性能、学习效率和可解释性3个方面,验证ED-TSK-FC的优越性.     

跨库语音情感识别研究进展

语音情感识别在人机交互过程中发挥极为重要的作用,近年来备受关注.目前,大多数的语音情感识别方法主要在单一情感数据库上进行训练和测试.然而,在实际应用中训练集和测试集可能来自不同的情感数据库.由于这种不同情感数据库的分布存在巨大差异性,导致大多数的语音情感识别方法取得的跨库识别性能不尽人意.为此,近年来不少研究者开始聚焦跨库语音情感识别方法的研究.本文系统性综述了近年来跨库语音情感识别方法的研究现状与进展,尤其对新发展起来的深度学习技术在跨库语音情感识别中的应用进行了重点分析与归纳.首先,介绍了语音情感识别中常用的情感数据库,然后结合深度学习技术,从监督、无监督和半监督学习角度出发,总结和比较了现有基于手工特征和深度特征的跨库语音情感识别方法的研究进展情况,最后对当前跨库语音情感识别领域存在的挑战和机遇进行了讨论与展望.