多视觉目标融合的图像情感分析研究

现有图像情感分析方法较少注意到显著性目标和人脸对图像情感表达的影响。提出一种多视觉目标融合的图像情感分析方法。首先在整张图像中检测显著性目标和人脸目标区域;然后利用特征金字塔改进CNN识别显著性目标情感,在多层监督模块上构建加权损失的CNN识别人脸的情感;最后将显著性目标情感、人脸目标情感与整张图像直接识别出的情感进行融合得到最终的情感分类结果。实验结果表明,多视觉目标融合的图像情感分析比直接识别整张图像的情感分析方法可获得更高的情感分类准确率。     

基于CNN的改进串行混合网络及多传感器信息融合的运动意图识别研究

为了提高基于传感器信号的运动意图识别准确度,开展了基于深度学习和多传感器信息融合的运动意图识别方法的研究.首先,在平地、10°上/下坡、上/下楼梯,共5种步态模式下,提取了80名受试者的运动传感器数据,采用非线性降维Diffusion Maps法(DM)对数据进行降维,利用短期傅里叶变化(SIFT)提取数据特征;构建基于卷积神经网络(CNN)和埃尔曼神经网络(ENN)的新型串行混合网络模型(CNN-ENN),并完成了模型的训练;随机选取了5名志愿者参与实验测试.实验结果表明CNN-ENN改进串行混合网络模型对多传感器融合信息的平均识别准确度为95.86％,分别比传统的运动意图识别算法CNN和基于集成学习的加权投票算法(MFR)高10.21％和16.37％.实践表明深度学习模型与多传感器信息融合技术相结合的方法对运动意图识别精度的提高有很好的指导价值.     

对象级特征引导的显著性视觉注意方法

针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网（CNN）对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

高效深度特征提取及其在显著性检测中的应用

针对卷积神经网络(CNN)中间层特征维度高,含噪声较多的问题,提出一种CNN特征降维的方法,首先利用主成分分析(PCA)对CNN特征进行降维,在数据层面和人类感知层面证明了其有效性;然后将降维后的CNN特征作为区域特征向量,利用多水平超像素分割和随机森林回归构建了一个融合手工特征及降维CNN特征的显著性检测模型;最后选取了10个显著性检测传统模型进行对比,构建的融合模型性能优于仅使用传统手工特征的方法,降维后的CNN特征能够改进显著性模型的性能.     

自适应模型更新的多特征融合目标跟踪算法

针对目标在运动过程中存在遮挡、光照变化、背景因素等复杂情况下的跟踪问题,提出了一种多特征融合的跟踪算法;利用背景加权后的联合直方图来描述目标的灰度和纹理特征信息,提出一种多帧加权组合的模板更新策略,对模板特征分布进行自适应更新,基于当前粒子特征信息可信度加权设计了一种自适应特征融合观测模型,并结合到粒子滤波算法中,从而提高了跟踪算法的场景适应能力;实验结果表明;与基于单一特征的算法相比,该算法的适应性更强,能有效跟踪复杂场景下的运动目标.     

基于多特征自适应融合的核跟踪方法

提出了一种基于多特征自适应融合的核跟踪框架. 利用目标特征的子模型集合构造了目标的多特征描述, 通过线性加权方法将目标的多个特征集成在核跟踪方法中. 根据各个特征子模型与当前目标及背景的相似性, 提出了一种基于 Fisher 可分性度量的权值自适应更新机制; 同时为了克服模型更新过程中的漂移, 基于子模型的可分性提出了一种选择性更新策略, 实现了在变化场景下的鲁棒跟踪. 基于本文所提多特征跟踪框架, 利用目标的颜色特征与 LBP (Local binary pattern) 纹理特征具体实现了多特征自适应融合的核跟踪方法, 实验验证了本文方法的有效性.     

基于深度特征融合的中低分辨率车型识别

针对中低分辨率车型识别问题,建立一种改进的卷积神经网络(CNN)特征融合模型。采取特征融合策略对CNN中的不同低层特征进行融合重复利用。为防止出现过拟合现象,结合网络模型稀疏化的结构,使用数据增强方法优化训练数据。分析和实验结果表明,该模型不仅能产生更具区分性的特征,而且能避免由环境等因素引起的干扰,与传统CNN模型相比,具有更高的识别准确率。     

基于时-距包围盒目标截取的超宽带雷达多人步态识别

为解决超宽带(UWB)雷达多人识别的目标分割问题,提出了一种基于时-距包围盒(TRBB)的UWB雷达回波数据表示方法及TRBB截取算法,结合卷积神经网络(CNN),一起实现了一种多人步态识别算法框架.框架中,TRBB截取算法包括人体目标检测与快、慢时间分割,前者通过k-means聚类方法获取人体HRRP几何中心,后者利用HRRP几何中心作为参考点,通过截取信号矩阵中的TRBB目标子矩阵,从而实现多目标分离.可以看出,TRBB截取算法既可用于目标识别,也可用于目标跟踪.考虑到CNN擅长挖掘图像的隐含特征,框架选用CNN来学习TRBB中蕴含的步态特征是一个自然的选择.实验室条件下,测试了上述多人步态识别算法框架的性能,平均步态识别准确率达89.3％.     

基于SoC FPGA和CNN模型的动作识别系统设计

动作识别是重要的机器视觉研究领域之一。设计实现基于So C FPGA和CNN模型的动作识别系统。设计实现流水线型LK光流计算、基于HOG与SVM的行人检测模块;设计实现动态行人检测与静态行人检测结果的融合算法,计算出目标人物所在区域;利用该区域的视频图像和光流场数据,输入CNN模型计算得到目标人物的动作识别结果;设计指令集架构的NPU单元用于实现CNN模型计算。整个系统基于DE10-Nano开发板进行软硬件协同开发,能够识别"站立"、"行走"、"挥手"和"下蹲"等动作。该系统具有较高的识别率和较强的设计灵活性,方便CNN模型的扩展与修改。     

一种基于视觉知识加工模型的目标识别方法

提出了一种基于视觉知识加工模型的目标识别方法. 该加工模型结合目标定位、模板筛选和MFF-HMAX (Hierarchical model and X based on multi-feature fusion)方法对图像进行学习, 形成相应的视觉知识库, 并用于指导目标的识别. 首先, 利用Itti模型获取图像的显著区, 结合视觉通路中What和Where通道的位置、大小等特征以及视觉知识库中的定位知识确定初期候选目标区域; 然后, 采用二步去噪处理获取候选目标区域, 利用MFF-HMAX模型提取目标区域的颜色、亮度、纹理、轮廓、大小等知识特征, 并采用特征融合思想将各项特征融合供目标识别; 最后, 与单一特征以及目前的流行方法进行对比实验, 结果表明本文方法不仅具备较高的识别效果, 同时能够模仿人脑学习视觉知识的过程形成视觉知识库.     

基于卷积神经网络的遥感图像分类研究

遥感图像分类是模式识别技术在遥感领域的具体应用,针对遥感图像处理中的分类问题,提出了一种基于卷积神经网络(convolutional neural networks,CNN)的遥感图像分类方法,并针对单源特征无法提供有效信息的问题,设计了一种多源多特征融合的方法,将遥感图像的光谱特征、纹理特征、空间结构特征等按空间维度以向量或矩阵的形式进行有效融合,以此训练CNN模型。实验表明,多源多特征相融合能够加快模型收敛速度,有效提高遥感图像的分类精度;与其他分类方法相比,CNN能够取得更高的分类精度,获得更优的分类效果。     

脑电信号多维特征融合与分类算法研究

针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。     

融合图像场景及物体先验知识的图像描述生成模型

目的 目前基于深度卷积神经网络（CNN）和长短时记忆（LSTM）网络模型进行图像描述的方法一般是用物体类别信息作为先验知识来提取图像CNN特征,忽略了图像中的场景先验知识,造成生成的句子缺乏对场景的准确描述,容易对图像中物体的位置关系等造成误判。针对此问题,设计了融合场景及物体类别先验信息的图像描述生成模型（F-SOCPK）,将图像中的场景先验信息和物体类别先验信息融入模型中,协同生成图像的描述句子,提高句子生成质量。方法 首先在大规模场景类别数据集Place205上训练CNN-S模型中的参数,使得CNN-S模型能够包含更多的场景先验信息,然后将其中的参数通过迁移学习的方法迁移到CNN_d-S中,用于捕捉待描述图像中的场景信息;同时,在大规模物体类别数据集Imagenet上训练CNN-O模型中的参数,然后将其迁移到CNN_d-O模型中,用于捕捉图像中的物体信息。提取图像的场景信息和物体信息之后,分别将其送入语言模型LM-S和LM-O中;然后将LM-S和LM-O的输出信息通过Softmax函数的变换,得到单词表中每个单词的概率分值;最后使用加权融合方式,计算每个单词的最终分值,取概率最大者所对应的单词作为当前时间步上的输出,最终生成图像的描述句子。结果 在MSCOCO、Flickr30k和Flickr8k 3个公开数据集上进行实验。本文设计的模型在反映句子连贯性和准确率的BLEU指标、反映句子中单词的准确率和召回率的METEOR指标及反映语义丰富程度的CIDEr指标等多个性能指标上均超过了单独使用物体类别信息的模型,尤其在Flickr8k数据集上,在CIDEr指标上,比单独基于物体类别的Object-based模型提升了9%,比单独基于场景类别的Scene-based模型提升了近11%。结论 本文所提方法效果显著,在基准模型的基础上,性能有了很大提升;与其他主流方法相比,其性能也极为优越。尤其是在较大的数据集上（如MSCOCO）,其优势较为明显;但在较小的数据集上（如Flickr8k）,其性能还有待于进一步改进。在下一步工作中,将在模型中融入更多的视觉先验信息,如动作类别、物体与物体之间的关系等,进一步提升描述句子的质量。同时,也将结合更多视觉技术,如更深的CNN模型、目标检测、场景理解等,进一步提升句子的准确率。     

基于VGG-NET的特征融合面部表情识别

为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。     

低资源语音识别中融合多流特征的卷积神经网络声学建模方法

针对卷积神经网络（CNN）声学建模参数在低资源训练数据条件下的语音识别任务中存在训练不充分的问题,提出一种利用多流特征提升低资源卷积神经网络声学模型性能的方法。首先,为了在低资源声学建模过程中充分利用有限训练数据中更多数量的声学特征,先对训练数据提取几类不同的特征;其次,对每一类类特征分别构建卷积子网络,形成一个并行结构,使得多特征数据在概率分布上得以规整;然后通过在并行卷积子网络之上加入全连接层进行融合,从而得到一种新的卷积神经网络声学模型;最后,基于该声学模型搭建低资源语音识别系统。实验结果表明,并行卷积层子网络可以将不同特征空间规整得更为相似,且该方法相对传统多特征拼接方法和单特征CNN建模方法分别提升了3.27%和2.08%的识别率;当引入多语言训练时,该方法依然适用,且识别率分别相对提升了5.73%和4.57%。     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

区域增强和多特征融合的X光图像违禁品识别

目的 对旅客行李进行安全检查是维护公共安全的措施之一,安检智能化是未来的发展方向。基于X光图像的安检因不同的安检机成像方式不同,同一类违禁品在不同设备上的X光图像在颜色分布上有很大差异,导致安检图像智能识别算法在训练与测试数据分布不同时,识别性能明显降低,同时X光行李图像中物品的混乱复杂增加了违禁品识别的难度。针对上述问题,本文提出一种区域增强和多特征融合模型。方法 首先,通过注意力机制的思想提取一种区域增强特征,消除颜色分布不同的影响,保留图像整体结构并增强违禁品区域信息。然后,采用多特征融合策略丰富特征信息,使模型适用于图像中物品混乱复杂情况。最后,提出一种三元损失函数优化特征融合。结果 在公开数据集SIXray数据集上进行整体识别性能和泛化性能的实验分析,即测试本文方法在相同和不同颜色分布样本上的性能。在整体识别性能方面,本文方法在平均精度均值(mean average precision,mAP)上相较于基础模型ResNet18和ResNet34分别提升了4.09%和2.26%,并优于一些其他识别方法。对于单类违禁品,本文方法在枪支和钳子类违禁品上的平均识别精度为94.25%和...     

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体, 其方法可为物种保护、医学病患检测和军事监测等领域提供助力, 具有较高的实用价值. 近年来, 采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向. 但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络, 并且在结合多层次特征时, 忽略了特征表示和融合方法对检测性能的影响. 针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题, 提出一种基于Transformer的跨尺度交互学习伪装目标检测方法. 该模型首先提出了双分支特征融合模块, 将经过迭代注意力的特征进行融合, 更好地融合高低层特征; 其次引入了多尺度全局上下文信息模块, 充分联系上下文信息增强特征; 最后提出了多通道池化模块, 能够聚焦被检测物体的局部信息, 提高伪装目标检测准确率. 在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明, 与当前主流的伪装物体检测算法相比较, 该方法生成的预测图更加清晰, 伪装目标检测模型能取得更高精度.     

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1）分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2）从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3）对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。