共查询到20条相似文献,搜索用时 171 毫秒
1.
现有图像情感分析方法较少注意到显著性目标和人脸对图像情感表达的影响。提出一种多视觉目标融合的图像情感分析方法。首先在整张图像中检测显著性目标和人脸目标区域;然后利用特征金字塔改进CNN识别显著性目标情感,在多层监督模块上构建加权损失的CNN识别人脸的情感;最后将显著性目标情感、人脸目标情感与整张图像直接识别出的情感进行融合得到最终的情感分类结果。实验结果表明,多视觉目标融合的图像情感分析比直接识别整张图像的情感分析方法可获得更高的情感分类准确率。 相似文献
2.
为了提高基于传感器信号的运动意图识别准确度,开展了基于深度学习和多传感器信息融合的运动意图识别方法的研究.首先,在平地、10°上/下坡、上/下楼梯,共5种步态模式下,提取了80名受试者的运动传感器数据,采用非线性降维Diffusion Maps法(DM)对数据进行降维,利用短期傅里叶变化(SIFT)提取数据特征;构建基于卷积神经网络(CNN)和埃尔曼神经网络(ENN)的新型串行混合网络模型(CNN-ENN),并完成了模型的训练;随机选取了5名志愿者参与实验测试.实验结果表明CNN-ENN改进串行混合网络模型对多传感器融合信息的平均识别准确度为95.86%,分别比传统的运动意图识别算法CNN和基于集成学习的加权投票算法(MFR)高10.21%和16.37%.实践表明深度学习模型与多传感器信息融合技术相结合的方法对运动意图识别精度的提高有很好的指导价值. 相似文献
3.
针对SAR图像船舶目标检测中存在的多尺度检测问题,提出了一种加权双向特征金字塔网络对提取的特征进行融合.首先,在双向特征金字塔网络的基础上移除单输入节点,并添加横向捷径;然后,利用可学习的权重对输入特征加权融合,以学习不同输入特征的重要性,分配不同尺度特征的信息比重.为了改进CNN检测算法中使用先验知识人为预设锚框的方... 相似文献
4.
针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网(CNN)对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。 相似文献
5.
近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。 相似文献
6.
针对卷积神经网络(CNN)中间层特征维度高,含噪声较多的问题,提出一种CNN特征降维的方法,首先利用主成分分析(PCA)对CNN特征进行降维,在数据层面和人类感知层面证明了其有效性;然后将降维后的CNN特征作为区域特征向量,利用多水平超像素分割和随机森林回归构建了一个融合手工特征及降维CNN特征的显著性检测模型;最后选取了10个显著性检测传统模型进行对比,构建的融合模型性能优于仅使用传统手工特征的方法,降维后的CNN特征能够改进显著性模型的性能. 相似文献
7.
基于多特征自适应融合的核跟踪方法 总被引:11,自引:0,他引:11
提出了一种基于多特征自适应融合的核跟踪框架. 利用目标特征的子模型集合构造了目标的多特征描述, 通过线性加权方法将目标的多个特征集成在核跟踪方法中. 根据各个特征子模型与当前目标及背景的相似性, 提出了一种基于 Fisher 可分性度量的权值自适应更新机制; 同时为了克服模型更新过程中的漂移, 基于子模型的可分性提出了一种选择性更新策略, 实现了在变化场景下的鲁棒跟踪. 基于本文所提多特征跟踪框架, 利用目标的颜色特征与 LBP (Local binary pattern) 纹理特征具体实现了多特征自适应融合的核跟踪方法, 实验验证了本文方法的有效性. 相似文献
8.
针对目标在运动过程中存在遮挡、光照变化、背景因素等复杂情况下的跟踪问题,提出了一种多特征融合的跟踪算法;利用背景加权后的联合直方图来描述目标的灰度和纹理特征信息,提出一种多帧加权组合的模板更新策略,对模板特征分布进行自适应更新,基于当前粒子特征信息可信度加权设计了一种自适应特征融合观测模型,并结合到粒子滤波算法中,从而提高了跟踪算法的场景适应能力;实验结果表明;与基于单一特征的算法相比,该算法的适应性更强,能有效跟踪复杂场景下的运动目标. 相似文献
9.
10.
为解决超宽带(UWB)雷达多人识别的目标分割问题,提出了一种基于时-距包围盒(TRBB)的UWB雷达回波数据表示方法及TRBB截取算法,结合卷积神经网络(CNN),一起实现了一种多人步态识别算法框架.框架中,TRBB截取算法包括人体目标检测与快、慢时间分割,前者通过k-means聚类方法获取人体HRRP几何中心,后者利用HRRP几何中心作为参考点,通过截取信号矩阵中的TRBB目标子矩阵,从而实现多目标分离.可以看出,TRBB截取算法既可用于目标识别,也可用于目标跟踪.考虑到CNN擅长挖掘图像的隐含特征,框架选用CNN来学习TRBB中蕴含的步态特征是一个自然的选择.实验室条件下,测试了上述多人步态识别算法框架的性能,平均步态识别准确率达89.3%. 相似文献
11.
提出了一种基于视觉知识加工模型的目标识别方法. 该加工模型结合目标定位、模板筛选和MFF-HMAX (Hierarchical model and X based on multi-feature fusion)方法对图像进行学习, 形成相应的视觉知识库, 并用于指导目标的识别. 首先, 利用Itti模型获取图像的显著区, 结合视觉通路中What和Where通道的位置、大小等特征以及视觉知识库中的定位知识确定初期候选目标区域; 然后, 采用二步去噪处理获取候选目标区域, 利用MFF-HMAX模型提取目标区域的颜色、亮度、纹理、轮廓、大小等知识特征, 并采用特征融合思想将各项特征融合供目标识别; 最后, 与单一特征以及目前的流行方法进行对比实验, 结果表明本文方法不仅具备较高的识别效果, 同时能够模仿人脑学习视觉知识的过程形成视觉知识库. 相似文献
12.
遥感图像分类是模式识别技术在遥感领域的具体应用,针对遥感图像处理中的分类问题,提出了一种基于卷积神经网络(convolutional neural networks,CNN)的遥感图像分类方法,并针对单源特征无法提供有效信息的问题,设计了一种多源多特征融合的方法,将遥感图像的光谱特征、纹理特征、空间结构特征等按空间维度以向量或矩阵的形式进行有效融合,以此训练CNN模型。实验表明,多源多特征相融合能够加快模型收敛速度,有效提高遥感图像的分类精度;与其他分类方法相比,CNN能够取得更高的分类精度,获得更优的分类效果。 相似文献
13.
针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。 相似文献
14.
为了提高物体的识别正确率,提出一种基于证据理论融合多特征的物体识别算法。提取物体图像的颜色直方图和尺度不变特征,采用极限学习机建立相应的图像分类器,根据单一特征的识别结果构建概率分配函数,并采用证据理论对单一特征识别结果进行融合,得出物体的最终识别结果,采用多个图像数据库对算法有效性进行测试。测试结果表明,该算法不仅提高了物体的识别率,而且加快了物体识别的速度,具有一定的实际应用价值。 相似文献
15.
目前在RGBD视频的行为识别中,为了提高识别准确率,许多方法采用多特征融合的方式。通过实验分析发现,行为在特定特征上的分类效果好,但是多特征融合并不能体现个别特征的分类优势,同时融合后的特征维度很高,时空开销大。为了解决这个问题,提出了RGBD人体行为识别中的自适应特征选择方法,通过随机森林和信息熵分析人体关节点判别力,以高判别力的人体关节点的数量作为特征选择的标准。通过该数量阈值的筛选,选择关节点特征或者关节点相对位置作为行为识别特征。实验结果表明,该方法相比于特征融合的算法,行为识别的准确率有了较大提高,超过了大部分算法的识别结果。 相似文献
16.
目的 目前基于深度卷积神经网络(CNN)和长短时记忆(LSTM)网络模型进行图像描述的方法一般是用物体类别信息作为先验知识来提取图像CNN特征,忽略了图像中的场景先验知识,造成生成的句子缺乏对场景的准确描述,容易对图像中物体的位置关系等造成误判。针对此问题,设计了融合场景及物体类别先验信息的图像描述生成模型(F-SOCPK),将图像中的场景先验信息和物体类别先验信息融入模型中,协同生成图像的描述句子,提高句子生成质量。方法 首先在大规模场景类别数据集Place205上训练CNN-S模型中的参数,使得CNN-S模型能够包含更多的场景先验信息,然后将其中的参数通过迁移学习的方法迁移到CNNd-S中,用于捕捉待描述图像中的场景信息;同时,在大规模物体类别数据集Imagenet上训练CNN-O模型中的参数,然后将其迁移到CNNd-O模型中,用于捕捉图像中的物体信息。提取图像的场景信息和物体信息之后,分别将其送入语言模型LM-S和LM-O中;然后将LM-S和LM-O的输出信息通过Softmax函数的变换,得到单词表中每个单词的概率分值;最后使用加权融合方式,计算每个单词的最终分值,取概率最大者所对应的单词作为当前时间步上的输出,最终生成图像的描述句子。结果 在MSCOCO、Flickr30k和Flickr8k 3个公开数据集上进行实验。本文设计的模型在反映句子连贯性和准确率的BLEU指标、反映句子中单词的准确率和召回率的METEOR指标及反映语义丰富程度的CIDEr指标等多个性能指标上均超过了单独使用物体类别信息的模型,尤其在Flickr8k数据集上,在CIDEr指标上,比单独基于物体类别的Object-based模型提升了9%,比单独基于场景类别的Scene-based模型提升了近11%。结论 本文所提方法效果显著,在基准模型的基础上,性能有了很大提升;与其他主流方法相比,其性能也极为优越。尤其是在较大的数据集上(如MSCOCO),其优势较为明显;但在较小的数据集上(如Flickr8k),其性能还有待于进一步改进。在下一步工作中,将在模型中融入更多的视觉先验信息,如动作类别、物体与物体之间的关系等,进一步提升描述句子的质量。同时,也将结合更多视觉技术,如更深的CNN模型、目标检测、场景理解等,进一步提升句子的准确率。 相似文献
17.
为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。 相似文献
18.
针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法.通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet(Squeeze-and-Excitation Networks)构成的第一通道提取全局特征,然后使用RBNet(Resi... 相似文献
19.
目的 对旅客行李进行安全检查是维护公共安全的措施之一,安检智能化是未来的发展方向。基于X光图像的安检因不同的安检机成像方式不同,同一类违禁品在不同设备上的X光图像在颜色分布上有很大差异,导致安检图像智能识别算法在训练与测试数据分布不同时,识别性能明显降低,同时X光行李图像中物品的混乱复杂增加了违禁品识别的难度。针对上述问题,本文提出一种区域增强和多特征融合模型。方法 首先,通过注意力机制的思想提取一种区域增强特征,消除颜色分布不同的影响,保留图像整体结构并增强违禁品区域信息。然后,采用多特征融合策略丰富特征信息,使模型适用于图像中物品混乱复杂情况。最后,提出一种三元损失函数优化特征融合。结果 在公开数据集SIXray数据集上进行整体识别性能和泛化性能的实验分析,即测试本文方法在相同和不同颜色分布样本上的性能。在整体识别性能方面,本文方法在平均精度均值(mean average precision,mAP)上相较于基础模型ResNet18和ResNet34分别提升了4.09%和2.26%,并优于一些其他识别方法。对于单类违禁品,本文方法在枪支和钳子类违禁品上的平均识别精度为94.25%和... 相似文献
20.
针对卷积神经网络(CNN)声学建模参数在低资源训练数据条件下的语音识别任务中存在训练不充分的问题,提出一种利用多流特征提升低资源卷积神经网络声学模型性能的方法。首先,为了在低资源声学建模过程中充分利用有限训练数据中更多数量的声学特征,先对训练数据提取几类不同的特征;其次,对每一类类特征分别构建卷积子网络,形成一个并行结构,使得多特征数据在概率分布上得以规整;然后通过在并行卷积子网络之上加入全连接层进行融合,从而得到一种新的卷积神经网络声学模型;最后,基于该声学模型搭建低资源语音识别系统。实验结果表明,并行卷积层子网络可以将不同特征空间规整得更为相似,且该方法相对传统多特征拼接方法和单特征CNN建模方法分别提升了3.27%和2.08%的识别率;当引入多语言训练时,该方法依然适用,且识别率分别相对提升了5.73%和4.57%。 相似文献