多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

融合多尺度对比池化特征的行人重识别方法

行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。受行人姿态、遮挡、光照变化等因素的影响,传统的行人重识别方法中特征的表达能力有限,导致准确率降低,提出一种融合不同尺度对比池化特征的行人重识别方法。利用残差网络ResNet50提取行人图像的多尺度特征,在网络的不同层次上,通过对输入的特征进行全局平均池化和最大平均池化,将每组平均池化特征和最大池化特征相减,对相减得到的差异特征与最大池化特征进行相加,获得具有强判别性的对比池化特征。在此基础上,利用三元组损失和交叉熵损失联合优化模型,提高模型的泛化能力,同时采用重排序技术优化网络性能。实验结果表明,该方法在Market1501和DukeMTMC-reID数据集上的首位命中率分别达到96.41%和91.43%,平均精度均值为94.52%和89.30%,相比SVDNet、GLAD和PCB等方法,其行人重识别的准确率较高。     

基于多特征融合的用户窃电行为快速识别研究

不同的用电行为会产生不同的特征数据,因此可以根据用电特征来识别用户窃电行为,提出基于多特征融合的用户窃电行为快速识别方法。将额定电压偏离度、电压不平衡系数及电流不平衡系数作为用电行为特征进行提取,利用多特征融合技术,建立用电行为模型,对重点嫌疑用户窃电异常行为的快速识别。通过实验证明,所提出的识别方法无论是识别精度还是识别效率均具备显著优势。由于在窃电行为识别过程中对异常数据的分析粒度较粗,导致识别结果的可靠性较低,为此提出了基于决策树的远程窃电行为识别系统设计研究。将Z-turnBoard嵌入式单板作为系统的核心构件,结合线路电量平衡关系,计算出以单位窗口期线损率为基准的窃电行为特征参量,将计算结果作为决策树的根节点,将各分线线损率作为决策树的分支,通过迭代的方式细化分析粒度,得到最终的窃电行为位置。测试结果表明,设计系统对窃电行为的识别准确率和召回率均值分别达到了91.26%和93.59%。     

基于多特征融合的小样本视频行为识别算法

现有基于小样本学习的视频行为识别方法,在解决小样本学习中信息量稀缺问题时存在信息重复度高以及类间相似性大等不足,而且鲜有关注小样本学习中的域偏移与枢纽点问题,从而导致动作类表达能力弱和行为识别中错误分类的问题,此外,复杂的网络结构导致参数量与计算量成倍增加.针对以上问题,本文提出一种基于多特征融合的小样本视频行为识别算法,具体来说,该方法提出深度特征与流形特征的融合策略.首先,针对特征形式之一的流形特征,提出使用表征传播对流形结构进行平滑操作,更好地缓解了小样本学习中的域偏移与枢纽点问题.其次,通过同时使用对视频特征表达能力不同的深度特征与流形特征,获得更多的样本有效信息,进而缓解小样本学习中样本稀缺的问题.最后,为减小模型的参数量与计算量,选择基于2D方法构建模型.在HMDB51、UCF101以及Kinetics三个数据集上进行实验,结果表明,本文方法在“5-way 1-shot”任务下表现突出,识别率优于现有的小样本视频行为识别方法,在HMDB51上提高了8.5%,在UCF101上提高了9.5%,在Kinetics上提高了1.0%.     

一种多骨架特征前期融合的在线行为识别算法

针对现有基于人体骨架的行为识别方法存在计算量大、不适合在线应用的问题,提出一种多骨架特征前期融合的在线行为识别算法.该算法通过前期嵌入层融合不同类型的输入特征,并结合最大池化和层次池化操作提取骨架空间的多语义信息.根据日常行为的数据特征设计有效的骨架序列选取方式,并制作NTU-GAST Skeleton数据集,实现在线的行为识别应用.在公开数据集NTU60/120 RGB+D上进行测试,结果表明提出的算法需要更少计算量的同时取得了较高的识别准确率.     

基于多特征融合的汽车车型模糊识别方法

车型识别是智能交通系统中的一个重要组成部分.利用计算机视觉、模式识别等理论方法,对车型的有效特征提取与分类识别进行了深入的研究,提出了一种多特征融合的模糊聚类车型识别方法.通过自动调整各维特征的加权系数来调整特征对分类的贡献,结果表明达到了较好的分类效果.     

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法.利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行...     

基于多特征融合的视频点击率预测方法

结合多个模型集成学习可以提升单模型预测算法的性能,本文提出一种基于多特征融合的视频点击率预测方法,将哈希降维的特征和GBDT组合特征进行拼接作为输入特征,采用随机梯度下降法对逻辑回归、因子分解机和场感知因子分解机的输出值进行线性加权的迭代调整.实验结果表明该算法的预测效果优于基于单模型算法,也优于基于套袋方法的随机森林...     

多尺度输入3D卷积融合双流模型的行为识别方法

基于视频的行为识别技术在计算机视觉领域有广泛的应用.针对当前存在的网络模型不能有效结合视频数据中的时空信息,并且缺乏对不同尺度数据之间的融合信息进行考虑等问题,提出一种结合双流网络以及3D卷积神经网络的多尺度输入3D卷积融合双流模型.首先利用2D残差网以及多尺度输入3D卷积融合网络获取视频中的时空维度信息;然后将2层网络得到的实验结果进行决策相加,有效地提升网络对视频中时空特征提取的能力;最后通过在多尺度输入3D卷积融合网络对不同尺度的数据进行不同策略的融合,提高了网络对不同尺度数据的泛化能力.实验结果表明,文中模型在数据集UCF-101以及HMDB-51的识别准确率分别为90.5%与66.3%;相比于其他方法,该模型能取得更高的识别精度,体现出文中方法的优越性与鲁棒性.     

基于多特征融合的Webshell恶意流量检测方法

Webshell是针对Web应用系统进行持久化控制的最常用恶意后门程序,对Web服务器安全运行造成巨大威胁。对于 Webshell 检测的方法大多通过对整个请求包数据进行训练,该方法对网页型 Webshell 识别效果较差,且模型训练效率较低。针对上述问题,提出了一种基于多特征融合的Webshell恶意流量检测方法,该方法以Webshell的数据包元信息、数据包载荷内容以及流量访问行为3个维度信息为特征,结合领域知识,从3个不同维度对数据流中的请求和响应包进行特征提取;并对提取特征进行信息融合,形成可以在不同攻击类型进行检测的判别模型。实验结果表明,与以往研究方法相比,所提方法在正常、恶意流量的二分类上精确率得到较大提升,可达99.25%;训练效率和检测效率也得到了显著提升,训练时间和检测时间分别下降95.73%和86.14%。     

基于多特征融合的复杂光照人脸识别

提取人脸图像光照不变量是提高不完备训练样本人脸识别光照鲁棒性的一个有效途径。以往算法分别从不同角度提取人脸图像的高频特征作为光照不变量不能提取完整的人脸本征,具有一定的局限性。从特征级和决策级融合的角度提出了一种基于多特征融合的复杂光照人脸识别方法。所提算法能发挥不同光照不变量的自身优势,明显提高复杂光照人脸识别的光照鲁棒性。Yale B+和非控光照人脸库的实验结果表明所提算法的有效性。     

基于模糊融合的驾驶员眼睛状态识别

提出了一种基于模糊融合的驾驶员眼睛状态识别方法,利用多特征融合来判断眼睛状态,从而克服只利用单一特征识别的不完善、不准确以及不确定性等缺点。实验结果表明利用多特征融合方法的识别率明显高于只利用单一特征的识别率。     

基于多特征融合的医学图像识别研究*

以医学图像为研究对象,针对任何一类特征都不能很好地表达医学图像的缺点以及进一步提高医学图像的识别率,提出了一种基于特征级数据融合与决策级数据融合相结合的分类方法。实验结果表明,采用特征级数据融合,融合后的特征可以较好地表达医学图像,且减少了后期分类的计算量;采用决策级数据融合,取得了比单个分类器更高的识别率。     

基于多特征融合的运动人体行为识别

提出了一种基于特征级融合的运动人体行为识别方法。应用背景差分法和阴影消除技术获得运动人体区域和人体轮廓;采用R变换提取人体区域特征,采用小波描述子提取人体轮廓特征;然后将这两种具有一定互补性的特征采用K-L变换进行融合,得到一个分类能力更强的特征;最后,在传统支持向量机的基础上,结合模糊聚类技术和决策树构建多级二叉树分类器,从而实现行为多类分类。该方法在Weizmann行为数据库上进行了实验,实验结果表明所提出的识别方法具有较高的识别性能。     

Integration of multi-feature fusion and dictionary learning for face recognition

Recent research emphasizes more on analyzing multiple features to improve face recognition (FR) performance. One popular scheme is to extend the sparse representation based classification framework with various sparse constraints. Although these methods jointly study multiple features through the constraints, they just process each feature individually such that they overlook the possible high-level relationship among different features. It is reasonable to assume that the low-level features of facial images, such as edge information and smoothed/low-frequency image, can be fused into a more compact and more discriminative representation based on the latent high-level relationship. FR on the fused features is anticipated to produce better performance than that on the original features, since they provide more favorable properties. Focusing on this, we propose two different strategies which start from fusing multiple features and then exploit the dictionary learning (DL) framework for better FR performance. The first strategy is a simple and efficient two-step model, which learns a fusion matrix from training face images to fuse multiple features and then learns class-specific dictionaries based on the fused features. The second one is a more effective model requiring more computational time that learns the fusion matrix and the class-specific dictionaries simultaneously within an iterative optimization procedure. Besides, the second model considers to separate the shared common components from class-specified dictionaries to enhance the discrimination power of the dictionaries. The proposed strategies, which integrate multi-feature fusion process and dictionary learning framework for FR, realize the following goals: (1) exploiting multiple features of face images for better FR performances; (2) learning a fusion matrix to merge the features into a more compact and more discriminative representation; (3) learning class-specific dictionaries with consideration of the common patterns for better classification performance. We perform a series of experiments on public available databases to evaluate our methods, and the experimental results demonstrate the effectiveness of the proposed models.     

基于多特征降维和迁移学习的红外人体目标识别方法

针对红外成像条件下人体目标受干扰严重时目标的识别准确性和鲁棒性较差的问题,提出了一种基于多特征降维和迁移学习的红外人体目标识别方法。首先,针对传统的红外人体目标特征提取方法提取某单一特征时存在信息涵盖不全面的问题,提取目标不同种类的异构特征,从而充分挖掘出红外人体目标的特点。其次,为了向后续识别分析提供有效且紧凑的特征描述,采用主成分分析方法对融合后的异构特征进行降维。最后,针对带标签的红外人体目标样本数据匮乏、训练样本和测试样本之间的分布及语义偏差导致的泛化性能差等问题,提出了一种有效的基于迁移学习的红外人体目标分类器,可较大程度地提高泛化性能和目标识别准确度。实验结果表明,所提的方法在红外人体目标数据集上的识别准确率达到了94%以上,与使用方向梯度直方图（HOG）特征、亮度自相似（ISS）特征等单一特征进行特征表示的方法以及使用传统的非迁移分类器如支持向量机（SVM）、K-近邻算法（KNN）等进行学习的方法相比均有所提升,且更加稳定,可以在实际的复杂红外场景中提升人体目标识别的性能。     

基于多特征融合的抽象画情感研究

抽象画作为一种寓意含蓄的艺术作品,传递出的情感也是含蓄的,确定其情感分类也比较困难,为此采用多特征融合方式预测抽象画的情感。首先采用K-means聚类提取抽象画图像的主色调作为底层颜色特征,采用灰度—梯度共生矩阵提取底层纹理特征,采用卷积神经网络自动提取高层语义特征;其次由于特征维度不同,采用多核学习对底层和高级语义特征进行融合;最后采用支持向量机实现抽象画情感识别,分为积极与消极两类。在MART数据集上进行测试,并与其他现有分类模型进行了比较,实验结果显示该方法在测试性能上优于已有模型。     

实时动作识别方法研究

针对传统RGB视频中动作识别算法时间复杂度高而识别准确率低的问题,提出一种基于深度图像的动作识别方法。该方法首先对深度图像在三投影面系中进行投影,然后对三个投影图分别提取Gabor特征,最后使用这些特征训练极限学习机分类器,从而完成动作分类。在公开数据集MSR Action3D上进行了实验验证,该方法在三组实验上的平均准确率分别为97.80%、99.10%和88.35%,识别单个深度视频的用时小于1 s。实验结果表明,该方法能够对深度图像序列中的人体动作进行有效识别,并基本满足深度序列识别的实时性要求。     

一种多特征融合的外观设计专利图像检索方法

提出一种多特征融合的外观设计专利图像检索方法。采用Hu不变矩和高斯描绘子两种算法描述图像形状特征;采用加权法融合形状特征和Gabor小波提取的纹理特征;用Adaboost算法进行相关性反馈。实验结果表明,提出的方法可以有效地实现外观设计专利图像的检索。