基于高斯函数的池化算法

针对卷积神经网络（CNN）中的传统池化算法不能很好地考虑到池化域内每个元素与该池化域所含特征之间关联性的问题,提出一种基于高斯函数的池化算法。首先根据池化域内各元素的值和所有元素的最大值计算高斯函数的三个参数值,然后运用高斯函数计算池化域内所有元素的权重,最后根据这些权重对池化域内所有元素值计算加权平均值,并以此作为池化结果。选择LeNet5、VGG16、ResNet18和MobileNet v3作为实验模型,在公开数据集CIFAR-10、Fer2013和德国交通标志识别基准（GTSRB）上进行实验,并与最大池化、平均池化、随机池化、混合池化、模糊池化、融合随机池化和soft池化这七种池化算法进行对比。实验结果表明,所提算法在三个数据集上相较其他算法在精度方面均有0.5个百分点到6个百分点的提升,且在运行效率方面优于上述除最大池化和平均池化两种池化算法外的其他池化算法,从而验证所提算法有效且具适合应用于对运算时间要求不高但对精度要求较高的情况。     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络（STA-GCN）模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制：空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络（GCN）框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络（ST-GCN）模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进（SOA）方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络（AS-GCN）。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。     

基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

基于视角置信度和注意力的暴力行为识别

暴力行为容易出现遮挡情况, 识别准确率较低. 目前, 一些算法加入多视角视频输入来解决遮挡问题, 以等量权重将所有视角数据融合, 但是不同视角的视频因拍摄距离和遮挡情况本身就对识别存在差异性. 针对该问题, 本文提出一种基于视角置信度和注意力的暴力行为识别方法, 提高暴力识别的准确率. 本文将时序差分模块TDM的输入扩展成多视角, 将通道注意力机制运用在片段维度来增强TDM中跨段特征提取能力, 通过背景抑制方法突显移动目标的纹理特征并计算出每个视角图像的置信度, 引入双线性池化方法融合多视角视频特征, 根据视角置信度分配每个视角局部特征的权重. 本文在公开数据集CASIA-Action和自制数据集上进行了验证. 实验表明, 本文提出的视角置信度方法优于改进前的双线性池化方法, 暴力行为准确率相较于现有的行为识别方法取得了更好的效果.     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于三维人体语义骨架点的姿态匹配

针对三维人体模型结构复杂,处理数量大且不易提取控制点等问题,提出通过对人体形状进行特征分析描述人体结构并进行姿态识别的算法。融合测地线与空间结构等特征提取骨架点有效减少数据的计算量,并通过ICP算法进行姿态的行为识别。实验证明,该算法有效地提升了三维姿态的识别效率,并有很好的鲁棒性。     

基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D CNN;(2)基于时空注意力机制的LSTM,第2条通道为时空图卷积网络(ST-GCN),然后,本文将提取到的两种特征融合使其优势互补,最后用Softmax分类器对融合特征进行分类,并在公开数据集UCF101和NTU RGB+D上验证.实验表明,本文提出的方法与现有行为识别算法相比具有较高的识别准确度.     

基于多流卷积神经网络的行为识别

人体行为识别与人体姿态有很强的相关性,由于许多公开的行为识别的数据集并未提供相关姿态数据,因此很少有将姿态数据进行训练并与其它模态进行融合的识别方法.针对当今主流基于深度学习的人体行为识别方法采用RGB与光流融合的现状,提出一种融合人体姿态特征的多流卷积神经网络人体行为识别算法.首先,用姿态估计算法从包含人的静态图片生成人体关键点数据,并对关键点连接构建姿态;其次,分别将RGB、光流、姿态数据对多流卷积神经网络进行训练,并进行分数融合;最后,在UCF101与HMDB51数据集进行了大量的消融,识别精度等方面的实验研究.实验结果表明,融合了姿态图像的多流卷积神经网络在UCF101与HMDB51数据集的实验精度分别提高了2.3％和3.1％.实验结果验证了提出算法的有效性.     

基于多粒度匹配的行人搜索算法

行人搜索旨在从一系列未经裁剪的图像中对行人进行定位与识别,融合了行人检测和行人重识别两个子任务。现有的方法设计了基于Faster R-CNN的端到端框架来解决此任务,但是行人检测和重识别两个子任务之间存在特征优化目标粒度不一致问题。为了解决这一问题,提出一种双全局池化结构,使用全局平均池化提取检测分支的共性特征,使用基于注意力机制的全局K最大池化提取re-ID分支的特性特征,为两个子任务提取符合各自粒度特性的特征。同时由于re-ID子任务的细粒度特性,还提出一种改善粒度匹配的画廊边界框加权算法,把查询人和画廊边界框的分辨率差异纳入相似度计算。实验证明融入多粒度的方法有效地提高了单阶段算法在CHUK-SYSU和PRW数据集上的性能。     

基于骨架的行为识别中图池化的应用

图卷积网络在基于骨架的行为识别的任务中取得了良好的性能。然而并非所有的关节点都与动作的发生密切相关,这些无关的关节点阻碍了识别的精度。为此,图池化被应用到基于骨架的行为识别方法中。具体来说,首先通过一个图卷积层提取特征,随后自注意力图池化被用于去除特征较小的结点,然后继续使用图卷积网络进行特征提取并得到分类结果。通过这种方式,网络更加关注于动作发生相关的结点,而忽略那些无关结点信息所带来的影响,识别精度相应的得到提高。在两个大规模的公开数据集NTU RGB+D和Kinetics skeleton的实验证明了该方法的有效性。     

基于分层基因优选多特征融合的图像材质属性标注

图像材质属性标注在电商平台、机器人视觉、工业检测等领域都具有广阔的应用前景.准确利用特征间的互补性及分类模型的决策能力是提升标注性能的关键.提出分层基因优选多特征融合(Stratified gene selection multi-feature fusion, SGSMFF)算法:提取图像传统及深度学习特征; 采用分类模型计算特征预估概率; 改进有效区域基因优选(Effective range based gene selection, ERGS)算法, 并在其中融入分层先验信息(Stratified priori information, SPI), 逐层、动态地为预估概率计算ERGS权重; 池化预估概率并做ERGS加权, 实现多特征融合.在MattrSet和Fabric两个数据集上完成实验, 结果表明: SGSMFF算法中可加入任意分类模型, 并实现多特征融合; 平均值池化方法、分层先验信息所提供的难分样本信息、"S + G + L"及"S + V"特征组合等均有助于改善材质属性标注性能.在上述两个数据集上, SGSMFF算法的精准度较最强基线分别提升18.70%、15.60%.     

基于智能手机的跌倒行为识别算法研究

利用智能手机的感知和计算能力,对跌倒行为识别算法进行研究。分析使用多特征传感器识别跌倒行为的必要性,并根据传感器对跌倒行为敏感程度的不同,提出基于主成分分析的多特征选择方法。针对传统K-means算法不能反映数据分布差异的问题,设计基于相对熵的跌倒行为识别算法,利用数据集分布距离进行跌倒行为识别。在真实环境下采集跌倒行为数据对算法性能进行评估,结果表明该算法能较好地识别跌倒行为,识别准确率高达96. 7%。     

基于多模板特征点融合的指纹识别

低质量指纹图像通常会产生较多的伪特征点，或者当待识指纹图像与模板图像之间存在较大平移和旋转时，识别算法的性能会受到很大的影响。利用多匹配算法的融合技术可以提高系统的识别率，但是这种数据融合的方法既增大了计算量，同时又难以充分利用原始指纹图像的信息。针对上述问题，提出了一种评估特征点置信度的方法，并在匹配算法中根据特征点置信度来修正匹配分数；然后运用特征层数据融合技术，将一个指纹的多个模板的特征点融合成一个特征点的本征模板，再与待识指纹图像的特征点进行匹配。实验结果表明，该方法在不明显增加存储空间和在线计算量的同时，可以达到很好的识别性能。     

基于深度学习的盲道障碍物检测算法研究

针对盲人出行时盲道场景复杂度高,已有目标检测算法对远距离障碍物以及条形障碍物特征提取困难,造成漏检等问题提出改进;针对条形障碍物检测增加非对称卷积模块(ACB),强化网络在垂直与水平方向的特征提取;构建混合池化模块,将条形池化引入网络与金字塔池化融合为混合池化模块(MPM),增强网络对长条形与非长条形障碍物检测效果;网络末端改变特征融合方式,低级特征与高级特征相乘形式以加强复杂场景下盲道障碍物识别;实验结果表明,在盲道障碍物数据集上,改进算法对比YOLO V4在多个评价指标上都有提升;实际场景测试中对远距离障碍物以及条形障碍物检测的检测精度提升明显.     

基于张量的KFLD-SIFT与RVM模糊积分融合的人体行为识别方法

针对人体行为识别领域中视频序列的大样本及多特征问题,提出一种基于张量的核Fisher非线性鉴别(KFLD)-尺度不变特征变换(SIFT)与相关向量机(RVM)模糊积分融合的人体行为识别方法.该方法首先通过预处理视频序列得到二值视频,并采用三阶张量表示.然后针对大样本特征提出KFLD-SIFT局部特征提取算法,对不同初始尺度下的关键点周围的多特征降维,同时提出RVM模糊积分融合算法进行行为分类.最后应用4种经典评价指标及计算得到的平均识别率对比分析文中方法与其他相关方法的识别效果,数据采用KTH人体行为数据库中的视频,并采用三重交叉方法验证和测试.实验表明文中方法对多种行为取得较好的识别效果,平均识别率比其他主流方法至少提高2.3%.     

基于深度特征学习的复杂环境下陌生人脸匹配算法研究

复杂环境下的陌生人脸匹配,即在人脸存在光照、姿态干扰时,判断两张在训练集中从未出现过的人脸照片是否代表同一个人。在预处理阶段,采用多尺度视皮层算法,降低光照的影响,提出并采用基于PCA-SIFT特征的图片融合算法无监督地对齐人脸,降低人脸姿态的影响。在识别阶段,提出并采用半随机池化方法优化了局部卷积限制波尔兹曼机网络的稳定性,习得深度特征后采用基于信息熵的度量学习算法计算马氏距离并通过SVM分类识别。实验结果显示,提出的方法在LFW数据集上取得了78%的识别率,相比于采用相同训练模式的经典度量学习方法取得了7%的提高,验证了所提方法的有效性。     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

虚拟空间中在线同源用户行为相似性研究

虚拟空间中在线同源用户具有相似行为特征,但现有相似性度量算法难以对其进行有效识别。提出一种基于序列对齐的在线同源用户识别算法,根据在线用户行为日志提取点击流数据,采用序列对齐方法计算在线用户的行为相似度,将其用行为相似度矩阵表示并对用户进行层次聚类,以识别虚拟空间中的在线同源用户,同时分析不同维度的用户特征属性对用户行为相似性的影响程度。实验结果表明,该算法能准确识别出在线同源用户,用户行为相似性受性别、户籍和教育程度3种特征属性影响较大,受年龄、社会阶层和收入水平的影响较小。     

基于目标识别的光电多传感器信息融合技术

依靠多个光电传感器采集目标数据,需要解决各类数据信息的融合分析问题。基于这种认识,从特征提取、融合和识别等方面,对基于目标识别的光电多传感器信息融合技术展开分析,介绍了技术应用前景,指出需要采用不同算法完成不同光电传感器特征信号提取,同时,通过融合计算得到融合特征量,为目标识别提供信息数据支撑,确保准确识别目标。