基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

基于局部时空特征的人体行为软分类识别

针对全局运动特征难以准确提取的问题,本文采用局部时空特征对人体行为进行表征。针对传统词袋中硬分类的方法量化误差大的不足,本文借鉴模糊聚类的思想,提出软分类的方法。根据兴趣点检测算法从视频中提取出视觉词汇,用K means算法对其进行聚类,建立码本。在计算分类特征时,首先计算待分类视觉词汇到码本中各个码字的距离,根据距离计算这个视觉词汇隶属于各个码字的概率,最后统计得到每个视频中各码字出现的频率。在Weizmann和KTH数据库对本文提出的人体行为识别算法进行验证,Weizmann库的识别率比传统的词袋算法提高8%,KTH库的识别率比传统的词袋算法提高9%,因此本文提出的算法能更有效地对人体行为进行识别。     

双人交互行为的稀疏表征方法*

提出一种双人交互行为的稀疏表征方法,融合体现全局变化的轨迹特征和突出区域运动的时空特征。首先,采用词袋模型得到轨迹特征的稀疏表示。然后,对提取的时空特征采用三层时空金字塔分解得到多层特征,并对其进行稀疏编码,利用多尺度Maxpooling算法融合得到局部稀疏特征。最后,将2种稀疏特征加权串联得到双人交互行为的稀疏表征。采用基于隐动态条件随机场的识别算法对文中提取的稀疏表征进行验证,通过实验证明其有效性。     

多特征的双人交互动作识别算法研究

运动特征的选择直接影响基于整体的双人交互动作识别算法的识别效果。单一的特征因其适应范围不同,受到人体的外观、环境、摄像机设置等因素的影响,识别效果往往不太理想。在研究双人交互动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出了一种结合局部的光流特征、局部的剪影特征以及HOG(histogram of oriented gradient)特征的混合特征,使用帧帧最近邻分类器获得3个特征的识别概率,最终通过加权融合3个特征的识别概率实现交互行为的识别。实验结果表明,对于UT-interaction数据库,该算法得到了较为理想的识别结果,混合特征可将识别率提高到91.7%。     

一种基于优化“词袋”模型的物体识别方法*

针对传统基于“词袋”模型物体识别现有方法的不足,对现特征表达、视觉词典和图像表示方法进行优化,以提高物体识别正确率。采用HUE直方图与SIFT特征描述符分别描述兴趣点周围的颜色和形状特征,实现“词袋”模型下两种特征的特征级和图像级融合,引入K-means++聚类算法生成视觉词典,并利用软权重思想将特征向量映射到视觉单词形成图像直方图。实验结果表明,所述方法会产生较高的物体识别正确率,且识别结果不受两种特征融合权重的影响。     

基于关键姿势的双人交互行为识别

针对双人交互行为识别应用领域广但效率低的问题,提出一种基于关键姿势的双人交互行为识别方法。首先,利用帧间差异比较来提取关键帧;然后,利用骨骼点角度变化的方差和空间关系来确定关键帧中的关键姿势;接着,利用关节距离、角度和关节运动等特征表示关键姿势,每一个关键姿势表示为一个特征矩阵;最后,利用不同的降维和分类组合,选取识别率最优的组合。在SBU交互数据集和自建的交互数据集上评估所提出的识别方法,该方法的识别率分别达到92.47%和94.14%。实验结果表明,通过提取关键姿势的特征形成特征矩阵来表示动作的方法可以有效地提高双人交互行为识别结果。     

基于改进信息增益的人体动作识别视觉词典建立

针对词袋（BoW）模型方法基于信息增益的视觉词典建立方法未考虑词频对动作识别的影响,为提高动作识别准确率,提出了基于改进信息增益建立视觉词典的方法。首先,基于3D Harris提取人体动作视频时空兴趣点并利用K均值聚类建立初始视觉词典;然后引入类内词频集中度和类间词频分散度改进信息增益,计算初始词典中词汇的改进信息增益,选择改进信息增益大的视觉词汇建立新的视觉词典;最后基于支持向量机（SVM）采用改进信息增益建立的视觉词典进行人体动作识别。采用KTH和Weizmann人体动作数据库进行实验验证。相比传统信息增益,两个数据库利用改进信息增益建立的视觉词典动作识别准确率分别提高了1.67%和3.45%。实验结果表明,提出的基于改进信息增益的视觉词典建立方法能够选择动作识别能力强的视觉词汇,提高动作识别准确率。     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

基于高层语义视觉词袋的色情图像过滤模型

针对目前色情图像过滤算法对比基尼图像和类肤色图像误检率过高,且不能有效过滤带有淫秽动作的多人色情图像的缺点,提出一种基于高层语义视觉词袋的色情图像过滤模型。该模型首先通过改进的SURF算法提取色情场景局部特征点,然后融合视觉单词的上下文和空间相关高层语义特征,从而构建色情图像的高层语义词典。实验结果表明,该模型检测带有淫秽动作的多人色情图像准确率可达87.6%,明显高于现有的视觉词袋色情图像过滤算法。     

基于时空图像分割和交互区域检测的人体动作识别方法

针对现有人体动作识别方法没有考虑到非人体目标的作用,提出一种基于时空图像分割和目标交互区域检测的人体动作识别方法。首先,在视频流中检测出人体轮廓,并将其进行时空图像分段,形成关键段区域;然后,扩展分段使其包含与人体交互的非人体目标;再后,通过时空梯度方向直方图(HOG)和光流场方向直方图(HOF)描述符来表示关键段的静态和动态特征,并通过k均值算法构建成码书,同时采用局部约束线性编码(LLC)技术来优化码书;最后,采用非线性支持向量机(SVM)对特征进行学习并进行动作识别。实验结果表明,与现有基于兴趣点的方法相比,该方案获得了较高的动作识别率。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

类别约束下的低秩优化特征字典构造方法

字典模型(BOW)是一种经典的图像描述方法,模型中特征字典的构造方法至关重要。针对特征字典构造问题,提出了一种类别约束下的低秩优化特征字典构造方法LRC-DT,通过低秩优化的方法使训练出来的特征字典在描述同类图像时表示系数矩阵的秩相对较低,从而将类别信息引入到字典学习中,提高字典对图像描述的可分辨性。在标准公测库Caltech-101和Caltech-256上的实验结果表明：将SPM、稀疏编码下的SPM(ScSPM)、局部线性编码(LLC)和线性核函数的SPM(LSPM)编码方法中的特征字典替换为加入低秩约束(LRC)的特征字典后,随着训练样本数目增多,字典模型的分类准确率与未引入低秩约束的方法相比有所提高。     

基于稠密光流轨迹和稀疏编码算法的行为识别方法

针对现有行为特征提取方法识别率低的问题,提出了一种融合稠密光流轨迹和稀疏编码框架的无监督行为特征提取方法(DOF-SC)。首先,在稠密光流(DOF)轨迹提取的基础上,对以轨迹为中心的原始图像块进行采样作为轨迹的原始特征;其次,对轨迹原始特征基于稀疏编码框架训练稀疏字典,得到轨迹的稀疏特征表示,利用词袋(BF)模型对稀疏特征聚类得到轨迹的码书,再根据码书对每个动作中出现的所有轨迹所属的码书类别进行投票,统计该动作中每个码书出现的次数,得到行为特征;最后,对行为特征利用基于直方图交叉核函数的支持向量机(SVM)进行训练得到行为识别模型,再利用该模型对行为进行分类预测,得到最终行为识别的结果。在对轨迹采样10%的情况下,DOF-SC算法得到的行为识别准确率在KTH数据库上高出采用运动边界直方图(MBH)作为特征的行为识别准确率的0.9%,在YouTube数据库上高出MBH作为特征的行为识别准确率的1.2%。实验数据表明了所提方法对行为识别的有效性。     

改进YOLOv3的非机动车检测与识别方法

随着交管部门对非机动车监管力度的增强,在道路交通监控视频中检测和识别非机动车将逐渐成为电子交警系统的必备功能。由于非机动车密度大,容易互相遮挡,且在监控视频中所占面积往往较小,容易出现检测定位不准确和漏检等问题。针对非机动车检测定位不准确和漏检问题,基于YOLOv3,提出一种改进的非机动车检测与识别模型,通过设计新的特征融合结构降低非机动车漏检率,使用GIOU损失提高定位准确度。实验结果表明,所提出的改进模型在自建真实复杂场景非机动车数据集上取得了优于YOLOv3的检测结果,将检测的平均检测准确率（mAP）提高了3.6%。     

基于改进特征袋模型的奶牛识别算法

针对特征袋（BOF）模型中存在特征计算耗时、识别精度低的不足,提出一种新的改进BOF模型以提高其目标识别的精度和效率,并将其应用于奶牛个体识别。该算法首先引入优化方向梯度直方图（HOG）特征对图像进行特征提取和描述,然后利用空间金字塔匹配原理（SPM）生成图像基于视觉词典的直方图表示,最后自定义直方图交叉核作为分类器核函数。该算法在项目组自行拍摄的数据集（包含15类奶牛、共7500张奶牛头部图像）上的实验结果表明,使用基于SPM的BOF模型将算法的识别率平均提高2个百分点;使用直方图交叉核相比使用高斯核将算法的识别率平均提高2.5个百分点;使用优化HOG特征,相比使用传统HOG特征将算法识别率平均提高21.3个百分点,运算效率为其1.68倍;相比使用尺度不变特征变换（SIFT）特征,在保证平均识别精度达95.3%的基础上,运算效率为其7.10倍。分析结果可知,该算法在奶牛个体识别领域具有较好的鲁棒性和实用性。     

基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

改进YOLOV3算法在行人识别中的应用

为了避免人与物体之间相互遮挡，对小目标检测不准确，以及复杂光照强度对行人检测的影响，针对这一问题，提出了一种多尺度聚类卷积神经网络MK-YOLOV3算法，来实现对行人的识别与检测。该算法是对YOLOV3进行改进，首先通过简单聚类对图像特征进行提取，得到相应的特征图，再通过抽样[K]-means聚类算法结合核函数确定锚点位置，以达到更好的聚类。针对小目标的浅层特征信息进行多尺度融合，提高小目标的检测效果。仿真结果验证了该算法在VOC数据集上对小目标识别的精度和速度上有较大提高，以及视频智能分析中有较高的召回率和精确度。     

PSO_BFA优化词袋模型及蛋白质亚细胞定位预测

提出了一种基于PSO_BFA优化的词袋模型。传统词袋模型有两个重要参数：窗口大小[d]和字典大小[k]。结合粒子群算法和细菌觅食算法产生新的PSO_BFA混合优化算法,在PSO进行局部搜索时,加入BFA的复制和迁移行为,得到PSO_BFA的最优解即为窗口大小和字典大小的最佳组合。将优化词袋模型与蛋白质序列的氨基酸组成算法和伪氨基酸组成算法结合,获得蛋白质序列的词袋特征。实验结果证明,基于PSO_BFA优化的词袋模型能有效提高蛋白质亚细胞定位预测的精度。     

基于端点检测和高斯滤波器组的MFCC说话人识别

在上下文无关的说话人识别应用中,针对传统MFCC特征参数在语音预处理方面不足以及三角滤波器组的缺陷,提出一种改进的MFCC特征参数提取方法.一方面在传统算法上加入端点检测,去除与说话人语音特征无关的静音段;另一方面用高斯滤波器组（Gaussian shaped filters GF）代替三角滤波器组进行频率到Mel频率的转换,提高识别准确率.说话人识别模型使用流行的高斯混合模型（GMM）.实验结果显示,高斯滤波器组的引入相比于传统三角滤波器组识别率有4.45%的提升,本文改进后的MFCC特征参数相比于传统方法识别率也提升了6.43%,能更好的代表说话人的语音特征.