一种区块特征匹配与边缘差分结合的运动目标检测算法

由于动态背景中存在运动目标检测准确率不高、耗时过长,提出一种区块特征匹配结合边缘特征的运动目标检测算法。首先将视频图像目标检测块与背景块分离,对相邻帧背景块进行运动补偿;进而对连续多帧图像进行边缘特征提取,最后对多帧的边缘图像差分,经由形态学处理和阈值分割得到运动目标区域。该算法能有效减少特征提取耗时,降低背景噪声的干扰。实验结果表明,该算法检测运动目标的准确性较好,且抗噪表现较好。     

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。     

基于四元数时空卷积神经网络的人体行为识别

传统卷积神经网络(CNN)只适用于灰度图像或彩色图像分通道的特征提取,忽视了通道间的空间依赖性,破坏了真实环境的颜色特征,从而影响人体行为识别的准确率。为了解决上述问题,提出一种基于四元数时空卷积神经网络(QST-CNN)的人体行为识别方法。首先,采用码本算法预处理样本集所有图像,提取图像中人体运动的关键区域;然后将彩色图像的四元数矩阵形式作为网络的输入,并将CNN的空间卷积层扩展为四元数空间卷积层,将彩色图像的红、绿、蓝通道看作一个整体进行动作空间特征的提取,并在时间卷积层提取相邻帧的动态信息;最后,比较QST-CNN、灰度单通道CNN(Gray-CNN)和RGB 3通道CNN(3Channel-CNN)3种方法的识别率。实验结果表明,所提方法优于其他流行方法,在Weizmann和UCF sports数据集分别取得了85.34%和80.2%的识别率。     

基于视频流的车牌识别研究及系统设计

该文深入研究从视频流中提取运动车辆进行车牌识别的问题,提出了一种车牌识别算法,根据该算法开发了基于MFC的视频流车牌识别可视化系统。算法采用三帧差分与背景消减相结合的方法提取含有运动车辆的关键帧,对关键帧进行灰度化,采用Sobel算子进行边缘检测,融合形态学处理对关键帧进行去噪,从而实现车牌的定位,用投影法结合字符特征对车牌字符进行精确分割,采用BP神经网络算法提取字符特征,输出字符识别结果,由此完成车牌字符识别。通过对50组不同的车辆视频进行检测识别,识别率(包含汉字)达到96%以上。     

构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

多模深度卷积神经网络应用于视频表情识别

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习。其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06%和52.18%的正确识别率,明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。     

基于改进Unet的起重机攀爬机器人车道识别

起重机攀爬机器人是一种代替人力检测起重机的机械设备。为解决起重机攀爬机器人自动寻路的车道识别问题,文中设计了一种针对起重机金属结构特点优化,将MobilenetV2作为特征提取部分与Unet网络相结合的M2-Unet卷积神经网络。用攀爬机器人在门式起重机上采集1 979张图像数据,由专业标注软件Labelme制作成数据集进行训练与测试,并使用其他2种主流的语义分割网络在相同的数据集上作对比实验。实验结果表明,相较于其他2种图像分割网络,改进的M2-Unet卷积神经网络的分割准确率最高;M2-Unet网络对测试集479张图片的平均识别准确率在96%以上,平均运行时间远小于0.5 s,能同时满足起重机攀爬机器人车道识别任务的实时性和精度要求。     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数,实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程,解算非常复杂,因此,提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征,将用于分类的卷积神经网络转化为帧间时序特征网络,通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明,提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹,证明了方法的可行性。在简化了复杂模型的基础上,与传统的视觉里程计系统相比,该模型的精度也有所提高。     

基于背景差分的巡检机器人视觉识别方法

针对巡检机器人检测异物范围受限,只能检测经过训练的异常物体问题,提出了一种基于视频对齐的背景差分技术。巡检机器人由于运行速度不稳定、摄像头角度存在偏差,会导致视频无法对齐,识别准确率低,因此采用一种改进的联合优化算法对视频进行处理。首先使用改进的DTW算法逐帧查找与目标视频对应的帧,将视频对应帧提取出来;再采用SURF算法提取对应帧的特征点,进行筛选后使用DeepFlow算法得到对应帧图像的变形场矩阵,进而将图像角度修正,并进行像素级的匹配。实验结果表明,DTW-SURF-DeepFlow联合算法可以将图像进行完全的对齐,经过对齐的图像通过背景差分即可以检测出任意的异常物体,提高了异物检测的准确性。     

一种用于动作识别的双分支网络

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10⁷的参数量可达到95.6%的精度。     

基于差分和特征不变量的运动目标检测与跟踪

提出了一种基于改进的图像差分算法与特征不变量匹配的目标识别方法。通过三帧差值法获得了更完整清晰的目标轮廓,并基于该轮廓信息构造了一个具有平移、大小和旋转不变性的特征不变量;然后提出动态极值匹配法,利用特征曲线的极值信息点进行识别匹配,并动态替换原特征模版。实验结果表明,该方法能够准确识别目标,显著地提高识别跟踪效率,并且适用于检测运动姿态发生变化的目标。对于分辨率为288×352像素,每像素8位量化的序列图像,处理每帧图像平均用时0.011 74 s,其中特征提取与匹配过程平均用时0.005 476 s,能够实现对运动目标的实时分析,可同时满足运动目标识别跟踪中实时性和准确率的要求。     

视频监控中的图像拼接与合成算法研究

视频监控常用云台摄像机或多个静止的摄像机监控视场范围比较大的区域,分别研究了多摄像机的视频合成算法和云台摄像机的视频拼接算法.对于多个摄像机的情况,采用高斯混合模型对各个视频序列进行背景建模.然后根据背景图像计算各个摄像机的单应矩阵,并将多个视频序列合成为一个大的视频序列.对于云台摄像机跟随拍摄的情况,提出了一种基于关键帧的视频拼接算法.根据重叠区域的大小和纹理信息的丰富程度选取关键帧,并把各帧图像对准到其前面最近的关键帧,同时更新重叠区域内的背景模型参数.由于关键帧之间具有比较高的对准精度,因而该方法能够较好地重建运动目标所经过的场景的背景图像.     

基于改进C-V模型的多运动目标分割

针对固定摄像机视频监控中多运动目标自动分割问题,本文提出了一种基于帧间差分和改进C-V模型的新方法。首先,通过自适应阈值获得滤波后的相邻帧差值图像。其次,通过连通域分析和设定阈值,消除差值图像中噪声的影响并标定出运动目标所在的区域,计算运动区域的运动窗口。最后,对所有运动窗口,采用改进的C-V模型作分割,得到封闭和完整的运动目标轮廓。针对C-V活动轮廓模型不能自适应地分割非匀质图像问题,提出利用全局梯度信息演化活动轮廓曲线,根据闭合活动轮廓曲线内外部的梯度信息重新定义图像分割能量函数。实验结果表明,该算法避免了对整个图像的分割,减少了运算量,能实现对刚体或非刚体的多运动目标的自动检测和轮廓分割。     

基于CNN的植物叶片病害智能检测系统算法设计与仿真

针对目前基于机器学习的农作物叶片病害识别算法中训练收敛误差大、识别精度不高等问题,文章研究了基于卷积神经网络CNN的植物叶片病害智能检测系统算法。通过对采集到的叶片图像进行K-means聚类算法分割叶片图像中受感染的区域,再用CNN网络进行特征提取及识别分类,实现对农作物叶片病害的检测。仿真试验数据表明,以马铃薯植株叶片为例,设计的算法模型平均识别精度为94.7%,较SVM提高了6.15%,适用于植物叶片病害智能检测系统。     

分布式视频编码中虚拟信道模型的动态估计

基于Slepian-Wolf理论和Wyner-Ziv理论的分布式视频编码,是一种全新的视频编码框架。分布式视频编码系统中,解码端对虚拟信道模型估计的准确性是影响压缩性能的关键因素之一。针对虚拟信道的时域动态特性,提出了新的解码端帧级虚拟信道模型的动态估计算法。利用边信息内插阶段所获得的双向运动矢量,对当前帧前后的关键帧进行运动补偿,通过前后关键帧的运动补偿误差来估计当前帧的虚拟信道模型。针对虚拟信道的空域动态特性,提出了子块级虚拟信道模型的动态估计算法。通过对视频帧进行分块,对每个分块都进行参数估计,即可动态地完成各子块对应的虚拟信道模型的估计。实验证明所提出的两种虚拟信道模型的估计算法都有效降低了视频编码系统的传输码率,提高了系统的率失真性能。     

基于自注意力特征融合组卷积神经网络的三维点云语义分割

针对现有算法忽略点云数据全局单点特征和局部几何特征的深层关系,导致捕获的局部几何信息缺乏鉴别性且难以有效识别复杂形状的问题,提出基于自注意力特征融合组卷积神经网络的三维点云语义分割算法.首先,设计轻量化网络框架的代理点图卷积提取点云局部几何特征,并加入组卷积操作减少计算量和复杂度,以较少的冗余信息增强特征的丰富性;其次...     

基于改进双流时空网络的人体行为识别

针对传统双流网络无法捕捉视频序列中的时序关系从而导致对时序依赖较大的行为识别效果不理想的问题,提出一种基于改进双流时空网络的人体行为识别算法.首先利用时间移位思想,使卷积神经网络对视频中的时序关系建模,从而高效地捕捉视频中的时空信息;同时使用注意力机制改善由于通道信息在时间轴上移动导致的空间特征学习能力下降的问题;在此...     

基于三维深度卷积神经网络的车间生产行为识别

传统的依赖视频监控的人员行为管理方式费时且易产生疏漏,难以适用复杂的生产制造环境,为了实现更加有效的人员行为管理,针对生产车间工作人员行为识别与智能监控问题,提出一种基于人体骨架信息的生产行为识别方法。基于三维深度视觉传感器采集人体骨架关节位置数据,用标准化重构方法对骨架关节数据进行归一化处理,合成人体行为的时空特征RGB图像。在此基础上构建深度卷积神经网络模型,进行时空域的生产行为识别。最后通过CUDA GPU加速环境下面向MSR-Action3D数据集和自建验证数据集NJUST3D进行实验验证,说明所提方法具有较高的准确率和实用价值。     

基于多通道一维卷积双向门控循环网络轴承故障诊断

针对于一维卷积神经网络使用单卷积核可能出现特征丢失,特征提取不充分,无法利用时间序列信息,以及Softmax无法进一步提升诊断准确率等问题。提出一种多通道一维卷积双向门控循环网络的深度学习算法。首先,设计一个3通道的一维卷积神经网络进行不同尺寸的故障特征提取;其次,引入双向门控循环单元挖掘特征信号中的动态时间序列关系;最后,采用支持向量机替换传统卷积神经网络中常用的Softmax进行故障分类,进一步提升诊断的准确率。实验证明,该方法将故障诊断的准确率提升至99.8%。通过与其他方法的对比,证明了该方法有着更高的准确率和更好的鲁棒性。     

基于深度卷积神经网络的蝇类面部识别

针对蝇类昆虫物种繁多、特征复杂等因素,导致蝇类识别准确率低、耗时较长等问题。本文借鉴深度学习方法中的人脸识别算法,提出一种基于深度卷积神经网络的蝇类面部识别方法。首先,在图像对齐过程中,使用多任务卷积神经网络并进行优化即应用深度可分离卷积减少计算参数,缩短图像预处理时间。其次,应用轮廓特征粗提取和具体部位特征细提取相结合的方式提取更加丰富的特征信息:即使用卷积池化粗提取出图像的轮廓特征值;同时,使用Inception-ResNet网络、Reduction网络细提取出具体部位特征值。最终在网络训练时,结合上述方法使得提取到的特征信息更加精确全面。实验表明,所提方法的准确率达到94.03%,相较于其他网络训练方法,该方法在保证较高准确率的情况下提升计算效率。