基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

基于时空依赖关系和特征融合的弱监督视频异常检测

弱监督视频异常检测由于抗干扰性强、数据标注要求低,成为视频异常事件检测研究的热点。在现有的工作中,大多数弱监督视频异常检测方法认为各个视频段独立同分布,单独判断每个视频段是否异常,忽略了视频段间的时空依赖关系。为此,提出了一种基于时空依赖关系和特征融合的弱监督视频异常检测方法,在保留视频段原始特征的同时,使用视频段之间的索引距离和特征相似程度拟合视频段的时间和空间依赖关系,构建视频段的关系特征。通过融合原始特征和关系特征,更好地表达视频的动态特性和时序关系。在UCF-Crime和ShanghaiTech两个基准数据集上进行了大量实验,实验结果表明所提方法的AUC指标优于其他方法,AUC值分别达到了80.1%和94.6%。     

基于改进型时间分段网络的视频异常检测

视频异常检测是计算机视觉领域的一个重要研究课题,广泛应用于道路监控、异常事件监测等方面。考虑到异常行为的外观、运动特征与正常行为存在明显差异,提出一种改进型时间分段网络,利用该网络学习视频中的外观和运动信息,从而对视频异常行为进行预测。为了提取更多的视频信息,将RGB图和RGB帧差图相融合作为输入,以提取RGB图中的外观信息并通过RGB帧差图获得更有效的运动特征。将卷积注意力机制模块加入到时间分段网络模型中,从空间和通道2个不同的维度学习注意力图,利用学习到的注意力权重区分异常和正常的视频片段,同时运用焦点损失函数降低大量简单负样本在训练过程中所占的权重,使得模型更专注于难分类的样本,从而解决视频异常检测中正负样本比例不平衡的问题。实验结果表明,改进型时间分段网络在UCF-Crime和CUHK Avenue数据集上的AUC值分别达到77.6%和83.3%,检测性能优于基准方法TSN（RGB流）以及ISTL、3D-ConvAE等方法。     

河网中具有时空关系的异常事件在线检测

当网络异常事件发生时,传感器节点间的时空相关性往往非常明显.而现有方法通常将时间和空间数据性质分开考虑,提出一种分散的基于概率图模型的时空异常事件检测算法.该算法首先利用连通支配集算法(CDS)选择部分传感器节点监测,避免监测所有的传感器节点;然后通过马尔可夫链(MC)预测时间异常事件;最后用贝叶斯网络(BN)推测空间异常事件是否出现,结合时空事件来预测异常事件是否会发生.与简单阈值算法和基于贝叶斯网络算法对比,实验结果表明该算法有高检测精度、低延迟率, 能大幅降低通信开销,提高响应速度.     

基于颜色和运动空间分布的时空显著性区域检测算法

针对复杂背景和运动条件下视频显著性区域检测准确度不高的问题,本文提出了一个新的时空一致性优化模型,并基于颜色空间分布和运动空间分布特征,结合时空一致性优化方法构建了一个新的时空显著性区域检测模型。首先对视频帧进行超像素分割,然后提取三种具有互补性质的超像素级颜色空间分布特征和两种运动空间分布特征,再利用时空一致性分别融合优化空间显著特征和时间显著特征得到空间显著图和时间显著图。在时空融合阶段,利用时空一致性模型融合空间显著度和时间显著度得到超像素级的时空显著图。为进一步提高检测的准确度和完整度,通过一个能量最小化模型得到更精确的像素级时空显著图。通过与最新的视频显著性模型进行比较,本文算法有更高的准确率,对复杂背景和运动条件有强的鲁棒性。     

结合全局与局部视频表示的视频异常检测算法

针对视频异常行为检测问题,提出结合全局与局部视频表示的视频异常检测算法.首先将输入视频连续多帧划分为视频块.再按空间位置将视频块划分为互不重叠的时空立方体,利用时空立方体运动特征构建基于空间位置的全局时空网格位置支持向量数据描述模型(SVDD).然后针对视频运动目标,提取局部纹理运动特征,采用SVDD获得围绕目标特征的超球体边界,构建运动目标正常行为模型.最后组合两部分以实现更全面的检测.公共数据集上的实验验证文中算法的有效性.     

无线传感器网络中基于空间关联性的聚类异常检测算法

针对无线传感器网络节点定位场景中的环境变化、障碍物及传感器节点失效等异常问题, 提出了一种基于空间关联性的聚类异常检测算法（ODCASC算法）。该算法通过聚类技术完成节点的异常数据判断, 同时还利用邻居节点间感知数据的空间关联性过滤噪声数据, 提取异常事件信息, 辅助系统决策。室内实测结果显示, ODCASC算法弥补了时空关联检测算法的不足, 可以有效地检测并区分网络中的环境噪声及异常事件。     

相似视频片段的检测与定位方法研究

相似视频片段探测可以辅助网络视频检索、内容关联分析等方面的研究,具有重要的意义。重点研究了位置随机的相似视频片段的探测与定位问题,首先在视频结构化分析与关键帧提取的基础上,对不同视频进行相似关键帧探测。为保证探测的精度与效率,针对视频关键帧的特点,采用了FAST检测子和BRIEF描述子相结合的方法,利用关键帧的局部特征进行相似关键帧探测;其次提出了一种相似关键帧距离度量的方法,利用相似关键帧所在源视频的位置来构建相似关键帧距离矩阵,保留矩阵中距离较小的相似关键帧,将寻找相似视频片段的过程转化为寻找矩阵对应的连通图的过程。最后对算法进行了实验,结果表明,该方法可以有效地探测处于各个位置的相似视频片段。     

面向特征的ICA和HP滤波实现视频异常事件检测

针对室外环境下光照亮度变化、阴影和树木遮挡等问题,对利用隐马尔可夫模型进行视频异常事件检测的影响,提出基于独立分量分析（ICA）和HP（Hodrick-Prescott）滤波器的隐马尔可夫模型视频异常事件检测方法。该方法首先利用ICA构造正常视频的特征子空间,将图像序列投影到特征子空间上得到投影序列,实现数据降维;然后利用HP滤波器滤除投影序列中环境变化引起的趋势分量;最终克服不利的环境因素,有效改善隐马尔可夫模型的视频异常事件检测性能。机动车辆禁行路段视频的检测实验表明,该方法能够在复杂的室外环境下较好地检测出异常事件。     

一种基于局部时空特征的视频异常检测方案

针对目前大多数视频异常检测方案在局部异常检测上的不足,提出一种基于局部时空特征的视频异常检测方案。该方案先提取运动描述符,再量化拆分,对每个特征描述符使用不同标度的时间空间滤波器,获得各时间空间区域的平滑估计,为训练和测试视频计算出各区域的局部K最邻近(KNN)距离,根据上述局部KNN距离,得出测试和训练视频的总体分值。对总体分值排名,确定异常。将该方案在公共数据集(UCSD数据集、人群异常UMN数据集、U型转弯数据集)上进行测试,结果表明,该方案的误差率、曲线下面积等性能指标优于现有的视频异常检测算法。     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

图结构多尺度变换的视频异常检测

目的 在监控场景的视频异常检测中,存在数据量大和检测速度慢的问题,为此提出图结构多尺度变换下的视频异常检测方法。方法 针对视频中光流特征的空间结构存在关联性,提出构建光流特征网络图结构,并在相关约束下利用光流特征图结构的迭代尺度化变换,有效降低视频异常检测中的光流特征数量,从而完成特征优化。光流特征图结构的尺度化变换首先利用光流特征图结构的图拉普拉斯矩阵所对应的最大特征向量的极性来筛选顶点,完成图的下采样操作;接着利用Kron规约构建顶点间的内在连接,重新构建光流特征图结构。结果 该方法能够提高视频异常检测算法的检测速度,但这是在略微降低检测精度的前提下实现的。在UMN数据集中,当尺度化图结构仅一次时的检测精度下降了3.2%,但检测速度提升了19.1%。这对整个视频集的检测速度的提升有明显效果。当尺度化次数为两次时的检测精度下降了7.3%,但这时检测效果达不到实际要求。此时,当尺度化图结构仅一次时异常检测的效果能达到预期。在Web数据集中,当尺度化图结构仅一次时,检测精度下降了1.9%,但检测速度提升了32%;尺度化两次时,检测精度降低了4.8%,检测速度提升了51%。因此,需要根据检测精度与检测速度的综合考虑后,选择尺度化次数是一次还是两次。但是随着尺度化次数的提高,这时检测效果就不能符合要求。结论 本文利用不规则的网络图结构来更好地表述特征之间的空间关系,并且多尺度变换后图结构也能表述特征间仍然保留有较强的空间关系。在不同的视频监控场景下,根据对检测精度与检测速度的综合考虑后选择合适的尺度化次数,从而实现快速异常检测。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

视频结构化描述模型

如何有效地表示视频一直是多媒体领域的研究热点和难点。提出一种视频结构化描述模型,其基本思想是：利用视频的内蕴结构特点,以视频镜头作节点,以镜头间的相似度作边权,构建视频关联图模型,并提取视频关联图的谱特征,包括主分量特征、特征模容量、特征模周长、Cheeger常数、模间邻接矩阵、模间距离等。视频聚类和检索实验表明,视频结构化描述模型是可行的和有效的,其中主分量谱特征更表现了良好的性能。     

基于时序感知的动态知识图谱补全方法

针对动态知识图谱的补全方法大多将时间维度内嵌于实体或关系中,将四元组降维成三元组后以静态知识图谱补全理论进行补全。静态补全方法通常只对实体关系建模,忽略了时间信息在四元组中的重要作用。同时知识库内时间表述存在稀疏性和不规则性。针对以上问题,提出了时序感知编码器和时序卷积解码器。时序感知编码器将时间维度同实体和关系嵌入为同规模向量,通过改进的图卷积神经网络实现四元组的特征提取。针对时序编码器特征提取后的四元组向量,时序卷积解码器利用卷积神经网络评估全局关系以进行链接预测。所提出的方法可以提供更精确的时间维度特征,提升补全时序图谱的性能。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k数据集上的实验验证了提出方法的有效性,同时链接预测效果较优。     

基于多通道时空编码器的交通流量预测模型

传统的交通流量预测模型对历史数据进行时空建模,忽略了交通数据的时间周期性内部潜在关系和交通路网间节点的距离特征和相似性空间特征。据此,提出面向交通流量预测的多通道时空编码器模型MC-STGNN,用来提高交通流量预测的准确率。首先将交通数据处理成三通道的周期性时间序列,并对整体的序列数据进行时间位置编码和自适应的空间位置编码,提取路网节点间的动态相关性;其次引入具有卷积结构的多头自我注意力机制,更大程度地捕获周期数据不同程度的时间相关性;最后提出一种图生成器生成新的时空图,提取路网节点间的相似性和距离特征,并利用门控图卷积网络整合原始图和新时空图的空间信息。在高速公路数据集PEMS03和PEMS08上进行一小时的交通流量综合预测实验,结果表明,MC-STGNN模型与其他的基线模型相比,具有更佳的性能指标,说明MC-STGNN模型具有更优的建模能力。     

结合轻量Openpose和注意力引导图卷积的动作识别

现有人体姿态动作识别方法忽视前期姿态估计算法的作用,没有充分提取动作特征,提出一种结合轻量级Openpose和注意力引导图卷积网络的动作识别方法。该方法包含基于shufflenet的Openpose算法和基于不同尺度邻接矩阵注意力的图卷积算法。输入视频由轻量Openpose处理得到18个人体关键点信息,表达为基础时空图数据形式。节点的不同尺度邻居信息对应的邻接矩阵通过自注意力机制计算影响力,将各尺度邻接矩阵加权合并输入图卷积网络提取特征。提取到的鉴别特征通过全局平均池化和softmax分类器输出动作类别。在Le2i Fall Detection数据集和自定义的UR-KTH数据集上的实验表明,动作识别的准确率分别为95.52%和95.07%,达到了预期效果。     

基于外观和动作特征双预测模型的视频异常行为检测

为了在视频异常行为检测中更加充分地运用外观和动作信息,设计出了一种能同时捕捉外观和动作信息的孪生网络模型。该网络的两个分支采用相同的自编码器结构,其中的外观子网络以连续几帧RGB图作为输入来预测下一帧,而动作子网络则输入RGB帧差图来预测未来帧差图。此外,考虑到影响基于预测的方法的检测效果的原因之一,即正常样本的多样性以及自编码器网络强大的“生成”能力,即对部分异常样本也有很好的预测效果,因此在编码器与解码器之间加入一个学习并存储正常样本的“原型”特征的记忆增强模块,从而使异常样本能获得更大的预测误差。在Avenue、UCSD-ped2和ShanghaiTech三个公共的异常数据集上进行了广泛的实验。实验结果表明,相较于其他基于重建或预测的视频异常行为检测方法,所提方法取得了更优异的表现。具体来说,该方法在Avenue、UCSD-ped2和ShanghaiTech数据集上的平均曲线下面积（AUC）分别达到了88.2%、97.5%和73.0%。     

融合知识图谱和轻量图卷积网络的推荐算法

针对知识图谱推荐算法用户端和项目端建模程度不均且模型复杂度较高等问题, 提出融合知识图谱和轻量图卷积网络的推荐算法. 在用户端, 利用用户相似性生成邻居集合, 将用户及其相似用户的交互记录在知识图谱上多次迭代传播, 增强用户特征表示. 在项目端, 将知识图谱中实体嵌入传播, 挖掘与用户喜好相关的项目信息; 接着, 利用轻量图卷积网络聚合邻域特征获得用户和项目的特征表示, 同时采用注意力机制将邻域权重融入实体, 增强节点的嵌入表示; 最后, 预测用户和项目之间的评分. 实验表明, 在Book-Crossing数据集上, 相较于最优基线, AUC和ACC分别提高了1.8%和2.3%. 在Yelp2018数据集上, AUC和ACC分别提高了1.2%和1.4%. 结果证明, 该模型与其他基准模型相比有较好的推荐性能.