融合行人时空信息的视频异常检测

针对目前视频异常检测不能充分利用时序信息且忽视正常行为多样性的问题,提出了一种融合行 人时空信息的异常检测方法。以卷积自编码器为基础,通过其中的编码器和解码器对输入帧进行压缩和还原,并 根据输出帧与真实值的差异实现异常检测。为了加强视频连续帧之间的特征信息联系,引入残差时间移位模块和 残差通道注意力模块,分别提升网络对时间信息和通道信息的建模能力。考虑到卷积神经网络(CNN)过度的泛化 性,在编解码器各层的跳跃连接之间加入记忆增强模块,限制自编码器对异常帧过于强大的表示能力,提高网络 的异常检测精度。此外,通过一种特征离散性损失来修正目标函数,有效区分不同的正常行为模式。在 CUHK Avenue 和 ShanghaiTech 数据集上的实验结果表明,该方法在满足实时性要求的同时,优于当前主流的视频异常 检测方法。     

融合小波变换和编解码注意力的异常检测

针对视频异常检测中对正常视频预测不准确、学习正常特征的能力欠佳的问题,提出融合小波变换和编解码注意力的异常检测模型。模型中引入多级离散小波变换,设计了一种离散小波变换融合模块,将由视频帧分解得到的多个子带图拼接,传入深度可分离卷积,再与编码器特征融合,以弥补下采样过程中丢失的高频细节信息;构建了一种编解码注意力模块,通过对编码器特征图进行高斯差分操作,然后分别沿水平和垂直方向获取注意力权重,再根据权重聚合编码器特征,最后关联解码器特征,增强网络对正常事件的学习。在Ped1、Ped2、Avenue数据集上的实验表明,采用提出的模块使模型的AUC分别提升了3.2%、3.1%、2.0%,说明该模块能有效提高模型检测异常的能力。     

基于外观和动作特征双预测模型的视频异常行为检测

为了在视频异常行为检测中更加充分地运用外观和动作信息,设计出了一种能同时捕捉外观和动作信息的孪生网络模型。该网络的两个分支采用相同的自编码器结构,其中的外观子网络以连续几帧RGB图作为输入来预测下一帧,而动作子网络则输入RGB帧差图来预测未来帧差图。此外,考虑到影响基于预测的方法的检测效果的原因之一,即正常样本的多样性以及自编码器网络强大的“生成”能力,即对部分异常样本也有很好的预测效果,因此在编码器与解码器之间加入一个学习并存储正常样本的“原型”特征的记忆增强模块,从而使异常样本能获得更大的预测误差。在Avenue、UCSD-ped2和ShanghaiTech三个公共的异常数据集上进行了广泛的实验。实验结果表明,相较于其他基于重建或预测的视频异常行为检测方法,所提方法取得了更优异的表现。具体来说,该方法在Avenue、UCSD-ped2和ShanghaiTech数据集上的平均曲线下面积（AUC）分别达到了88.2%、97.5%和73.0%。     

基于重构误差的地下电缆管道异常检测方法

针对地下电缆管道异常图像样本数量稀少、异常检测难度大等问题，提出一种基于重构误差的地下电缆管道异常检测方法。该方法构建了基于编解码器结构的异常检测模型，将卷积注意力模块(CBAM)嵌入编解码器之间以增强网络的特征提取能力，同时，在编解码器之间使用残差连接，以增强模型对图像细节的重建能力。在训练阶段引入伪随机异常模块，提高模型对异常区域的映射重建能力。实验结果表明，所提方法在公开数据集MVTec上的图像级和与像素级的平均AUROC分别为97.2%和95.9%,在自建数据集WEN＿piple上的图像级与像素级的平均AUROC分别为99.9%和97.3%。与其他9种异常检测方法相比所提方法能够有效地对电缆管道内的复杂异常情况进行精确的检测。     

融合自注意力和自编码器的视频异常检测

目的 视频异常检测通过挖掘正常事件样本的模式来检测不符合正常模式的异常事件。基于自编码器的模型广泛用于视频异常检测领域,由于自监督学习的特征提取具有一定盲目性,使得网络的特征表达能力有限。为了提升模型对正常模式的学习能力,提出一种基于Transformer和U-Net的视频异常检测方法。方法 首先,编码器对输入的连续帧进行下采样提取低层特征,并将最后一层特征图输入Transformer编码全局信息,学习特征像素之间的相关信息。然后解码器对编码特征进行上采样,通过跳跃连接与编码器中相同分辨率的低层特征融合,将全局空间信息与局部细节信息结合从而实现异常定位。针对近景康复动作的异常反馈需求,本文基于周期性动作收集了一个室内近景数据集,并进一步引入动态图约束引导网络关注近景周期性运动区域。结果 实验在4个室外公开数据集和1个室内近景数据集上与同类方法比较。在室外数据集CUHK(Chinese University of Hong Kong)Avenue,UCSD Ped1(University of California, San Diego, pedestrian1),UCSD Ped2,L...     

属性网络中基于变分图自编码器的异常节点检测方法

图神经网络为属性网络数据挖掘提供融合利用结构信息和属性信息的方法,但是在现阶段基于图自动编码器进行无监督属性网络异常节点检测时,常将正常节点子属性插值形成的节点误识别为异常节点,导致方法的假负率较高.针对上述问题,文中提出基于变分图自编码器的异常节点检测方法.模型包含两个编码器和一个解码器,利用一个编码器和一个解码器构...     

融合记忆增强的视频异常检测

深度自编码器可以通过预测当前帧来判断视频中的异常情况。但由于自动编码器对图片的低层次特征无法良好的预测,在自动编码器中添加跳跃连接可以提高预测图片细节信息的能力。由于自动编码器有很好的“泛化”能力,为了抑制对异常事件的准确预测,通过在编码器和解码器的跳跃连接之间添加记忆增强模块限制模型对异常帧的准确预测。同时,为了突出异常帧中的事件,在预测视频帧的同时通过背景提取模块获取当前图片的背景信息用于后续预测误差的计算。在UCSD Ped2数据集、CUHK Avenue数据集和ShanghaiTech数据集上的实验结果表明,改进后模型的异常检测能力得到了提升。     

基于改进型时间分段网络的视频异常检测

视频异常检测是计算机视觉领域的一个重要研究课题,广泛应用于道路监控、异常事件监测等方面。考虑到异常行为的外观、运动特征与正常行为存在明显差异,提出一种改进型时间分段网络,利用该网络学习视频中的外观和运动信息,从而对视频异常行为进行预测。为了提取更多的视频信息,将RGB图和RGB帧差图相融合作为输入,以提取RGB图中的外观信息并通过RGB帧差图获得更有效的运动特征。将卷积注意力机制模块加入到时间分段网络模型中,从空间和通道2个不同的维度学习注意力图,利用学习到的注意力权重区分异常和正常的视频片段,同时运用焦点损失函数降低大量简单负样本在训练过程中所占的权重,使得模型更专注于难分类的样本,从而解决视频异常检测中正负样本比例不平衡的问题。实验结果表明,改进型时间分段网络在UCF-Crime和CUHK Avenue数据集上的AUC值分别达到77.6%和83.3%,检测性能优于基准方法TSN（RGB流）以及ISTL、3D-ConvAE等方法。     

融合包注意力机制的监控视频异常行为检测EI北大核心CSCD

针对监控视频中行人非正常行走状态的异常现象,提出了一个端到端的异常行为检测网络,以视频包为输入,输出异常得分.时空编码器提取视频包时空特征后,利用基于隐向量的注意力机制对包级特征进行加权处理,最后用包级池化映射出视频包得分.本文整合了4个常用的异常行为检测数据集,在整合数据集上进行算法测试并与其他异常检测算法进行对比.多项客观指标结果显示,本文算法在异常事件检测方面有着显著的优势.     

基于自反馈最优子类挖掘的视频异常检测算法

视频异常检测算法是视频处理领域的研究热点之一,用于检测视频中是否包含异常事件.然而,由于没有异常样本参与训练过程,且异常样本与正常样本之间存在一定程度的相似性,因此很难设计出一种有辨识力的异常检测模型.为了解决上述问题,文中首先提出了一种基于相似度保持和样本恢复的特征选择方法,该方法能够保留正常样本的相似关系,进而可以学习到能够准确描述正常事件的特征.其次,将异常事件检测任务转化为分类任务,并提出了一种自反馈最优子类挖掘方法来获得最优分类器.如果一个测试样本被所有分类器判断为异常,则该样本最终将被判定为异常.在公共视频数据集(Avenue数据集、UCSD Ped2数据集)上进行的大量实验的结果表明,所提异常事件检测算法可以取得很好的结果.     

基于注意力与金字塔融合的医学图像分割仿真

针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络.网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘...     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

空域协同自编码器的高光谱异常检测

目的 自编码器作为一种无监督的特征提取算法,可以在无标签的条件下学习到样本的高阶、稠密特征。然而当训练集含噪声或异常时,会迫使自编码器学习这些异常样本的特征,导致性能下降。同时,自编码器应用于高光谱图像处理时,往往会忽略掉空域信息,进一步限制了自编码器的探测性能。针对上述问题,本文提出一种基于空域协同自编码器的高光谱异常检测算法。方法 利用块图模型优良的背景抑制能力从空域角度筛选用于自编码器训练的背景样本集。自编码器采用经预筛选的训练样本集进行网络参数更新,在提升对背景样本表达能力的同时避免异常样本对探测性能的影响。为进一步将空域信息融入探测结果,利用块图模型得到的异常响应构建权重,起到突出目标并抑制背景的作用。结果 实验在3组不同尺寸的高光谱数据集上与5种代表性的高光谱异常检测算法进行比较。本文方法在3组数据集上的AUC （area under the curve）值分别为0.990 4、0.988 8和0.997 0,均高于其他算法。同时,对比了不同的训练集选择策略,与随机选取和使用全部样本进行对比。结果表明,本文基于空域响应的样本筛选方法相较对比方法具有较明显的优势。结论 提出的基于空域协同自编码器的高光谱异常检测算法从空域角度筛选样本以提升自编码器区分异常与背景的能力,同时融合了光谱域和空域信息,进一步提升了异常检测性能。     

融合卷积与自注意力机制的基因型填补算法

基因型填补可以通过填补估算出在基因测序数据中未覆盖的样本区域弥补因技术限制导致的缺失，但现有的基于深度学习的填补方法不能有效捕捉到全序列位点间的连锁关系，造成整体填补准确率低、批量序列填补准确率分散等问题。针对这些问题提出一种融合卷积与自注意力机制的填补方法——FCSA，使用两种融合模块构成编解码器组建网络模型。编码器融合模块使用自注意力层得到全序列位点间的关联度，将该关联度融合到全局位点后再通过卷积层提取局部特征；解码器融合模块使用卷积对编码后的低维向量进行局部特征重建，应用自注意力层对全序列建模并融合。使用多物种的动物基因数据进行模型训练，并在Dog、Pig和Chicken数据集上进行比较验证，结果表明，与SCDA(Sparse Convolutional Denoising Autoencoders)、AGIC(Autoencoder Genome Imputation and Compression)和U-net相比，FCSA在10%、20%和30%缺失率下的平均填补准确率均取得了最高值，且批量序列填补准确率的分散程度较小；消融实验的结果也表明，这两种融合模块的设计能够有效提升...     

基于对比记忆网络的弱监督视频异常检测

异常检测使用有限的训练集获得区分度高的特征，但是当异常实例与正常实例存在较多相似特征时，模型会因为异常特征参与正常特征编码产生误差。针对上述问题，提出了一种新型的对比记忆网络的弱监督视频异常检测方法。该方法在自动编码器的基础上使用对比学习框架，分离出与实际异常相似的样本特征，并设计记忆网络抑制正常样本内偏向异常的特征表达，提高了重建样本的稳定性。该算法构建了一种两阶段的异常行为检测网络。在阶段一，利用对比学习方法来增加正常行为特征和异常行为特征的差异，并利用该阶段学习到的特征构造记忆网络的增强项与抑制项。在阶段二，将记忆网络增强项设为多时刻正常行为特征，并利用记忆网络的抑制项更新增强项中偏向异常的特征信息，从而区分编码中正常与异常特征。该方法在UCF Crime和ShanghaiTech数据集的平均AUC值达到83.26%和87.53%,相较于现有方法分别提升了1.14%和2.43%。结果显示，该方法能够有效预测异常事件的发生时间。     

基于多尺度特征融合的轻量级异常行为检测模型

针对数据量复杂的视频监控场景下现有的异常行为检测模型对小目标异常行为的准确率不高、计算量复杂的问题,本文提出一种基于多尺度特征融合的轻量级异常行为检测模型。首先将YoloV4主干网络替换为MobileNet网络,有效减少模型的参数总量与计算量;其次在MobileNet的逆残差结构中嵌入自注意力机制加强获取全局语义信息的能力;接着使用自适应空间特征融合结构ASFF(Adaptively Spatial Feature Fusion)优化PANet(Path Aggregation Network)网络结构,使模型获得不同尺度特征数据的权重融合,进一步有效利用浅层特征和深层特征,提高对小尺度目标异常行为的检测精度。实验结果证明,文章提出的模型检测在小目标上平均精度均值达到了85.35%,更适合于视频监控场景下的异常行为检测。     

混合注意力机制的异常行为识别

随着人工智能的快速发展,基于计算机视觉的人体异常行为识别受到极大的关注,并被广泛应用到智能安防等领域。针对人们在加油站等重要场所抽烟以及司机驾驶途中打电话等违规行为,提出一种混合注意力机制的异常行为识别方法。利用引入的卷积块注意力模块重点关注输入对象的显著性特征,并对输入信息进行精细化的分配和处理,在突出重要信息的同时弱化无关信息。为提升网络模型的特征挖掘能力及增强网络的信息交互性,利用提出的卷积特征提取模块进一步提取识别对象的高层语义特征,并将其与低层细节特征进行融合以达到多尺度特征交互的目的。此外,为了减少网络训练过程中错误标签造成的损失,采用标签平滑对交叉熵损失函数进行修正以此来驱动模型的学习过程。实验结果表明,所提出的模型优于当前的主流网络,可有效检测出异常行为。     

基于双流结构的异常行为检测模型

为更好利用输入视频的时域特征,提升异常行为检测精度,采用三维自编码器为主体的网络分支编解码视频的时空域信息,提出改进光流融合策略的时域分支提供额外时域信息.将双分支结果融合并计算重建误差,在此基础上进行异常行为的判断.针对目前像素评价指标的不足,提出一种改进的像素级别检测指标.结果表明,融合后的结果好于各分支单独的结果...     

结合注意力机制的多尺度特征融合图像去雾算法

针对传统图像去雾算法容易受到先验知识制约以及颜色失真等问题,提出了一种结合注意力机制的多尺度特征融合图像去雾算法.该算法首先通过下采样操作得到多个尺度的特征图,然后在不同尺度的特征图之间采用跳跃连接的方式将编码器部分的特征图与解码器部分的特征图连接起来以进行特征融合.同时,在网络中加入一个由通道注意力子模块和像素注意力...     

基于记忆对抗网络的监控视频异常检测北大核心CSCD

生成对抗网络是近年来解决视频异常检测的一类新方法。传统对抗网络对异常样本预测的泛化能力过强,进而导致预测性能不稳定。针对这一问题,提出一种基于记忆对抗网络的监控视频异常检测方法。首先,将记忆模块引入基于U-Net的预测网络与判别网络的对抗学习框架中,构建记忆对抗网络,以提升模型对正常视频帧的预测能力;其次,为记忆对抗网络设计了基于特征紧致度与分离度的新损失函数,提升了训练过程收敛的可靠性;此外,提出了基于记忆损失的异常性评估方案,以提升异常检测的准确性。通过对未来帧与预测帧的PSNR值和视频帧特征与记忆特征间距离的融合,进一步提升了模型的异常检测效果。消融实验验证了各改进部分的有效性;同其他算法相比,所提方法表现出良好的竞争力。