基于注意力-生成式对抗网络的异常行为检测

为了满足对大规模视频数据的异常行为检测的需求,基于视频帧重建和帧预测的方法被广泛研究.但由于监控视角下背景环境是几乎不变的,因此会浪费大量的资源在不变的背景上,同时也不利于检测目标信息的提取.为了解决这个问题,本文使用无监督学习的视频帧预测策略,利用生成对抗网络学习正常行为的特征以生成效果较好的预测帧,并且拟采用注意力驱动损失来缓解异常行为检测中前景目标与背景环境失衡的问题,同时使用空间-通道注意力机制(CBAM)来增强模型生成器的预测效果.经在公共数据集UCSD Ped1和UCSD Ped2的测试和验证,在Ped1数据集上的检测精度达到了83.5%,在Ped2数据集上的检测精度达到了95.8%.与经典的异常行为检测算法以及原始基于生成式对抗网络异常检测算法比较,本文所采用的方法进一步提高了异常行为检测的准确率.     

基于空谱背景重构的半监督高光谱异常检测

为了充分利用高光谱图像的空间和光谱信息，同时缓解训练样本不足的问题，提出一种融合空谱特征的半监督高光谱异常检测模型。首先使用无监督聚类自动构建空谱背景数据集用于网络的训练。然后构建基于自动编码器和生成对抗网络的空谱双路模型分别用于背景光谱特征的学习和波段信息的重建，空间支路同时使用滤波器增大背景和异常间的差异，两路分别得到光谱异常分数和波段异常值。最后融合空谱特征得到异常检测图。在真实高光谱图像上验证该方法的有效性，实验结果表明，该方法优于传统的异常检测方法，平均检测精度达到99.55%。     

基于图像处理的人员异常行为监测设计

通过对人员异常行为有效的监测算法设计,提高视频监控和异常事故的智能识别能力。传统的人员异常行为监测算法采用视频步进跟踪学习方法,由于人员的随机性和不确定性,导致视觉识别效果不好。基于图像处理理论,提出一种基于视频帧图像阵列像素检测的人员异常行为监测算法,进行了人员异常行为特征数据采集模型设计,得到基于双相机视频监控的人员异常行为视觉特征采集模型,采用视频帧图像阵列像素检测算法,进行异常行为特征提取,得到邻域灰度值向量之间像素点为平均结构相似性聚类中心,计算人员异常行为检测全图所有像素点的加权平均位置的估计值,实现人员异常行为监测算法改进。仿真结果表明,采用该算法进行人员异常行为特征监测,能实现对特定异常人员的准确定位和清晰识别,异常检测概率较高,性能优越,在安防监控系统设计等领域具有较好的应用价值。     

基于监督信息特性的主动半监督谱聚类算法

 半监督聚类是利用少部分监督信息辅助大量未标签数据进行非监督的学习,其聚类性能的改善依赖于监督信息,因此挖掘适合半监督聚类的监督信息非常关键.提出了一种基于监督信息特性的主动学习策略,即找出同一类中距离相对较远的数据对象对和不同类中距离相对较近的数据对象对组成监督信息,并将其引入谱聚类算法,构建新颖的主动半监督谱聚类算法ASSC（Active Semi-supervised Spectral Clustering）.利用该监督信息调整谱聚类中点与点之间的距离矩阵,使类内各点紧聚,类间散布.通过对UCI基准数据集以及人工数据集的实验结果表明,ASSC算法优于采用随机选取监督信息的谱聚类性能.     

时空深度特征AP聚类的稀疏表示视频异常检测算法

针对异常行为检测问题, 提出基于时空深度特征的AP聚类稀疏表示视频异常检测方法。由于视频序列中大量背景信息及有效信息分布不均匀的情况，首先利用光流结合非均匀的细胞分割对视频的运动目标进行提取并得到空间尺寸大小不同的时空兴趣块。其次利用三维卷积神经网络提取不同时空兴趣块的时空深度特征从而对原始视频序列进行三维描述。然后在字典学习时，采用AP聚类方法，将训练样本中具有代表性的特征作为字典，极大降低字典维度以及稀疏表示方法对计算内存的要求。本文将测试样本进行AP聚类后仅对具有代表性的聚类中心进行检测，在减少实验时间的同时削减了阈值对检测效果的敏感度。实验结果表明，与现有的检测方法相比本文方法具有优越性。      

采用流形近邻传播聚类的极化SAR图像分类

针对传统近邻传播（Affinity Propagation, AP）聚类算法使用欧式距离构建相似度矩阵,不能有效描述极化SAR数据复杂分布的问题,本文提出一种新的基于联合流形距离的AP聚类算法(CMD-AP) 用于极化SAR图像分类。首先将待分类极化SAR图像分割成若干超像素,在相应的极化特征基础上加入图像纹理特征,利用拉普拉斯特征映射算法对特征降维;然后结合相干矩阵Wishart流形和特征矢量欧式流形作为流形距离测度,构造相似性矩阵;最后利用上述相似性矩阵,采用AP聚类算法,对极化SAR图像进行分类。该算法充分考虑了极化SAR数据集潜在的流形结构,将联合的流形距离测度引入AP算法中。实验表明,本文算法提高了极化SAR图像的分类精度,具有更优的区域一致性和边缘保持效果。      

显著性光流直方图字典表示的群体异常事件检测

在视频监控系统已被广泛应用的今天,基于监控视频的群体异常事件检测已成为保障社会安全的迫切需要,越来越受到人们的重视。该文基于这一现状,提出了一个新的群体异常事件检测方案,实现对监控视频自动高效的检测。在特征提取方面,提出了显著性光流直方图特征描述符,并利用该特征描述符构建字典;在字典优化方面,提出了基于聚类的多字典组合学习框架,将原始的大字典分为多个子字典;最后,对于测试样本,找出最适合的子字典并计算测试样本在该子字典下的重建误差,即可判断测试样本是否异常。在两个数据集上的实验表明,与其它方法相比,该文提出的方法对拥挤场景下监控视频中的群体异常事件检测取得了较好的检测性能。      

VPC优化格拉斯曼流形的视频人脸识别北大核心

针对视频人脸识别中由于光照、表情、姿态等变化而严重影响识别性能的问题,提出了一种基于视频分块聚类优化格拉斯曼流形的视频人脸识别方法。首先通过去除孤立点、均匀采样、剪裁、姿势纠正等过程将视频数据集进行规范化;然后从训练视频的不同位置提取出可变长度的局部视频片段,使用基于谱聚类的高效算法将其表示为格拉斯曼流形上的点;最后,将所得到的聚类中心和测试视频中的点相匹配,并且利用基于表决的策略来完成测试视频的人脸识别。在视频人脸数据库Honda/UCSD、CMU Mobo及YouTube上的实验验证了该方法的有效性,实验结果表明,相比几种较为先进的视频人脸识别方法,该方法取得了更好的识别效果。     

VPC优化格拉斯曼流形的视频人脸识别

针对视频人脸识别中由于光照、表情、姿态等变化而严重影响识别性能的问题,提出了一种基于视频分块聚类优化格拉斯曼流形的视频人脸识别方法。首先通过去除孤立点、均匀采样、剪裁、姿势纠正等过程将视频数据集进行规范化;然后从训练视频的不同位置提取出可变长度的局部视频片段,使用基于谱聚类的高效算法将其表示为格拉斯曼流形上的点;最后,将所得到的聚类中心和测试视频中的点相匹配,并且利用基于表决的策略来完成测试视频的人脸识别。在视频人脸数据库Honda/UCSD、CMU Mobo及YouTube上的实验验证了该方法的有效性,实验结果表明,相比几种较为先进的视频人脸识别方法,该方法取得了更好的识别效果。     

基于3D卷积自编码器的视频异常行为检测

视频异常行为检测是目前计算机视觉领域的热点问题之一.然而,由于异常行为难以具体定义,使得基于监督学习的二类分类方法难以应用在该领域.本文提出了一种无监督的视频异常检测模型,称之为基于时空特征融合的3D自编码器模型(ST-3DCAE).模型采用PWCNet提取场景光流特征图,并与原视频帧融合作为基本单元,由多个基本单元组成连续基本单元作为模型的输入;利用3DConv和ConvLSTM模块进行时空特征的自主提取,3DSEblock模块进行重要特征的筛选;最终,通过输入数据和自编码器重建视频块之间的重建误差,来判断视频是否出现异常行为.通过在UCSD、Avenue等公开数据集上进行验证,实验结果的定性和定量分析证明了本方法具有较好的性能.     

面向异常检测的人体行为聚类

We presented a novel framework for automatic behavior clustering and unsupervised anomaly detection in a large video set. The framework consisted of the following key components: 1) Drawing from natural language processing, we introduced a compact and effective behavior representation method as a stochastic sequence of spatiotemporal events, where we analyzed the global structural information of behaviors using their local action statistics. 2) The natural grouping of behavior patterns was discovered through a novel clustering algorithm. 3) A run-time accumulative anomaly measure was introduced to detect abnormal behavior, whereas normal behavior patterns were recognized when sufficient visual evidence had become available based on an online Likelihood Ratio Test (LRT) method. This ensured robust and reliable anomaly detection and normal behavior recognition at the shortest possible time. Experimental results demonstrated the effectiveness and robustness of our approach using noisy and sparse data sets collected from a real surveillance scenario.     

结合特征选择和大尺度谱聚类的极化SAR图像非监督分类

非监督分类是极化SAR图像解译的重要手段,但其分类结果易受到高维特征的影响。针对此问题,本文提出一种结合特征选择和大尺度谱聚类的极化SAR图像非监督分类方法。该方法首先深入分析并提取了极化SAR图像分类中常用的特征参数,包括基于测量数据及其简单线性变换的特征和极化目标分解的特征。然后通过聚类森林特征选择算法进行特征降维处理,去除冗余信息。最后利用过分割产生代表点并构建原始数据与代表点间的二分图,通过大尺度谱聚类算法完成图像的非监督分类。实验结果表明,该方法能够选取有效的特征组合,并得到较为满意的分类效果。      

联合多尺度多特征的高分遥感图像场景分类

高分辨率遥感图像地物信息丰富,但场景构成复杂,目前基于手工设计的特征提取方法不能满足复杂场景分类的需求,而非监督特征学习方法尽管能够挖掘局部图像块的本征结构,但单一种类及尺度的特征难以有效表达实际应用中复杂遥感场景特性,导致分类性能受限.针对此问题,本文提出了一种基于多尺度多特征的遥感场景分类方法.该算法首先设计了一种改进的谱聚类非监督特征（iUFL-SC）以有效表征图像块的本征结构,然后通过密集采样提取每幅遥感场景的iUFL-SC、LBP、SIFT等三种多尺度局部图像块特征,并通过视觉词袋模型（BoVW）获得场景的中层特征表达,以实现更为准确详实的特征描述,最后基于直方图交叉核的支持向量机（HIKSVM）进行分类.在UC Merced数据集以及WHU-RS19数据集上的实验结果表明本文方法可对遥感场景进行鉴别特征提取,有效提高分类性能.     

基于历史分类加权和分级竞争采样的多视角主动学习

多视角主动学习是一种相比于传统主动学习能够取得更大程度版本空间缩减的技术,已被应用于多种类型的大数据分析中.本文针对现有的多视角主动学习算法在分类假设生成和采样策略中存在的不足分别提出了相应的改进方案.本文将Boosting思想应用到多视角主动学习框架中,通过将历史上各次查询得到的分类假设进行加权式投票来实现每次查询后分类假设的强化;与此同时,还提出了一种自适应的分级竞争采样策略,当分类争议样本规模较大时通过无监督谱聚类获得上述样本的空间分布描述,并在各个聚类中结合样本的分类不确定度和冗余度信息通过二次规划求解以获得可靠的批处理采样.为了证明上述改进的有效性,本文将多视角主动学习应用到图像分类领域中,并通过基于不同图像特征的视角来分别生成相应的分类假设.实验表明,本文提出的两点改进策略不仅均有助于提升多视角主动学习的性能,而且基于上述不同视角随机组合的多视角主动学习方法相比于经典的单视角主动学习算法能够更快地实现收敛并达到较高的场景分类准确性.     

Unsupervised discriminative hashing

Hashing is one of the popular solutions for approximate nearest neighbor search because of its low storage cost and fast retrieval speed, and many machine learning algorithms are adapted to learn effective hash function. As hash codes of the same cluster are similar to each other while the hash codes in different clusters are dissimilar, we propose an unsupervised discriminative hashing learning method (UDH) to improve discrimination among hash codes in different clusters. UDH shares a similar objective function with spectral hashing algorithm, and uses a modified graph Laplacian matrix to exploit local discriminant information. In addition, UDH is designed to enable efficient out-of-sample extension. Experiments on real world image datasets demonstrate the effectiveness of our novel approach for image retrieval.     

基于深度学习的远程视频监控异常图像检测

针对复杂场景下远程视频监控图像异常检测困难、传统算法功能单一(仅针对某种特定场景或某种异常图像进行检测)等问题,提出一种基于深度学习的全自动远程视频异常图像检测方法。首先采用Xavier方法对自行设计的卷积神经网络(Convolutional Neural Network,CNN)的参数进行初始化,然后将标准化后的视频差分图送入CNN的输入层,通过特征提取及下采样,最后在CNN的输出层获得远程视频异常图像检测结果。实验结果表明,该方法可以对远程视频监控中突然出现遮挡、模糊和场景切换等多种异常同时进行实时在线检测,准确率可达88.75%。     

样本限制场景下金属板带材表面缺陷分类研究

深度学习在金属板带材表面缺陷检测中取得良好的检测效果,但随着网络层数的增加 ,针对较小样 本的金属板带材表面缺陷数据集训练数据容易出现过拟合现象的问题,为此将残差网络与迁 移学习结合提出 了一种融合多层次缺陷特征的图像分类算法。该算法采用残差网络模块逐层提取金属表面缺 陷特征,获得丰 富的位置信息和语义信息缺陷特征的特征图,后续利用分类网络基于该融合特征图得到最终 分类结果,同时 对特征提取网络进行迁移学习,增加网络泛化能力,优化分类精度。利用钢带表面缺陷检测 数据集评估本文 算法性能,实验结果表明,提出的算法具有较好的分类效果,优于其他缺陷分类算法,分类 准确率可达到 99.07%,同时本文所提算法具有良好的抗噪性和泛化性,在金属板带材表面缺陷智能检测中 具有较好的应用价值。     

基于注意力机制的多尺度全场景监控目标检测方法

针对复杂城市监控场景中由于目标尺寸变化大、目标遮挡、天气影响等原因导致目标特征不明显的问题,该文提出一种基于注意力机制的多尺度全场景监控目标检测方法。该文设计了一种基于Yolov5s模型的多尺度检测网络结构,以提高网络对目标尺寸变化的适应性。同时,构建了基于注意力机制的特征提取模块,通过网络学习获得特征的通道级别权重,增强了目标特征,抑制了背景特征,提高了特征的网络提取能力。通过K-means聚类算法计算全场景监控数据集的初始锚框大小,加速模型收敛同时提升检测精度。在COCO数据集上,与基本网络相比,平均精度均值(mAP)提高了3.7%,mAP₅₀提升了4.7%,模型推理时间仅为3.8 ms。在整个场景监控数据集中,mAP₅₀达到89.6%,处理监控视频时为154 fps,满足监控现场的实时检测要求。