融合残差Inception与双向ConvGRU的皮肤病变智能分割

由于皮肤病病灶的形状、颜色以及纹理差异极大,且边界不明确,使得传统深度学习方法很难对其进行准确分割。因此本文提出了一种融合残差Inception与双向卷积门控循环单元 （Convolutional gated recurrent unit, ConvGRU）的皮肤病变智能分割模型。首先设计了一种云边协同的皮肤病变智能分割服务网络模型,通过该网络模型,用户可以获得快速、准确的分割服务;其次,构建了一种新的皮肤病变智能分割模型,通过融合残差Inception与双向ConvGRU,该模型能融合不同尺度特征,提高模型特征提取能力,并能充分利用底层特征与语义特征之间的关系,捕获更丰富的全局上下文信息,取得更好的分割性能;最后,在ISIC 2018数据集上的实验结果表明,所提出的智能分割模型与近期提出的几种U-Net扩展模型相比,取得了更高的准确率与Jaccard系数。     

基于ConvGRU和注意力特征融合的人体动作识别

在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU, ConvGRU)和注意力特征融合(attentional feature fusion,AFF) 的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation,STE) 模块和通道激励(channel excitation,CE) 模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。     

一种监控摄像机干扰检测模型

为减少监控干扰检测中因特殊场景引起的误检测,文中提出一种基于Siamese 架构的SCG(Siamese with Convolutional Gated Recurrent Unit)模型,利用视频片段间的潜在相似性来区分特殊场景与干扰事件.通过在Siamese架构中融合改进ConvGRU 网络,使模型充分利用监控视...     

注意力卷积GRU自编码器及其在工业过程监控的应用

针对现有故障检测算法难以深入并准确地提取数据内在信息的问题,提出注意力卷积门控循环单元自编码器（CGRUA-AE）深度神经网络和基于CGRUA-AE的过程故障检测方法. 采用卷积门控循环单元（ConvGRU）有效地提取输入数据的空间和时间特征;建立基于ConvGRU的自编码器,采用无监督学习对时间序列数据进行特征提取,引入注意力机制对相应的特征进行加权计算,实现对关键特征的有效选择;分别在特征空间与残差空间上建立基于T ²、SPE统计量的过程监控模型,实现对多元数据有效的特征提取和故障检测. 数值案例和田纳西?伊士曼过程故障检测结果表明,CGRUA-AE具有良好的特征提取能力和故障检测能力,性能优于常用的过程故障检测方法.     

时空特征对齐的多目标跟踪算法

多目标跟踪 (Multi-object tracking, MOT)是计算机视觉领域的一项重要任务,现有研究大多针对目标检测和数据关联进行改进,通常忽视了不同帧之间的相关性,未能充分利用视频时序信息,导致算法在运动模糊,遮挡和小目标场景中的性能显著下降。为解决上述问题,本文提出了一种时空特征对齐的多目标跟踪方法。首先,引入卷积门控递归单元(convolutional gated recurrent unit, ConvGRU),对视频中目标的时空信息进行编码;该结构通过考虑整个历史帧序列,有效提取时序信息,以增强特征表示。然后,设计特征对齐模块,保证历史帧信息和当前帧信息的时间一致性,以降低误检率。最后,本文在MOT17和MOT20数据集上进行了测试,所提算法的MOTA (multiple object tracking accurary)值分别为74.2和67.4,相比基准方法FairMOT提升了0.5和5.6;IDF1 (identification F1 score)值分别为73.9和70.6,相比基准方法FairMOT提升了1.6和3.3。此外,定性和定量实验结果表明,本文方法的综合跟踪性能优于目前大多数先进方法。

     

深度视频修复篡改的被动取证研究

深度视频修复技术就是利用深度学习技术, 对视频中的缺失区域进行补全或移除特定目标对象。它也可用于合成篡改视频, 其篡改后的视频很难通过肉眼辨别真假, 尤其是一些恶意修复的视频在社交媒体上传播时, 容易造成负面的社会舆论。 目前,针对深度视频修复篡改的被动检测技术起步较晚, 尽管它已经得到一些关注, 但在研究的深度和广度上还远远不够。 因此, 本文提出一种基于级联 ConvGRU 和八方向局部注意力的被动取证技术, 从时空域角度实现对深度修复篡改区域的定位检测。首先,为了提取修复区域的更多特征, RGB 帧和错误级分析帧 ELA 平行输入编码器中, 通过通道特征级融合, 生成不同尺度的多模态特征。其次, 在解码器部分, 使用编码器生成的多尺度特征与串联的 ConvGRU 进行通道级融合来捕捉视频帧间的时域不连续性。最后, 在编码器的最后一级 RGB 特征后, 引入八方向局部注意力模块, 该模块通过八个方向来关注像素的邻域信息, 捕捉修复区域像素间的异常。实验中, 本文使用了 VI、 OP、 DSTT 和 FGVC 四种最新的深度视频修复方法与已有的深度视频修复篡改检测方法 HPF 和 VIDNet 进行了对比, 性能优于 HPF 且在编码器参数仅 VIDNet 的五分之一的情况下获得与 VIDNet 可比的性能。结果表明, 本文所提方法利用多尺度双模态特征和引入的八方向局部注意力模块来关注像素间的相关性, 使用 ConvGRU捕捉时域异常, 实现像素级的篡改区域定位, 获得精准的定位效果。