基于注意力机制和姿态识别的行人再识别

在解决行人再识别技术中的姿态变化、遮挡、背景等问题时,为了提高遮挡下的行人再识别性能,提出一种基于注意力机制和姿态识别的行人再识别方法。采用全局注意网络和姿态识别网络分别提取行人图像的全局特征、关节点位置热力图和对应的置信度,通过计算得到行人13个关节点和融合所有关节点的局部特征,对全局特征和14个局部特征分别进行行人分类训练,利用多任务学习多个损失共同监督网络的优化。测试时,将关键点特征和全局特征融合后,计算行人的距离排序。在Market1501和DukeMTMC-reID数据集上测试的Rank-1/mAP指标分别达到了85.1%/75.6%和64.3%/55.3%。结果表明,所设计方法具备抗姿态变化、遮挡和背景的能力,同时具有较高的识别能力和识别精度。     

基于多尺度特征融合注意力CNN的遥感图像语义分割方法

针对遥感图像目标尺度变化较大、分割不够准确的问题,提出了一种融合多尺度特征注意力卷积神经网络(CNN)的图像分割方法。该方法基于卷积块注意力模块提出了改进的有效注意力模块(ECBAM)。在通道注意力模块中加入空洞卷积以降低池化操作造成的特征损失,并在通道注意力模块后添加卷积层对通道注意力特征映射进行特征融合。然后,基于ECBAM设计了一种编码解码架构的卷积神经网络模型ECBAM-CNN,其中编码器主要由卷积层、ECBAM和空洞空间金字塔池化模块组成,解码器主要由卷积层和ECBAM组成,并且采用跳跃连接将编码阶段的多尺度信息融合到解码器。实验表明,提出的方法无需预训练和后处理,与SegNet等前沿方法相比取得了更好或相近的分割准确度,在DLRSD和WHDLD测试集上的mIoU分别为67.3%和62.0%。     

基于特征细化的多标签学习无监督行人重识别

针对无监督行人重识别中行人特征表达不充分以及训练过程产生噪声标签等问题,提出了一种基于特征细化的多标签学习无监督行人重识别方法。首先,为提高网络对关键区域信息的利用能力,设计多尺度通道注意力模块(Multi-scale channel attention module, MCAM),嵌入ResNet50网络的不同层来构建特征细化网络,并利用该网络对输入图像通道维度上的关键信息进行强化和关注,以获得更丰富的特征信息;其次,为降低训练过程中产生的噪声标签对网络的负面影响,设计多标签学习模块(Multi-label learning module, MLM),通过该模块进行正标签预测以生成可靠的伪标签;最后,利用多标签分类损失和对比损失进行无监督学习。在数据集Market-1501和DukeMTMC-reID上进行实验,结果表明该方法在这两个数据集上的平均精度均值分别达到82.8%和70.9%,首位命中率分别达到92.9%和83.9%。该方法使用注意力机制强化图像的特征信息,并通过正标签预测减少噪声标签,有效提升了无监督行人重识别的准确率,为无监督行人重识别领域提供了更鲁棒的方法。     

Local-STCANet:基于局部注意力网络的视频动作识别

通道、空间和时间信息是视频动作识别的3种互补且关键的信息类型。现有的2D CNN方法计算成本低,但对于时空信息的捕获相对不足;3D CNN方法可以实现良好的性能,但计算量较大。针对上述问题,提出一个可以嵌入到2D CNN中通用且有效的局部时空通道注意力(Local-STCA)模块来进行人体动作识别。Local-STCA模块由局部通道注意力(LCA)和局部时空注意力(LSTA)组成,LCA在时序上利用对通道之间的相关性进行显示的建模来校准通道特征,LSTA采用两个单通道3D卷积层和混合空洞卷积来提取多尺度时空特征。由主干网络(ResNet50+BiLSTM)和Local-STCA模块组成局部注意力网络(Local-STCANet),在数据集UCF-101上进行大量的实验。实验结果表明,Local-STCANet在主干网上略微增加计算量的同时比其他2D CNN方法以及注意力模型具有更高的精度。     

视频中遮挡行人再识别的局部特征度量方法

视频中行人有时会相互交错,导致行人被部分或全部遮挡。针对视频中遮挡行人再识别问题,提出了一种基于人体姿态估计算法提取局部特征的行人再识别方法。与以往使用的贴片、条纹等提取的局部特征包含大量噪声不同,该方法改用人体姿态估计算法提取更精确的行人刚体部分;通过计算刚体部分的颜色直方图及其颜色直方图综合相似性得分,选取视频帧中得分靠前的候选行人;采用马氏距离代替传统的欧氏距离分别对候选行人进行距离度量。实验结果表明,所提出的算法简单、快速,可以有效的用于视频中遮挡行人的再识别。     

基于多注意力融合的抗遮挡目标跟踪

针对基于孪生网络的目标跟踪算法在相似目标干扰和发生遮挡时容易丢失目标的问题,提出一种基于多注意力融合的抗遮挡目标跟踪算法(anti-occlusion target tracking based on multi-attention fusion, AOTMAF)。为更好地模拟遮挡图片,引入渐进式随机遮挡模块,由易到难地随机生成遮挡块对图像进行多区域遮挡,通过人工模拟被遮挡图像的方式扩充负样本数据集,提升模型在遮挡情况下对判别性特征的提取能力。从深度、高度与宽度三个维度挖掘特征图通道信息,并通过融合空间注意力,聚合特征图上每个位置的空间依赖性,增强特征表达能力,进一步提高跟踪的鲁棒性。实验结果表明,在OTB100、VOT2018、GOT-10K公开数据集上,本研究方法在复杂场景下能有效提升跟踪精度和鲁棒性。     

融合多分辨率表征的实时烟雾分割算法

针对烟雾分割领域缺乏应用于实际监控系统的实时烟雾分割算法的现况,提出高准确率的实时烟雾分割算法. 该算法利用轻量化的多分辨率卷积模块并行提取特征图,在获得丰富语义信息的同时满足实时分割的需求. 提出烟雾前景增强模块,使得烟雾像素点融合前景增强表征、避免背景信息干扰,分割准确率得以提高. 提出残差注意力模块,从通道、空间维度增强重要特征信息,抑制无效信息. 该算法在自建数据集上平均交并比为91.27%,每张图片预测时间为39.06 ms,网络权重为74.66 MB;在公开数据集上的对比结果表明,该算法综合检测性能优于其他烟雾检测算法. 该算法分割准确率高、检测速度快且模型轻量化,可以应用于实际视频监控系统.     

基于卷积神经网络和Transformer的视频行人再识别

为了解决视频行人再识别领域仅使用卷积神经网络进行行人特征提取效果不佳的问题,提出一种基于卷积神经网络和Transformer的ResTNet(ResNet and Transformer network)网络模型。ResTNet利用ResNet50网络得到局部特征,令中间层输出作为Transformer的先验知识输入。在Transformer分支中不断缩小特征图尺寸,扩大感受野,充分挖掘局部特征之间的关系,生成行人的全局特征,同时利用移位窗口方法减少模型计算量。在大规模MARS数据集上,Rank-1和mAP分别达到86.8%和80.3%,比基准分别增加了3.8%和3.3%,在2个小规模数据集上也取得了良好效果。在几大数据集上的大量实验表明,本文方法能增强行人识别的鲁棒性,有效提高行人再识别的准确率。     

基于孪生网络的快速视频目标分割

针对现有半监督视频目标分割方法不能同时满足分割精度和分割效率的问题,在传统半监督视频目标分割方法上引入注意力机制对分割结果进行修正. 首先,构建一个外观特征提取子网用于提取视频第1帧的特征图,并将其作为外观指导信息;然后,得到视频前一帧的分割结果,作为位置引导信息;最后,构建一个当前帧特征提取子网,以双分支的结构结合位置修正注意力与外观修正注意力,将位置信息和外观信息与当前帧特征图进行融合,实现目标分割. 实验结果表明,该目标分割方法可以纠正视频目标分割中的传播误差,并能有效提升分割精度.

     

基于卷积神经网络和密度分布特征的人数统计方法

在行人监控视频中,由于行人遮挡、场景光照变化,人群分布不均等因素的影响使得现有方法难以准确统计视频中人数。针对该问题,提出一种基于卷积神经网络和密度分布特征的人数统计方法。该方法首先将场景中的人群依据密度进行划分;对稀疏人群,使用Retinex算法将场景去噪后转换至HSV空间中对行人位置进行预判,并使用栅极损失函数分块训练卷积神经网络提取行人特征,实现对遮挡行人局部位置的识别;对密集人群,提取人群密度分布特征并使用多核回归函数估计人群数量。该算法在PETS2009、UCSD等数据集上进行了测试,实验结果表明所提算法具有更好的统计精度。     

基于分组卷积的无监督注意机制行人重识别方法研究

针对传统的行人重识别算法需要依赖大量带标签的行人图像数据,以及系统难以部署等问题,提出使用ResNet50作为模型的骨干网络.通过增加CBAM注意力机制,分组卷积,层次聚类和实例学习等方法实现无监督行人重识别.同时,使用欧式距离来进行相似性度量,对最终识别结果加以验证.实验结果表明：所提出的基于分组卷积的无监督注意机制行人重识别方法能够提高网络模型在未知数据域的泛化能力,减少了模型的训练参数.     

MSAG-TransNet:肺部CT图像中新型冠状病毒感染区域的分割模型

针对现有新型冠状病毒感染区域的分割方法存在形态特征提取不充分、感染区域检测不完整以及背景混淆等问题,提出了一种肺部CT图像中新型冠状病毒感染区域的分割新模型：MSAG-TransNet模型。该模型在U型网络的基础上增加了多尺度特征抽取模块、Transformer语义增强模块和多重注意力门模块等3个新模块。首先设计了多尺度特征抽取模块来增强骨干网络的特征提取能力,通过多分支结构的深度可分离卷积,充分提取感染区域的形态特征;其次,设计了Transformer语义增强模块来捕获图像全局位置信息,整合局部形态特征;最后,设计了多重注意力门模块,将提取的特征与对应上采样过程的门信号拆分成不同分区,然后利用注意力门抑制各分区的无效特征,得到最终分割结果。该模型在两个公开的新型冠状病毒感染CT数据集上进行实验,实验结果显示：分割图像的Dice系数分别为82.03%和76.67%,精确率为77.27%和72.34%,交并比为69.53%和62.16%;与其他主流模型相比,该模型能够提取更丰富的形态特征,检测到更完整的感染区域,并且得到更精准的分割结果。该模型可以更精确的定位和量化新型冠状病毒感染区域,...     

基于RAPNet的脑肿瘤MRI图像三维分割

传统深度卷积神经网络方法在全自动脑肿瘤磁共振成像(MRI)图像分割中存在多尺度病变处理能力较弱的问题。对此，使用改进的三维递归残差卷积单元构建特征学习的主干网络，提高了特征学习的空间相关性并缓解因网络模型过于复杂造成的网络退化和梯度弥散。同时，采用具有不同膨胀率的三维空洞卷积和跨模型注意力机制构建分层特征金字塔，结合上下文特征，提高了整体模型对不同大小肿瘤的识别能力。结合多层特征图对肿瘤图像进行辅助预测，获得了最终图像的分割结果。在BraTS 2019数据集上进行实验的结果表明，用残差-空洞金字塔网络(RAPNet)的方法在分割浮肿区域、坏疽区域、增强肿瘤区域的平均Dice相似性系数分别为0.897,0.852和0.823。与现有高效脑肿瘤图像分割方法相比，新方法在学习病变的多尺度特征方面具有更好的效果。     

基于图神经网络的零件机加工特征识别方法

针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%.     

面向注意力增强和特征选择的多目标跟踪算法

一阶段的多目标跟踪算法具有速度快的优势,但存在目标检测质量低、身份标识号(ID)切换次数过于频繁的问题。为此,提出一种基于注意力增强和特征选择的多目标跟踪算法。通过增加平行重识别(Re-ID)分支完成特征提取任务;通过设计空间注意力和通道注意力机制的方式降低特征图的噪声,提升特征图的质量;通过加入特征选择模块,提取检测特征图和Re-ID特征图。经测试集验证,该方法在提升精确度、降低ID切换次数方面均取得了进展,提出的注意力增强和特征选择的方法可以明显提升目标跟踪效果。     

融合多分支与多粒度特征的东北虎重识别

为解决东北虎重识别研究中存在的细节特征提取不充分等问题,提出了一种融合多分支与多粒度特征的东北虎重识别模型CMM-Net。其中,全局分支负责提取宏观上的粗粒度特征;注意力分支通过插入坐标注意力模块加深了网络对重要特征的关注度;局部分支通过将特征图切分成不同条带块,从而提取东北虎更细粒度的局部特征。通过多个分支结构和多个细粒度特征结合来对模型进行优化学习,加强全局特征与局部特征的关联性。同时提出用Circle Loss与Softmax的联合损失来提高网络精度。实验结果表明,在ATRW数据集上所提模型在单摄像头环境下mAP为93.6%,跨摄像头环境下mAP为77.4%,均优于多数文献所提方法,证明了本文模型的有效性。     

一种改进DeeplabV3网络的烟雾分割算法

由于现有的烟雾检测方法大多依靠手工选取特征,往往不能准确地分割出视频图像中的烟雾区域。基于此,提出了改进的DeeplabV3烟雾分割算法。改进的算法在基础编码器网络后添加了特征细化模块来削弱空洞卷积带来的网格效应;针对烟雾这类尺度和姿态多变的非刚性目标,在带有空洞卷积的空间金字塔模块中引入可变形卷积来更好地学习烟雾的形变;为了进一步恢复烟雾的空间细节,提出了通道注意力解码器模块。在烟雾图片数据集的测试下,改进后的模型平均每张图片的预测时间约达到71.73ms,平均像素精确度约达到97.78%,平均交并比约达到91.21%,精度与DeeplabV3模型相比分别提高了0.56%及2.17%,更加适用于烟雾分割。公开的烟雾视频测试结果表明,该模型的检测率高于现有的视频烟雾检测算法,具有一定的实用价值。     

基于空洞卷积金字塔的目标检测算法

作为目标检测领域最突出的问题,遮挡和多尺度严重影响了算法的召回率和准确率。针对以上问题,该文从感受野入手,提出了一种基于空洞卷积金字塔网络(ACFPN)的目标检测算法。首先,将不同尺寸的空洞卷积层引入特征金字塔网络(FPN)中,构建混合感受野模块(HRFM),旨在控制参数量的条件下,通过增大感受野获取更多全局特征信息,解决目标的遮挡问题;其次,改进FPN的结构,设计低层嵌入特征金字塔模块(LEFPM),将浅层特征细节信息和高层特征语义信息相融合,提高特征图的丰富度和表征能力,增强模型的尺度适应性;特别地,针对漏检问题,引入FCOS算法中的无锚框(AF)机制,减少了候选框的冗余,进一步提高了定位精度。最后在公开数据集上进行测试,该算法在检测精度上大幅提升。     

基于深度视频的人体行为特征表示与识别

深度视频中的人体行为的识别研究主要集中在对深度视频进行特征表示上,为了获得具有判别性的特征表示,首先提出了深度视频中一种基于表面法向信息的局部二值模式( local binary pattern, LBP)算子作为初级特征,然后基于稀疏表示模型训练初级特征字典,获取初级特征的稀疏表示,最后对用自适应的时空金字塔划分的若干个子序列使用时空池化方法进行初级特征与稀疏系数的规格化,得到深度视频的高级特征,最终的特征表示实现了深度视频中的准确的人体行为识别。在公开的动作识别库MSR Action3D和手势识别库MSR Gesture3D上的实验证明了本文提出的特征表示的有效性和优越性。     

基于两阶段区域生长法的肝内血管分割算法分析

为了在缺乏大量肝血管标注信息的情况下增强肝血管结构分割, 提出了局部-长距离-相邻信息融合模块, 并将其嵌入U-Net的编码阶段, 得到一种基于结构感知的肝血管分割网络。该模块有3个分支: 提取特征图局部信息的残差卷积模块, 利用自注意力机制提取特征图的全局信息的长距离提取模块, 以及利用相邻切片补充上下文信息的相邻信息提取模块。通过将以上3个分支模块的输出特征图进行融合, 可以有效提升网络的血管结构感知能力, 缓解2D网络无法表征血管立体走向与3D网络训练数据不足的问题。分别在MICCAI十项全能数据集中的肝血管与肿瘤数据集和三甲医院收集标注的自采肝血管数据集上进行了广泛的对比实验。结果表明, 与多种主流的分割算法相比, 该算法取得了最优的血管分割性能。所提出的方法在MICCAI数据集上Dice值达到64.04%, 在自采肝血管数据集上Dice值达到了72.07%。