基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准...     

基于多尺度混合注意力与度量融合的小样本行人重识别

针对行人重识别中可用行人图像不足导致的小样本问题,以双相似网络为基础,提出一种基于多尺度混合注意力与度量融合的小样本行人重识别方法.首先,将多尺度混合注意力机制引入特征嵌入模块,即在不同尺度层内的特征提取中引入空间注意力,在不同尺度层间的特征融合中引入通道注意力,实现更具判别力的小样本行人特征提取;然后,在度量模块,提出欧氏距离与余弦距离融合的双重度量方法,实现行人特征的空间绝对距离和方向差异的综合度量,提升行人相似性度量的可靠性;接着,采用双重度量方式和关系度量方式,分别获得行人特征的相似度得分;最后,通过加权融合获得联合度量得分,构建联合损失实现网络的整体优化和训练.在Market-mini、Duke-mini和MSMT17-mini三个小型数据集上的实验表明,所提出方法在5-way 1-shot和5-way 5-shot两种模式下的平均识别准确率分别达到90.40%和95.69%、86.77%和94.96%、71.08%和82.63%,与其他小样本学习算法相比,识别性能有较大提升.     

基于改进度量学习的煤矿井下行人重识别方法研究

传统基于度量学习的煤矿井下行人重识别方法中,由于度量学习忽略正负样本绝对距离,造成损失函数梯度消失或梯度弥散,导致井下人员位置信息识别精度不高。针对该问题,提出了一种基于改进度量学习的煤矿井下行人重识别方法。首先,采用基于手工设计特征的井下人员特征提取方法,对颜色空间、纹理空间等特征进行手动加工提炼,丰富特征维度。然后,采用欧氏距离对人员高维特征进行相似性计算。最后,提出一种改进的三重损失函数,通过在传统三重损失函数中加入自适应权重,增加有效样本的权重,解决了由于忽略正负样本绝对距离导致的梯度消失或梯度弥散问题。将传统识别方法与基于改进度量学习的煤矿井下行人重识别方法进行了累积匹配特征曲线验证、识别速率验证,结果表明：(1)基于改进度量学习的煤矿井下行人重识别方法在相似样本个数为50左右时,样本匹配概率达100%。(2)在2种不同标定大小图像的推理耗时上,基于改进度量学习的煤矿井下行人重识别方法较传统重识别方法分别减少了44,68 ms。(3)基于改进度量学习的煤矿井下行人重识别方法在舍弃行人头脚部分图像后表现更好,在相似样本个数为42左右时,样本匹配概率达100%。     

面向行人重识别的通道与空间双重注意力网络

针对现实场景下因受到摄像机视角变化、行人姿态变化、物体遮挡、图像低分辨率、行人图片未对齐等因素影响导致行人判别性特征难以获取的问题,设计混合池通道注意模块（HPCAM）和全像素空间注意力模块（FPSAM）,并基于这两种注意力模块提出一种通道与空间双重注意力网络（CSDA-Net）。HPCAM模块能够在通道维度上抑制无用信息的干扰,增强显著性特征的表达,以提取得到判别性强的行人特征。FPSAM模块在空间维度上增强行人特征的判别能力,从而提高行人重识别的准确率。通过在传统行人重识别深度模型框架中分阶段融入HPCAM模块和FPSAM模块,获得由粗糙到细粒度的注意力特征。实验结果表明,CSDA-Net网络在行人重识别主流数据集CUHK03、DukeMTMC-ReID和Market1501上的Rank-1准确率分别为78.3%、91.3%和96.0%,平均精度均值（mAP）分别为80.0%、82.1%和90.4%,与MGN网络相比,Rank-1准确率分别提升14.9、2.6和0.3个百分点,mAP分别提升13.7、3.7和3.5个百分点,能够提取更具鲁棒性和判别性的表达特征。     

基于DA-GCN的煤矿人员行为识别方法

针对煤矿生产区域的监控视频较为模糊且人员行为类型复杂,常规行为识别方法的准确率较低的问题,提出了一种基于动态注意力与多层感知图卷积网络(DA-GCN)的煤矿人员行为识别方法。采用Openpose算法提取输入视频的人体关键点,得到3个维度、18个坐标的人体关键点信息,降低模糊背景信息的干扰;通过动态多层感知图卷积网络(D-GCN)提取人体关键点的空间特征,通过时间卷积网络(TCN)提取人体关键点的时间特征,提高网络对不同动作的泛化能力;使用动态注意力机制,增强网络对于动作关键帧、关键骨架的注意力程度,进一步缓解视频质量不佳带来的影响;使用Softmax分类器进行动作分类。通过场景分析,将井下行为分为站立、行走、坐、跨越和操作设备5种类型,构建适用于煤矿场景的Cumt-Action数据集。实验结果表明,DA-GCN在Cumt-Action数据集的最高准确率达到99.3%,最高召回率达到98.6%;与其他算法相比,DA-GCN在Cumt-Action数据集和公共数据集NTU-RGBD上均具有较高的识别准确率,证明了DA-GCN优秀的行为识别能力。     

基于KCCA的煤矿人员特征融合识别

煤矿井下险情时有发生,为险情下方便救援,需要监控各区域人员签到,准确掌握人员身份及分布情况。在煤矿井下由于光线不足、黑尘干扰等原因,影响人员的识别和管理。传统的识别由于单独依赖人脸识别来辨别井下人员数量和身份,易受到矿井下恶劣的环境影响而导致出现无法识别和识别效率低等问题,所以可靠程度较低。为解决上述问题,提出了一种基于KCCA算法的人脸特征和虹膜特征融合的煤矿井下人员签到识别方法。首先提取出人脸特征和虹膜特征,然后采用KCCA算法对采集到的人脸特征和虹膜特征进行融合,去除图片中无效的信息,降低算法复杂度,最后利用TAN分类完成人员认证,准确识别人员身份。实验表明,该算法降低了计算复杂度,提高了身份识别的准确度,增强了工作人员的安全监控。     

融合随机擦除和通道注意力的行人重识别方法

通过不同角度和方位的视频传感器对进入重点区域的人员视频数据进行分析管控,精准、快速定位视频中的目标人员对于保障社会安全具有重大意义.为解决传统方法受复杂环境干扰严重,识别准度低的问题,本文提出一种基于随机擦除和残差注意力网络的行人重识别方法.首先使用随机擦除的方法对原始数据进行数据增强,其次基于原始ResNet网络,提出一种融合注意力机制的残差网络模型,能够提取通道维度的视频序列特征,并且抑制冗余背景干扰,提高模型对重要特征的关注程度和提取能力,最后使用级联的难采样三元组损失函数和交叉熵损失函数对网络模型进行训练,使样本能够在高维特征空间中实现聚类,从而有效提供识别精度.实验结果表明,该算法在CUHK03数据集上的精准度优于其它被比较的方法,证明了该方法能够应用于不同条件下的行人重识别任务.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

基于残差增强注意力的跨模态行人重识别

跨模态行人重识别主要面临 2 个问题：①成像机制不同所导致的红外图像和可见光图像之间的 模态差异;②图像特征的身份判别性不足导致的类内差异。针对上述 2 个问题,基于残差增强注意力的跨模态 行人重识别方法被提出用来提高行人特征的模态不变性和身份判别性。首先,设计网络浅层参数独立、网络深 层参数共享的双路卷积神经网络作为骨干网络。然后,分析现有注意力机制存在的全局弱化,设计了残差增强 注意力方法解决该问题,提升注意力机制的性能,将其分别应用在网络浅层的通道维度和深层的空间位置上, 提升模型对于模态差异的消除能力和行人特征的身份鉴别能力。在 SYSU-MM01 和 RegDB 2 个数据集上进行 的实验证明了该方法的先进性,大量的对比实验也充分证明本文方法的有效性。     

基于融合双通道视频的暴恐人员检测仿真

为了保证图像信息识别的准确性,多采用多通道、不同设备的信息采集方式完成图像信息的采集,不同通道下采集的视频像素灰度值、拍摄角度不同,会形成相互干扰,受到环境混合光照波动、不同视觉环境下颜色混合等干扰因素,使得不同通道下的图像关键信息受到干扰。传统的行为识别模型都是在统一单通道采集环境下完成识别的,多通道环境下的识别效果受以上因素干扰,效果不好。提出一种优化的融合双通道图像环境下的暴恐人员检测方法,通过可见光摄像头以及红外热像仪分别采集同一场景的人员运动视频数据,采用改进的差分背景模型,在两个通道中分别检测人员运动区域,依据图像配准对2个通道的结果进行融合,通过滤波方法过滤融合后图像中的噪声,采用标定近似长方形响应的方式,完成暴恐人员区域划分,实现暴恐人员的准确检测。实验结果说明,所提方法对于不同环境中暴恐人员的检测准确率较高,具有较高的可靠性。     

基于非局部注意力和局部特征的车辆重识别算法

车辆重识别是指从不同的摄像机来重新识别出同一辆车。车辆重识别非常容易受到车辆角度以及光照等其他因素的影响,是一项非常有挑战性的任务。许多车辆重识别方法都过分关注车辆全局特征,而忽略了车辆图像的局部有分辨力的特征,造成了车辆重识别精度不高的问题。针对这一问题,本文提出一种整合非局部注意力的和多尺度特征的车辆重识别方法,使用注意力机制获取车辆显著特征,并融合多尺度特征从而提高车辆重识别的检索精度。首先,使用骨干特征提取网络与注意力模块获取车辆的显著性细粒度特征。然后,将特征分为多个分支进行度量学习,分别学习车辆的局部与全局特征,将全局特征与细粒度的局部特征融合,构建车辆重识别的特征。最后,利用该方法提取不同车辆的特征,计算不同车辆的相似度,从而判断是否具有相同的身份。实验结果表明本文提出的车辆重识别算法具有更高的精度。     

去身份识别在安防监控中的应用仿真

去身份识别技术是在视频及图像数据中去除可以确定前景身份的相关信息以达到隐私保护的目的,但是要保留足够的信息去判断人物身份的行为.传统的模式识别算法需要固定的、具有统一形式的特征,但是去识别要求最大程度去除前景特征,而存留特征无统一形式,造成识别效果不理想.为了避免上述缺陷,提出了一种类模糊模式的去身份识别方法.利用主成分分析法,对采集的安防监控图像进行特征提取.利用学习集训练方法,获取初步选取的人脸中心,根据人脸特征计算人脸中心与所在类均值的误差,利用迭代处理,使误差达到极小值,从而确定人脸中心,识别对象的身份.实验结果表明,改进算法能够提高安防监控过程中去身份识别的准确性.     

基于COMS-CPLD的人员行为监控系统设计

针对传统的人员监控系统存在监控距离段短、信号衰减严重导致的人员行为特征识别准确率较低的弊端,设计并实现了一种新的人员行为监控系统;重点阐述了中心控制模块、图像采集模块、GPRS模块和射频模块的硬件设计方法,利用ATM32F103C8T6作为中心控制器处理数据,利用COMS图像传感器进行人员行为图像采集,利用可编程逻辑控制器CPLD对图像传感器进行同步控制,利用GPRS技术进行信息传输、利用射频标签进行监控信息的写入与读取;软件部分给出了整体的设计方案,重点阐述了射频标签的生成和读取部分;实物测试结果表明,该系统能够有效提高人员行为监控时的准确率,取得了令人满意的效果.     

加权DTW距离的自动步态识别

为了满足智能监控系统自动、准确、实时识别行人的要求,提出了一种表示方法简单、计算复杂度低的步态识别算法。首先建立环境的高斯背景模型,从步态视频序列中提取轮廓图像,计算质心以及轮廓线上的点到质心的欧氏距离。再将轮廓线以最高点为起点顺时针展开,将2维轮廓线特征转换为1维距离特征并标准化,建立标准步态模型。然后计算训练序列与标准步态模型之间的动态时间规整距离,确定阈值。最后,输入测试序列,计算动态时间规整距离并与阈值比较,识别人体的步态。与常用步态识别方法相比,该方法兼顾了计算复杂度和识别率,符合智能监控系统的性能要求。     

跨模态行人再识别的协同学习方法

跨模态行人再识别是实现全天候智能视频监控系统的一项关键技术。该技术旨在匹配某一特定身份行人在不重叠摄像头场景下的可见光图像和红外图像,因而面临着巨大的类内变化和模态差异。现有方法难以较好地解决这两大困难,很大程度上是由于欠缺了对特征判别能力的有效挖掘和对多源异质信息的充分利用。鉴于以上不足,使用协同学习方法设计了一个精细化多源特征协同网络,提取多种互补性特征进行信息融合,以提升网络的学习能力。从骨干卷积网络中提取多尺度和多层次特征,实现精细化特征协同学习,以增强特征的判别能力来应对类内变化。设计了模态共有与特有特征协同模块和跨模态人体语义自监督模块,达到多源特征协同学习的目的,以提高多源异质图像信息的利用率,进而解决模态差异。在SYSU-MM01和RegDB数据集上验证了该方法的有效性和先进性。     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的...     

基于双重注意力和3DResNet-BiLSTM行为识别方法

针对利用视频数据进行行为识别容易受到多种动态杂乱背景信息的影响,存在时空特征提取较为困难的问题,提出一种基于双重注意力和3DResNet-BiLSTM混合模型的行为识别方法。利用通道加权融合的方式构建卷积注意力模块并嵌入3DResNet,用于提取原始视频数据中的时空特征,同时对重要特征进行加权和重定义,结合BiLSTM和时间注意力进一步深入提取时序特征,得到自适应特征实现行为识别。利用UCF101和HMDB51公开数据集进行实验,验证了该模型的有效性。     

基于城市信息单元和差异注意力的多层行人重识别技术

在现实的智慧城市安全场景中,传统的行人重识别方法已经难以满足复杂多样的识别任务要求。为实现多层次的行人重识别,该文提出将行人重识别技术与多层次的城市信息单元深度融合。在行人重识别任务中,现有的模型和注意力只关注鲁棒特征的学习,而该文基于特征向量差异,提出了差异注意力模块,以增强深度特征的判别力。结合差异注意力模块,该文开发了与多种骨干模型适配的差异注意力框架。此外,该文还提出了联合训练和单独训练两种训练策略。与其他行人重识别方法相比,差异注意力框架和训练策略在 Market-1501、CUHK03 和 MSMT17 数据集上均取得了更优的性能。     

局部特征引导标签平滑与优化的井下弱特征人员重识别

煤矿井下低照度、强光扰、高粉尘等环境条件,以及井下人员服装的相似性和脸部落煤现象,导致井下弱特征人员重识别困难。现有人员重识别方法仅提取全局特征,未充分考虑局部特征,使得井下人员重识别准确率较低。针对上述问题,提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。该方法首先通过卷积神经网络提取井下人员图像的全局特征与局部特征;然后利用k最近邻相似性计算全局特征和局部特征的互补性得分,来衡量全局特征和局部特征的相似程度;最后根据特征互补性得分对局部特征进行标签平滑及对全局特征进行标签优化,即动态调整每个局部特征的权重,以改进每个局部特征的标签,并对局部特征的预测结果进行汇总,利用更可靠的信息来完善标签以作为全局特征的标签,从而减少图像噪声并增强特征识别能力。实验结果表明,该方法在公开数据集和包含井下人员图像的自建数据集上的平均精度均值（mAP）、第一匹配正确率（Rank-1）和平均逆置负样本惩罚率（mINP）总体优于主流人员重识别方法,具有良好的泛化性和鲁棒性,能有效实现井下弱特征人员重识别。     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。