矿山人员行为视觉语义方法研究

煤矿井下人员行为检测是感知矿山建设关注的重点,而现有的基于电磁波、基于可穿戴设备、基于计算机视觉等人员行为检测方法无法综合时间、地点、行为、环境等多方面因素评判矿山人员行为是否安全。提出了一种矿山人员行为视觉语义方法,通过特征提取、语义检测、特征重构、解码等生成描述视频中人员行为的语句。分别采用InceptionV4网络、I3D网络提取视频图像静态、动态特征,在InceptionV4网络中引入基于空间位置注意力模型和通道注意力模型的并行双重注意力机制,提高了网络的特征提取能力。针对视频内容与视觉语义易出现不一致的问题,引入语义检测网络对视频特征添加高级语义标签生成嵌入特征,将其与视频特征、语义特征共同输入解码器,并在解码过程中引入特征重构模块,通过获取解码器隐藏层状态重建视频特征,增强了视频特征与描述语句之间的关联关系,提高了视觉语义生成的准确性。采用MSVD,MSR-VTT公共数据集及自制矿山视频数据集进行实验,结果表明该方法具有较好的语义一致性,能准确获取视频中关键语义,更好地反映视频真实含义。     

基于特征融合的提升机逆变器故障诊断

矿井提升机逆变器故障诊断的难点在于提取表征故障的特征,目前主要利用信号处理方法得到故障统计特征,或通过神经网络提取故障深度特征。提升机逆变器在实际工作环境中,受背景噪声和负载变化等因素影响,运用单一的特征提取方法难以获得能有效表征故障的特征,导致提升机逆变器故障诊断准确率低。针对上述问题,提出了一种基于统计特征与深度特征融合的提升机逆变器故障诊断方法。首先,利用希尔伯特-黄变换(HHT)对逆变器输出电流信号进行优化集合经验模态分解(MEEMD),提取故障统计特征,同时利用压缩激励密集连接卷积网络(SE-DenseNet)提取输出电流信号的深度特征;然后,利用局部线性判别分析(LFDA)对2种特征的组合进行融合降维处理,得到统计特征和深度特征的低维融合特征;最后,将低维融合特征输入极限学习机,实现逆变器故障分类。针对提升机逆变器中单个IGBT开路故障进行实验,结果表明,该方法得到的低维融合特征比单一特征的故障表征能力更强,有效提高了故障识别准确率。     

基于内在生成机制的多尺度结构相似性图像质量评价

该文针对多尺度结构相似性(Multiple-scale Structural SIMilarity, MSSIM)图像质量评价算法对图像信息不确定部分度量能力的不足,结合人类视觉系统(HVS),提出基于内在生成机制(internal generative mechanism)的iMSSIM算法。首先采用基于逐段式自回归(Piecewise AutoRegressive, PAR)模型的内在生成机制将失真图像和原始图像分解成采用MSSIM算法评分的图像内容预测部分和采用PSNR评分的图像信息不确定部分;然后采用均方误差(MSE)进行加权来联合这两部分评分获得最终结果。在基准数据库上完成的对比实验表明：该算法不仅在不同失真类型上性能最好,且在6个公开数据库上的性能优于现有算法。