融合快照集成与知识迁移的人体行为识别算法

用卷积网络进行人体行为识别是毫米波雷达的一个热门研究方向。由于卷积网络结构的缺陷性,而且目前用于人体行为识别公开的雷达领域数据样本量过少,传统深度学习算法对雷达微多普勒图像的识别率不高,且在训练过程中容易出现过拟合的现象。针对上述问题,本文提出一种融合快照集成与迁移学习的雷达人体行为识别算法。首先,针对深度卷积网络无法提取图像全局特征的问题,该算法通过搭建Vision Transformer(VIT)模型引入注意力机制。其次,通过VIT模型在公开自然数据集上进行任务迁移和特征空间的迁移,解决微多普勒图像的识别过拟合的问题。最后,利用基于快照集成的投票机制算法,提升模型对复杂雷达微多普勒图像的识别能力。试验结果表明,在目标任务数据集样本量少、背景复杂的情况下,该算法能在不增加训练成本的前提下提升微多普勒图像的识别准确率,在VIT模型下该算法识别准确率达到了89.25%,优于经典卷积神经网络。     

基于CNN的金属疲劳裂纹超声红外热像检测与识别方法研究

传统超声红外热像检测与识别金属疲劳裂纹主要是通过图像处理算法提取红外热图像的相关热特征,并与裂纹特征进行匹配,其过程过于繁琐,识别率较低且需要人工筛选有效特征。结合主动红外热成像技术以及卷积神经网络（Convolutional Neural Network,CNN）在金属结构无损检测与缺陷自动识别中的优势,提出了一种基于CNN的金属疲劳裂纹超声红外热像检测与识别方法。通过超声红外热成像装置对实验对象（文中为金属平板试件）进行检测,获取红外热图像并制作图像数据集。运用设计的卷积神经网络对不同尺寸裂纹的超声红外热图像进行特征提取与识别分类。此外,对所提出的方法与两种常见图像分类网络模型以及支持向量机的分类结果进行对比。实验结果表明,设计的卷积神经网络在该数据集上识别分类准确率为100%,优于其他网络模型和支持向量机的识别分类,可以有效检测与识别金属疲劳裂纹。     

基于深度学习的乳液泵缺陷检测算法

为了实现对工业产品乳液泵的缺陷检测,本文采集泵顶、泵上端、泵下端、尾管4个角度的样本图像,并基于深度学习中迁移学习和卷积神经网络的原理分别构建各角度的分类模型以检测缺陷样本。首先,使用Mini-ImageNet数据集预训练网络模型。然后,调整模型结构并加载预训练网络的参数,并将乳液泵各角度的训练集和验证集经过图像预处理算法后输入至卷积神经网络中训练,根据训练过程中验证集准确率的变化调整网络超参数,得到最终网络模型。最后,将预处理后的乳液泵测试样本输入至训练好的模型中,检测最终模型的缺陷识别效果。最终4个角度检测准确率均在93%以上,单样本检测用时为2.52s,优于传统方法。本文算法可用于设计乳液泵缺陷检测系统,该系统能与工业结构相结合筛选出有缺陷的泵体,也可拓展到工业其他物件的缺陷检测。     

基于卷积神经网络的肺炎检测系统

提出一种利用卷积神经网络对胸部X光影像数据进行分析,实现对肺炎这一常见症状进行检测的系统。该方案首先进行图像预处理,然后采用VGG卷积神经网络和改进VGG卷积神经网络分别实现对胸部X光影像的特征提取,得到两种网络对肺炎的检测准确率,最终测试结果显示,改进VGG卷积神经网络在对肺炎检测上具备比VGG网络更好的识别效果,同时,改进VGG网络在标定好的数据集进行训练时能够更快的收敛。通过在公开数据集上进行测试表明,改进VGG卷积神经网络得到了98.5%的准确率,相比于VGG网络提升了2%以上的识别准确率,证明该方案在肺炎识别上具有可行性。     

基于迁移集成学习的无人机图像识别算法

针对当前小型无人机目标图像识别方法准确率较低的问题,提出了一种基于迁移集成学习的无人机图像识别算法。首先,基于AlexNet、VGGNet-19、Inception-V3以及ResNet-50四种结构具有差异的卷积神经网络对源数据集进行预训练,获取图像的深层次特征;然后,对目标数据集进行迁移学习,得到目标的分类特征,构建分类模型;之后,采用相对多数投票法和加权平均法的集成学习方法,对分类模型进行集成得到迁移集成模型。构建了一个包含小型无人机图像、飞鸟图像以及直升机图像的图像数据集UavNet,在对数据集进行数据增强的基础上开展了图像识别算法性能实验,结果表明,算法对多类目标的识别准确率为99.42%,无人机类目标识别的F1-score指标为99.12%,优于主流的卷积神经网络方法和传统的支持向量机方法,具有一定的理论意义和应用价值。     

基于卷积神经网络的遥感图像飞机检测

提出一种CNN的遥感图像飞机检测的方法。首先获得预训练好的CNN,然后通过参数迁移获得五层卷积层模型参数,接着利用遥感图像对第五层卷积层进行微调获得一个特征提取器。将特征提取器用于提取遥感图像训练集的深度特征,训练可变形部件检测模型。实验表明,提出的方法大大提高了遥感图像飞机目标检测精度,准确率达96%以上。     

通道门控Res2Net卷积神经网络自动调制识别

针对低信噪比条件下自动调制识别准确率不高的问题,提出了通道门控Res2Net卷积神经网络自动调制识别模型。该模型主要由二维卷积神经(Two-dimensional Convolutional Neural Network, 2D-CNN)网络、多尺度残差网络(Residual 2-network, Res2Net)、压缩与激励网络(Squeeze-and-Excitation Network, SENet)和长短期记忆(Long Short-Term Memory, LSTM)网络组成,通过卷积从原始I/Q数据中提取多尺度特征,结合门控机制对特征通道进行权重调整,并利用LSTM对卷积所得特征进行序列建模,确保数据特征被有效挖掘,从而提升自动调制识别的准确率。在基准数据集RML2016.10a下的调制识别实验表明,所提模型在信噪比为12 dB时识别精度为92.68%,在信噪比2 dB以上时平均识别精度大于91%,较经典CLDNN模型、LSTM模型和同类型PET-CGDNN模型、CGDNet模型能取得更高的调制类型识别准确率。     

基于Xception与迁移学习的中药饮片图像识别研究

为实现对常用60种中药饮片图像的精准快速识别,构建13 088张常见中药饮片图像数据集,采用迁移学习的方式,以深度学习算法中Xception卷积神经网络模型为基准,对饮片图像进行训练与识别。模型训练的初始学习率设置为0.01,优化器中设置Nesterov动量超参数为0.9,训练次数为100轮,得到在训练集上的分类准确率达到100%,验证集准确率为97.42%,测试集准确率为97.26%,最后结合混淆矩阵这一指标对模型的识别能力进行评估分析。该模型与传统依靠提取中药饮片图像特征的机器学习算法相比,分类效果更好,泛化能力更强。     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法

针对宫颈细胞病理自动筛查问题,提出一种基于深度卷积神经网络的智能辅助诊断方法。首先采用基于改进UNet深度卷积神经网络模型的语义分割方法,检测出宫颈细胞病理涂片扫描图像中的细胞(粘连簇团)区域。接着,利用VGG 16深度卷积神经网络模型,结合迁移学习技术,对检测出的细胞(粘连簇团)区域进行精确识别。为了提高深度卷积神经网络模型的性能,在进行细胞(粘连簇团)区域检测、识别的过程中,采用了数据增强技术。同时,针对该领域相关研究缺乏宫颈细胞病理液基涂片扫描图像数据集的问题,我们收集四川大学华西附二院的典型LCT筛查病例,建立了宫颈细胞病理图像HXLCT数据集,并由资深病理医生完成数据标注。实验表明,本文方法能够较好地完成宫颈细胞病理涂片扫描图像中的细胞(粘连簇团)区域检测(正确率为91.33%),并能对检测出的区域完成正常、疑似病变二分类识别(正确率为91.6%,召回率为92.3%,ROC曲线线下面积为0.914)。本文工作将有助于宫颈细胞病理自动筛查系统的开发,对于宫颈癌早期防治具有重要意义。     

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

基于MCL-UNet网络的激光熔覆层表面平整度识别

表面平整度是衡量多道搭接熔覆层表面质量的重要指标之一,为改进人工标注获取表面平整度耗时费力的问题,本文利用图像识别和语义分割神经网络方法提出了自动识别熔覆层表面平整度。针对搭接熔覆层特征,基于改进的U-Net与注意力机制(CBAM)提出一种用于熔覆层形貌的自动分割网络MCL-UNet,优化改进U-Net模型,依据CBAM模块从通道维度和空间维度调整特征图层的权重信息,将CBAM模块以优化输入和输出的原则部署在网络上。在搭接熔覆层数据集上对改进的网络进行评估对比,实验结果表明,本文提出的MCL-UNet网络模型,其熔覆层分割效果在验证集上的平均IoU准确率为93.76%,相比原始U-Net的IoU准确率提高了5.81%,在测试集上MCL-UNet模型输出的表面平整度的平均相对误差为3.2%,说明该模型可有效提高搭接熔覆层横截面形貌的分割精度,并能较准确输出表面平整度。     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

基于深度学习的激光剪切散斑干涉无损检测缺陷识别

剪切散斑干涉技术通过测量物体表面变形来推断其内部缺陷,具有高灵敏度、检测范围广、精度高等优点,是一种极具潜力的复合材料无损检测技术。目前缺陷识别主要采用人工方式,而人工识别不但检测效率低且受到专业性限制。为了提高剪切散斑干涉无损检测方法中的缺陷识别精度和效率,本文提出基于深度学习剪切散斑干涉缺陷识别方法。利用高精度四步相移技术获取剪切散斑相位条纹高质量成像;引入了应用广泛的YOLOv5和Faster R-CNN目标检测算法,通过实验采集了大量的缺陷图像,分别用YOLOv5和Faster R-CNN两种算法获得训练模型。然后将这两种模型分别应用于剪切散斑干涉无损检测中的复合材料缺陷检测。最后,实验从检测速率和检测精度方面对模型识别效果进行了对比分析。实验结果表明,激光剪切散斑干涉技术结合深度学习的方法能有效地实现剪切散斑干涉无损检测的缺陷自动识别,Faster R-CNN和YOLOv5的检测速率分别能达到11 f/s和50 f/s,并且两种深度学习算法的平均精度均能达到92%以上,验证了提出方法的可行性。     

基于改进YOLOv5的PCB小目标缺陷检测研究

面对印刷电路板(print circuit board,PCB)小型化、多层化、高集成化的趋势,针对目前PCB缺陷检测方法存在漏检、特征提取困难、误检率高以及检测性能差等问题,本文提出了基于改进YOLOv5算法的PCB小目标缺陷检测方法。该方法先针对PCB小目标缺陷特点采用DBSCAN(density-based spatial clustering of applications with noise) +二分K-means聚类算法以找到更适合的锚框;然后对YOLOv5的特征提取层、特征融合层以及特征检测层进行改进,增强关键信息的提取,加强深层信息与浅层信息的融合;从而减少PCB缺陷的误检率、漏检率,以提高网络的检测性能;最后在公开PCB数据集上进行相关对比实验。结果表明,改进后模型的平均精度(mAP)为99.5%,检测速度为0.016 s。相比于Faster R-CNN、YOLOv3、YOLOv4网络模型,检测精度分别提升了17.8%、9.7%、5.3%,检测速度分别提升了0.846 s、0.120 s、0.011 s,满足PCB缺陷在实际工业生产现场的高精度、高速度检测要求。     

基于径向基神经网络的粒子群表面缺陷识别算法

金属部件表面缺陷识别问题是模式识别领域的研究热点,高效、可靠的表面缺陷识别方法能够有效提高生产效率、维护生产安全。针对这一问题,文中提出了一种利用径向基(RBF)神经网络和粒子群优化(PSO)算法相结合的表面缺陷识别算法。采用PSO算法确定和改进RBF神经网络的权值参数,同时对PSO算法中的惯性权重进行线性处理,有效消除了PSO算法中的最优解局部振荡现象。针对金属部件表面常见的几种缺陷对RBF-PSO表面缺陷识别算法进行网络训练,并进行相应的实际测试。文中提出的RBF-PSO表面识别算法识别准确率可达96%,相比于传统的神经网络算法具有明显的性能提升。     

基于多层神经网络的中分辨SAR图像时间序列建筑区域提取

为提高合成孔径雷达(Synthetic Aperture Radar, SAR)图像时间序列建筑区域提取的准确率和稳定性, 该文结合时间序列图像的特点, 提出了一种基于多层神经网络的建筑提取方法。该方法使用单幅SAR图像进行样本的粗略标记, 并从经过直方图规定化处理后的时间序列图像中获得大量样本。通过单幅SAR图像生成的少量样本确定网络的深度, 并从时间序列生成的样本中筛选出具有更高质量的样本作为最终模型的训练样本。利用数量大且质量高的训练样本学习得到模型参数。使用包含38幅25 m分辨率ENVISAT ASAR图像的数据集进行两组对比实验, 实验结果中该文方法的最低准确率和最低Kappa系数分别90.2%和0.725, 均高于其它3种传统方法, 算法的稳定性以及准确率都有显著提高。此外, 该方法还具有人工操作少、推广性强、训练高效等优点。      

基于热释电红外传感器的人体动作识别方法

针对目前人体动作识别技术中存在的隐私暴露、技术复杂度高和识别精度低等相关问题,提出了一种基于热释电红外（PIR）传感器的人体动作识别方法。首先,采用一组安置在天花板上经过视场调制的PIR传感器采集人体运动时散发的红外热辐射信号,将传感器输出的电压模拟信号进行滤波放大后通过ZigBee无线模块传送到PC端打包成原始数据集;其次,将原始数据的两路传感器输出数据进行特征融合,对融合后的数据做标准化处理封装为训练集和测试集;然后,基于数据的特征提出一种两层级联的混合深度学习网络模型作为人体动作的分类算法,第一层采用一维卷积神经网络（1DCNN）对数据进行特征提取,第二层采用门控循环单元（GRU）保存历史输入信息防止丢失有效特征;最后,利用训练集来训练该网络模型得出参数最优的分类模型,通过测试集验证模型的正确性。实验结果表明,提出的该动作识别技术模型对基本动作分类的准确率高于98%,与图像动作识别或穿戴式设备动作识别相比,实现了实时、便捷、低成本和高保密性的高精度人体动作识别。     

基于SWA优化级联网络的表情识别方法

为了提高表情识别技术的检测精度,文中提出了一种采用随机权重平均SWA优化级联网络的人脸表情识别方法。与单个卷积网络相比,多网络级联能得到更好的检测精度。相对于传统的SGD训练方法,SWA训练方法能增强级联网络中子网络的泛化能力,进一步提高模型的整体性能。通过在Fer2013数据集上测试实验发现,基于SWA方法训练采用加权求和法方式级联的网络模型识别准确率达到74.478%,相对于传统SGD方法训练的单网络模型提高了1.4%以上。另外,与其他典型方法相比,所提改进模型的识别准确率更高。     

基于超声红外热像的电缆终端局部放电缺陷检测方法

电缆终端局部放电缺陷特征短暂,缺陷范围与外部环境纠缠,很难准确定位,需要结合温度特征和模式识别特征共同检测,本文利用超声红外热成像的优势,提出基于超声红外热像的电缆终端局部放电缺陷检测方法,方法利用图像梯度化、灰度化处理采集到的电缆终端局部放电缺陷特征超声红外热成像图,并通过智能模式识别处理方法抑制采集图像的复杂背景,删除包含在电缆终端局部放电缺陷特征红外图像中的大面积地物及地面;根据K-means聚类算法,圈定疑似局部放电缺陷特征范围,构建局部放电缺陷范围模板,经匹配参考范围后,得出疑似局部放电缺陷范围的温度特性信息,诊断电缆终端是否存在局部放电缺陷。实验结果表明,该方法可有效获取电缆终端局部放电缺陷部位,检测不同类型的电缆终端局部放电缺陷的平均精准率高达98%,平均漏检率为1%。