融合注意力机制的金属锅圆柱表面缺陷检测

为实现高亮反射金属圆柱形锅的自动快速检测及分拣,破解目前金属锅表面缺陷检测速度慢、效率低的技术难题,在YOLOX网络基础上引入双向特征融合网络,提出基于注意力机制的轻量化特征融合网络模型,实现计算模型的轻量化设计;同时,通过注意力机制模块对特征信息进行通道与空间的学习,有效缓解多尺度特征的语义鸿沟问题,提高了模型的检测精度;考虑网络对难易分类样本学习权重分配不平衡,设计基于衰减因子的分类损失函数;利用金属锅圆柱表面缺陷数据集完成了特征融合网络对比实验、分类损失函数对比实验和注意力机制模块位置消融实验。实验结果表明,融合注意力机制模型可有效识别6种不同形态的缺陷,测试集的平均检测精度mAP0.5达到90.92%,检测帧率达到30.84 frame/s,实现了金属锅圆柱表面缺陷的高精度快速识别与定位。     

融合面部特征的机动车驾驶人疲劳检测

为降低因驾驶人疲劳驾驶导致的交通事故,需要开展驾驶人疲劳检测研究.为满足在线实时检测的要求,本文提出了融合面部特征的机动车驾驶人疲劳检测方法,首先通过背景差分缩小检测区域、减少图像金字塔层数等方法对MTCNN人脸检测网络进行优化加速,加速后的速度与之前相比提升了258％.其次通过多级级联的残差回归树对人脸进行特征点检测,得到了人脸的特征点,最后通过融合面部嘴、眼开合度特征的方式建立驾驶人疲劳检测模型并进行训练.实验表明,该检测方法的准确率可达95.4％,每帧检测平均速度64 ms,检测速度快,能满足实时性的要求.     

融合面部特征的机动车驾驶人疲劳检测

为降低因驾驶人疲劳驾驶导致的交通事故,需要开展驾驶人疲劳检测研究.为满足在线实时检测的要求,本文提出了融合面部特征的机动车驾驶人疲劳检测方法,首先通过背景差分缩小检测区域、减少图像金字塔层数等方法对MTCNN人脸检测网络进行优化加速,加速后的速度与之前相比提升了258％.其次通过多级级联的残差回归树对人脸进行特征点检测,得到了人脸的特征点,最后通过融合面部嘴、眼开合度特征的方式建立驾驶人疲劳检测模型并进行训练.实验表明,该检测方法的准确率可达95.4％,每帧检测平均速度64 ms,检测速度快,能满足实时性的要求.     

融合通用形变模型信息的面部三维重建

基于图像对的立体重建是用于获取人脸三维信息的通用方法,但根据图像数据和重建算法所得到的三维重建结果存在各种误差,本文对通用形变模型进行改进并与三维立体重建融合以得到更精确的重建结果。首先使用Max-Margin对象检测算法来获取面部边界框,其中回归树集合法能直接从像素强度的稀疏子集识别面部特征点。然后通过PCA颜色模型生成形状和颜色的三维面部统计模型,利用ISOMAP算法将三维网格转换为二维表面并提取纹理信息,得到面部模型。最后在源网格上进行两步非刚性表面配准的变形过程:先通过对源网格进行二次采样来选择少量网格点来表示源的全局变化,并选取径向基函数(RBF)进行非刚性全局变形;再对源顶点进行Procrustes分析获得非刚性变换,再通过加权方案来进行k-近邻变换,得到平滑的局部变形。将单图像重建的面部模型,立体重建的面部模型和本文的面部变形模型与高质量扫描云图进行对齐比较,得到面部变形模型的3个RMS值分别为2.795 2,2.102 8和2.153 4,相比于其他模型,面部变形模型更接近高质量扫描云图,即与原图像一致性更高,误差更小。面部变形模型的定性和定量分析表明,立体重建与人脸一般形状信息的组合在几何信息的表达上优于基于通用模型的单个图像重建以及未考虑通用模型的立体重建。     

基于深度学习的人脸检测算法研究

随着计算机视觉之深度学习的兴起与人脸识别技术在智能化产品的广泛应用,基于深度卷积神经网络的人脸检测相关技术成为计算机视觉领域的热门研究。基于RetinaFace结构,提出一种改进的人脸检测模型。该模型采用Resnet34作为特征提取层,利用特征金字塔网络(FPN)进行上下文分辨率信息融合,结合Inception网络适应多尺度的人脸。基于人脸边界框回归损失和分类损失,额外增加人脸五点关键点训练损失。通过IoU大于0.5非极大抑制处理在Wider Face的Easy、Medium、Hard数据集的检测边界框,训练的卷积模型在测试集准确率分别是93.79%、91.92%、55.75%。在人脸密集、遮挡严重、背景复杂的场景下检测的效果并不是很理想,而在人脸稀疏的情况下取得较好的结果。     

互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

基于YOLOv5s的晶粒检测算法

为解决传统晶粒定位容易受到光线、噪声等因素影响,耗费大量资源等问题,构建晶粒检测算法YOLOv5s-wafer。首先建立晶粒检测数据集,使用轻量级网络GhostNetv2作为主干特征提取网络,降低模型参数量;其次在特征融合网络中引入CA(coordinate attention, CA)注意力机制,加强特征提取能力;最后采用EIOU作为定位损失函数,提高晶粒检测精度。实验结果表明：算法的平均精度均值为99.3%,参数量为4.637×10⁶,检测性能和算法轻量化达到了理想平衡。     

基于改进 EfficientNet 的锻件磁粉探伤智能检测方法研究

针对锻件生产企业零件缺陷检测效率低下,检测精度不高的问题,提出一种基于改进EfficientNet模型(EfficientNet-F),对两种锻件的荧光磁粉探伤图像进行检测。构建以EfficientNet为主干特征提取网络的深度学习模型,并引入特征金字塔为特征融合层,进而提高模型的多尺度特征融合能力;引入完备交并比和注意力机制以提高模型鲁棒性和检测效率。同时,搭建荧光磁粉探伤图像采集平台,构建缺陷样本数据集。试验表明,EfficientNet-F的最优模型在测试集上的均值平均精度达到了95.03%。F1得分值为0.96,浮点运算数为1.86 B。相较于其他深度学习模型,该方法提高了检测的精度和效率,可以满足相关生产企业的需求。     

采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。     

基于改进YOLOv5s的工件识别检测算法

针对机器人在抓取目标工件的过程中由于光线强度变化、图像环境复杂和拍摄设备移动等造成的工件识别精度低的问题,文章提出一种改进YOLOv5s的工件识别检测算法。首先,通过数据增强扩充数据集并进行预处理;其次,使用改进的k-means聚类算法重新生成更有效的预设锚框,缩短收敛路径;然后,在特征融合网络中添加CBAM注意力机制,有效抑制背景信息干扰,提高特征提取速度;此外,将特征融合模块中原有的特征金字塔结构替换成加权双向特征金字塔Bi-FPN结构,实现高效的加权特征融合和双向跨尺度连接,提高网络对不同尺度特征的融合效率;最后,通过采用α-IoU作为边界框回归损失函数,提高模型的定位效果。结果表明,改进后的YOLOv5s算法对工件检测的mAP值提升了6.03%,检测速度提升了13.7 fps,验证了改进算法的有效性。     

基于多尺度特征的YOLOv5铸件自动检测算法研究

针对铸件检测存在精度不够高和易漏检、误检等问题,提出一种基于多尺度特征的YOLOv5铸件自动检测算法。该算法使用双目相机采集铸件图像,并构建铸件图像数据集;为提取更全面的铸件特征,采用多尺度特征融合模块,增加一个检测层检测不同尺度的铸件;为获取更多细节特征,在特征金字塔网络中嵌入卷积注意力机制（CBAM）,以提高铸件图像关键特征的提取能力;同时用Hardswish替换卷积层中的SiLU激活函数来减少模型参数量。实验结果表明,该算法检测m AP值达到了96.5%,较原YOLOv5算法提升了2.6%,能实现铸件自动检测对检测精度及实时性的要求。     

面向航天光学遥感复杂场景图像的舰船检测

基于深度学习的目标检测算法直接应用于航天光学遥感（Space Optical Remote Sensing,SORS）复杂场景图像中会出现舰船目标检测效果不佳的问题。针对该问题，本文以近海复杂背景的密集排布舰船和远海多干扰中小目标舰船为检测对象，提出一种改进的YOLOX-s(Improved You Only Look Once-s,IM-YOLO-s)算法。在特征提取阶段，引入CA位置注意力模块，分别从高度与宽度两个方向对目标信息的位置进行权重分配，提高了模型的检测精度；在特征融合阶段，将BiFPN加权特征融合算法应用到IM-YOLO-s的颈部结构，进一步提升了小目标船只检测精度；在模型优化训练阶段，以CIoU损失替代IoU损失、以变焦损失替代置信度损失、调整类别损失权重，增大了正样本分布密集区域的训练权重，减少了密集分布船只的漏检率。另外，在HRSC2016数据集的基础上增加额外的离岸中小舰船图像，自建了HRSC2016-Gg数据集，HRSC2016-Gg数据集增强了海上船只及中小像素船只检测时的鲁棒性。通过数据集HRSC2016-Gg评测算法性能，实验结果表明：IM-YOLO-s...     

基于改进深度残差收缩网络的旋转机械故障诊断

旋转机械振动信号在多层深度学习过程中会出现退化和过拟合现象,同时含噪数据样本也会使模型故障诊断正确率偏低,数据样本不平衡会引起模型训练具有倾向性,针对以上一系列问题,提出了一种基于改进型深度残差收缩网络(DRSN)的旋转机械故障诊断方法。首先,对多故障、长时间序列数据样本进行了矩阵化处理,得到了模型容易接受的多维度灰度图故障样本;针对旋转机械从正常状态到故障状态的机械老化过程,采用了多点随机采样方法,构建了全寿命周期数据样本,用于后续的故障诊断;然后,在卷积神经网络(CNN)的基础上,通过引入残差项、注意力机制和焦点损失函数,构建起了多层深度残差收缩网络,对旋转机械进行了故障诊断(其中,残差项降低了训练过程中样本数据的特征损失,避免了模型的退化和过拟合;注意力机制和软阈值化自动设置噪声阈值,降低了噪声对故障诊断精度的影响;焦点损失函数修正了模型训练的倾向性,提高了模型训练效率和灵敏性);最后,利用滚动轴承数据库样本对模型的性能进行了实例验证。研究结果表明：DRSN模型在训练过程中没有出现明显的退化现象,能够始终保持较高的训练效率和故障诊断精度,有效避免了噪声干扰,在不平衡数据集上修正了...     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于改进U-Net的工件表面缺陷分割方法

针对当前深度神经网络模型在检测小缺陷目标时性能较差的问题,提出了一种基于改进U-Net的工件表面缺陷分割方法。该方法设计了一种仅下采样3次的U型网络,在保持图像特征分辨率的同时获得足够的感受野,有效解决神经网络多次下采样造成的小目标信息丢失问题;引入Dice损失和Focal损失组成的混合损失函数,通过增强分割损失权重并抑制背景信息来提高分割效果,有效解决小缺陷目标的低概率密度问题。通过在表面缺陷数据集上的大量实验和分析,结果表明该算法能够很好地细分出缺陷区域,并在分割精度与速度之间获得平衡。     

改进YOLOv3的轮毂焊缝缺陷检测

为了实现轮毂焊缝缺陷的智能化检测,本文对深度学习目标检测算法(You Only Look Once version3,YOLOv3)进行改进,得到YOLOv3-MC算法用于轮毂焊缝缺陷的检测。首先,使用工业相机采集轮毂焊缝图像,然后标注图像制作数据集,并且通过数据增强方法扩充数据集。接着,为了提高算法检测精度,使用Mish激活函数替换YOLOv3主干网络中的激活函数。修改算法的损失函数,使用完备交并比(Complete Intersection over Union,CIoU)的计算方法提升算法检测的定位精度。最后使用训练集训练算法模型,再使用验证集和测试集图像数据进行检测试验,结果表明,YOLOv3-MC的最优模型在验证集上的平均准确率(Mean Average Precision,mAP)达到了98.94%,F1得分值为0.99,平均交并比(Average Intersection over Union,AvgIoU)为80.92%,检测速度为76.59帧/秒,模型大小234MB。该模型在测试集上的检测正确率达到了99.29%。相较于传统机器视觉检测方法,该方法提高了检测精度,满足轮毂生产企业的焊缝实时在线检测需求。     

大数据样本与半监督环境下基于生成对抗网络的故障诊断

在大故障样本条件下,提出一种基于生成对抗网络模型的故障诊断方法研究.构建生成对抗网络模型,保证模型判别器输出数据的总体分布与原始故障集趋同,并基于空间测量工具对梯度函数进行优化,降低损失;采用故障集图像转换方式实现对原始信号的降维处理,利用判别器的神经网络结构训练输入数据,并提取出机械故障数据集中的故障特征点.实验结果表明,提出方法具有良好的分类诊断性能,故障诊断精度能够达到９９．４５％.     

基于迁移学习和模型融合的粗糙度检测系统设计

针对传统粗糙度测量方法识别准确率不高的问题,提出了基于迁移学习和模型融合的粗糙度检测方法。首先,采用所设计粗糙度检测系统中的CCD相机模组采集工件表面图像并制作数据集;其次,通过迁移微调VGGNet-19、Inception-V3 以及DenseNet121进行多模型融合,得到了适用的粗糙度检测模型;最后,用数据集进行网络训练以提取图像中的纹理细节特征,实现对粗糙度等级的精准识别。针对车削、铣削和磨削共15种粗糙度等级图像进行实验验证,系统识别精度可达91%。结果表明,所提出的系统可有效地实现粗糙度等级自动检测。     

驾驶员疲劳驾驶的面部检测与定位

人脸检测是基于PERCLOS的疲劳驾驶检测中的一项关键技术。将CCD摄像头得到的驾驶员人脸图像映射到YCbCr颜色空间,创立一个基于肤色的二维高斯数学模型。用自适应阈值分割法对人脸图像进行二值化处理,然后将得到的二值化人脸图像进行形态学分析。最后通过面部特征对连通域进行分析和处理,实现人脸的检测并框定。     

铸件缺陷语义分割的编码器-解码器网络

深度学习的快速发展扩展了基于视觉的缺陷检测应用。针对铸件缺陷类间差异小、类内差异大、缺陷规模小等难点，提出一种编码器-解码器架构的语义分割网络，使用在ImageNet上预训练的ResNeSt主干网络作为特征提取器，构建密集连接的多尺度特征融合模块提升有效特征利用率，增强网络特征表示能力，解码器端融合低层级特征改善缺陷边缘分割效果，再通过双线性插值进行上采样以恢复空间分辨率。网络在构建的X射线铸件缺陷分割数据集上进行训练和评估，采用混合损失函数解决数据集样本不均衡问题，提升模型性能。实验结果表明，提出的语义分割方法能够提升铸件缺陷分割精度，效果优于其他语义分割方法。