基于TOF相机的堆叠产品分拣系统

针对工业生产线的堆叠矩形物品的识别与分拣问题，设计了一套由TOF(time of flight)相机、并联机器人与夹具等组合而成的产品分拣系统。采用一种基于深度图与RGB图结合的三维矩形检测算法，实现堆叠物品的识别与空间位姿的计算。运用机器人定位，通过简易的手眼标定法，对算法进行验证。最后，结合视觉系统与机器人控制系统进行抓取测试。通过不同数量下反复抓取的实验，检测该系统的分拣能力。     

基于机器视觉的平面规则几何工件分拣方法

为有效提高工业生产中工件分拣的效率,提出了一种基于机器视觉的平面规则几何工件分拣方法。首先对CCD相机采集到的工件图像进行预处理,包括灰度变换、二值变换及多目标分块处理三个环节;然后通过多目标质心快速计算方法获取工件的几何中心,再运用边缘曲线等价方法实现工件的形状识别,接着利用Harris算法检测出工件的角点,并筛选出工件外接矩形上的角点用于计算工件的旋转角度;最后引导Tripod三轴并联机器人在线完成工件分拣实验。实验结果表明,该方法能够获得良好的识别效果,有效提高了工件分拣的柔性和自动化程度,具有应用价值。     

基于孔特征的弱纹理堆叠工件识别

针对目前工业现场弱纹理堆叠工件识别困难的问题,提出一种以工件表面孔洞为特征的改进几何模板匹配算法,以合页为例进行工件识别。首先采用加权平均法对彩色图像进行灰度化处理,再采用Canny算法进行边缘检测;其次采用旋转卡壳算法求取轮廓的最小面积外接矩形,进行几何约束后得到孔洞对应的孔轮廓,并采用随机增量法计算孔轮廓的最小外接圆得到孔特征圆心坐标。采用提出的改进几何模板匹配算法,即根据孔特征之间的几何约束进行工件识别,根据孔特征之间是否存在边缘剔除误识别工件。实验结果表明,提出的算法对带孔弱纹理堆叠工件具有良好的识别效果,工件识别查全率为98.3%,误检率为0.9%,为带孔弱纹理工件的识别提供方法。     

基于OpenGL的工业机器人分拣系统仿真

针对工业机器人视觉分拣工件问题,开发了一套工业机器人分拣仿真系统。该系统主要包括工件的识别与定位算法和机器人分拣的动态仿真,是基于VC++6.0开发平台和OpenGL图形库而开发的。工件识别是依赖于角点检测实现的。本文在确定工件表面中心和长轴的基础上,基于几何原理提出了一种新的机器人运动学反解方法,并验证了运动学分析的正确性,且直观地实现了机器人分拣工件的动态仿真。仿真结果表明,该系统能够快速、准确分拣工件,满足实际工程的要求。     

基于深度学习的工业分拣机器人快速视觉识别与定位算法

针对工业分拣机器人识别复杂工件慢、精确度低以及定位不准等问题,提出一种基于深度学习的快速识别定位算法.通过工业高精度相机获取目标图像信息,经过图像灰度化、图像滤波、Otsu二值化处理,再经边界像素检测算法定位并分割目标图像.运用已训练的深度卷积神经网络(CNN)对目标进行识别,得到目标所在的位置坐标以及所属类别,实现工业机器人分拣.实验测试中以纹路复杂的象棋为例进行定位识别,结果表明定位算法误差小于0.8 mm,最快识别速度达0.049秒/个,在实验环境中识别精度能保持在98%以上,表明算法具备良好的准确性和稳定性.     

基于多尺度特征与角度信息的无锚框目标检测方法

遥感目标检测是从遥感图像中对目标进行类别识别与定位的过程,它是遥感图像处理领域中一个重要的研究分支。目标尺度变化大和目标姿态旋转多变是制约遥感图像目标检测性能的重要因素之一。针对上述难点,本文提出了基于多尺度特征与角度信息的无锚定框目标检测方法。首先,该方法在经典特征金字塔网络中嵌入特征选择与对齐模块解决现有的特征金字塔网络存在的特征错位和通道信息丢失两种缺陷,从特征层面提升检测模型多尺度学习能力;其次,针对现有基于锚定框的旋转目标检测方法存在超参数敏感的问题,在基于无锚定框目标检测网络基础上加入了旋转边界框定位方式,无需对检测性能敏感的锚定框超参数进行设置;最后,为了解决旋转边界框存在边界突变问题,该方法将旋转边界框转换为二维高斯分布表示,并引入基于二维高斯分布的旋转回归定位损失函数来驱动检测网络学习目标的方向信息。实验结果表明,在多尺度和旋转目标检测方面,该方法的性能优于近几年提出的遥感目标检测方法。     

基于改进Canny边缘检测的堆叠货箱分割定位方法

为了提高集装箱卸货的自动化水平,针对集装箱内堆叠货箱难分割定位的问题,提出了一种基于改进Canny边缘检测的堆叠货箱分割定位方法。通过阈值分割和形态学处理进行图像预处理,去除背景干扰,提取堆叠货箱区域图像,基于改进Canny算法对堆叠货箱进行边缘检测,根据堆叠货箱边缘特征进行筛选并基于最小二乘法进行直线拟合,解决边缘线条不连续和虚假边缘问题,对边缘进行区域化处理,以此将堆叠货箱分割成独立的货箱区域,提取每个独立货箱的最小外接矩形,得到货箱中心点的位置信息。实验结果表明,该方法对堆叠货箱有很好的分割效果,定位精度小于5 mm,满足定位精度要求。     

基于特征关联的视频中群体人物行为语义抽取

为解决视频中群体人物行为语义抽取中群体人物相互遮挡、追踪困难等问题,构建一种基于特征关联的视频中群体行为人物语义抽取算法。该算法首先对视频帧提取多尺度融合特征图,通过特征图检测视频帧中可能存在的人物,利用去重算法筛除检测到的重复人物,精准定位群体人物边界框;接着预测群体人物特征掩码,通过比对相邻视频帧人物特征掩码的差异度追踪群体人物的运动轨迹;最后结合群体人物的运动轨迹推理每帧视频帧的群体人物行为语义,根据群体人物行为特点抽取视频群体人物行为语义。实验结果表明,该算法能够准确提取、定位群体人物的动态线索,解决群体人物复杂时空关系导致的语义抽取低效问题,有效地提高群体人物语义抽取的准确率和鲁棒性。     

特征响应权重自适应的IoU网络跟踪算法改进

基于IoU网络提出一种IT-AWCR(IoU network tracking with adaptive weighted characteristic responses)目标跟踪算法.首先,根据目标运动速度设计目标搜索区域确定策略,通过理论分析使用ResNet50的block 3、block 4卷积块的输出分别作为目标的浅层和深层特征表示;然后,以目标定位准确度和滤波模型抗干扰能力为评价指标,通过优化算法自适应计算目标深、浅特征响应加权权重,从加权融合响应中获取目标粗略位置和边界框,经扰动操作获取多个候选边界框输入IoU调制-预测网络预测IoU值,取最大IoU对应边界框为最终预测目标边界框;最后,根据训练样本的相关学习权重和样本间相似度更新生成样本集,基于样本集采用稀疏优化策略实现滤波模型更新. OTB2015和VOT2018数据集上的实验结果验证了所提出算法的有效性.     

基于图像轮廓分析的室内窗户检测

针对室内窗户检测的问题，提出一种基于图像轮廓分析的室内窗户检测方法。对预处理后的图像进行阈值分割和形态学处理；然后采用基于拓扑结构分析的边界跟踪算法，提取边界轮廓的一系列坐标点，根据窗户轮廓特点筛选出符合条件的轮廓，求各轮廓的最小外接矩形，计算两两最小外接矩形间的距离；最后利用最小生成树对各个矩形分类合并，确定窗户区域。实验结果表明，所提出的方法能有效地实现不同室内场景中窗户的检测。     

改进YOLO轻量化网络的口罩检测算法

针对目前YOLO轻量网络在口罩佩戴检测任务中出现的特征提取不足和特征利用率不高的问题,提出了一种基于改进YOLOv4-tiny的轻量化网络算法。增加Max Module结构以获取更多目标的主要特征,提高检测准确率。提出自下而上的多尺度融合,结合低层信息丰富网络的特征层次,提高特征利用率。使用CIoU作为边框回归损失函数,加快模型收敛速度。相较于原算法,在公开数据集PASCAL VOC和口罩佩戴检测任务中,mAP分别提高4.9个百分点和3.3个百分点,检测速率分别达到74 frame/s和64 frame/s,满足口罩佩戴检测任务的准确率和实时性。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于注意力特征融合的无人机多目标跟踪算法

随着无人机技术的不断发展,无人机多目标跟踪已成为无人机应用的关键技术之一.针对无人机视频中的复杂背景干扰、遮挡、视点高度和角度多变等问题,提出一种基于注意力特征融合的无人机多目标跟踪算法.首先,将改进的卷积注意力模块引入残差网络,建立三元组注意力特征提取网络;其次,在特征金字塔网络的结构上加入新的特征融合通道,设计多尺度特征融合模块,增强模型对多尺度目标的特征表达能力;最后,根据目标的重识别特征匹配与检测框匹配得到目标轨迹.仿真实验结果表明,该算法可有效提升无人机多目标跟踪的精度,具有较好的鲁棒性.     

改进多尺度卷积结构与高斯核的E-CenterNet算法

针对ResNet和DLA(deep layer aggregation)为主干网络的CenterNet算法特征提取能力不充分、热力图与目标真实边界框吻合度不高、关键点损失函数未充分考虑预测值对难易样本训练比重的影响等不足,提出一种改进多尺度卷积结构与高斯核的E-CenterNet算法。引入轻量型EfficientNetV2-S作为主干网络,并结合基于金字塔分割注意力网络的多尺度卷积结构对其进行改进,提高特征提取能力;对高斯核进行改进,使CenterNet产生的热力图由固定的圆形改进为随边界框宽高变化的椭圆形,增强算法对边界框宽高差异大的目标的检测能力;提出一种基于关键点预测值的关键点损失函数,提高算法对难样本的训练比例。在Pascal VOC数据集上的实验结果表明：E-CenterNet算法的mAP达到83.3%,比原始算法提升了2.6个百分点,检测性能优于CenterNet算法。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

面向嵌入式平台的安全帽实时检测方法

针对当前基于深度学习的安全帽检测方法因结构复杂和计算量大,难以在嵌入端实现实时检测的问题,提出一种适用于嵌入式平台的轻量化安全帽实时检测方法.该方法以Tiny-YOLOv3检测网络为基础,通过改进特征提取网络和多尺度预测优化网络结构,引入空间金字塔池化模块丰富特征图的多尺度信息,采用K-means聚类算法确定适合安全帽...     

基于两阶段深度网络的输电线路异常目标检测方法

输电线路的异常目标检测对提高输电系统的安全性、可靠性、稳定性起到十分重要的作用,而已有目标检测并未针对线路异常目标的尺度变化大、小目标多、光线暗、部分遮挡等问题进行有效设计,导致识别速度慢、易受环境干扰、误报漏报频发等.针对上述问题,采用两阶段深度网络,利用特征金字塔网络(FPN)提取多尺度特征,使主干网更好地适应目标多尺度变化,并通过全局网络进行特征增强,获得更清晰、更具有代表性的多尺度目标特征.在区域选择网络(RPN)中提出特征指导的候选框生成网络,能够生成稀疏且形状任意的锚,产生更紧密的掩模包围框.在检测阶段,采用多任务损失函数提升网络的预测精度和泛化能力,提高异常目标的检测性能.在MS COCO数据集上进行消融实验和性能对比,验证所提出方法的有效性和先进性,在输电线路数据集上异常目标检测精度达到77%,优于主流深度学习的目标检测方法.     

旋转区域提议网络的孪生神经网络跟踪算法

孪生区域提议网络跟踪算法是一种高效的目标跟踪算法,通过锚框规避了图像金字塔对跟踪性能带来的影响,但这种跟踪方法受制于区域提议网络本身的局限性,在目标旋转时,跟踪精度将受到较大损失。而其他对旋转鲁棒性较高的方法则因为使用了复杂的旋转结构,导致算法的跟踪速度大幅下降。为了解决旋转目标对区域提议网络跟踪精度的影响,提出了旋转区域提议网络的孪生神经网络跟踪算法,通过AO-RPN（arbitrary-oriented region proposal network）结构将旋转与区域提议网络相统一,引入角度预测分支,在目标跟踪的过程中,直接对旋转的目标进行搜索,并得到最小外接矩形。该方法在保持较高跟踪速度的同时,精度超过了对目标进行旋转采样或使用局部特征进行跟踪的算法。通过在数据集OTB2015、VOT2016和VOT2018上进行的大量实验。结果表明,该算法在遮挡、形变、光照等多种复杂情况下表现出了较强的鲁棒性和适应性。     

基于改进边界框回归损失的YOLOv3检测算法

YOLOv3检测算法中的边界框回归损失函数对边界框尺度敏感,且与算法检测效果评价标准交并比（IoU）之间的优化不具有强相关性,无法准确反映真值框与预测框之间的重叠情况,造成收敛效果不佳。针对上述问题,提出基于IoU的改进边界框回归损失算法BR-IoU。将IoU作为边界框回归损失函数的损失项,使不同尺度的边界框在回归过程中获得更均衡的损失优化权重。在此基础上,通过添加惩罚项最小化预测框与真值框中心点间围成的矩形面积,并提高预测框与真值框之间宽高比的一致性,从而优化边界框的回归收敛效果。在PASCAL VOC和COCO数据集上的实验结果表明,在不影响实时性的前提下,BR-IoU能够有效提高检测精度,采用BR-IoU的YOLOv3算法在PASCAL VOC 2007测试集上mAP较原YOLOv3算法和G-YOLO算法分别提高2.5和1.51个百分点,在COCO测试集上分别提高2.07和0.66个百分点。