基于图像信息约束的三维激光点云聚类方法

针对移动机器人在未知环境感知过程中对三维点云快速聚类分割的需求，提出一种基于图像信息约束的三维激光点云聚类方法。首先通过点云预处理获取有效的三维环境信息，采用RANSAC方法进行地面点云的分割剔除。其次传感器数据在完成时空配准后引入YOLOv5目标检测算法，对三维点云K-means聚类算法进行改进，利用二维图像目标物的检测框范围约束三维点云，减少非目标物的干扰；基于图像检测信息实现点云聚类算法的参数初始化；采用类内异点剔除法优化聚类结果。最后搭建移动机器人硬件平台，对箱体进行测试，实验结果表明，本文方法的聚类准确率和聚类时间分别为86.96%和23 ms，可用于移动机器人导航避障、自主搬运等领域。     

基于几何约束的双目测距技术研究

双目测距是一种重要的机器视觉技术,常用于机器人定位与导航任务。立体匹配在双目视觉中占有重要的作用,文章基于构建的双目立体视觉系统,提出了一种基于几何约束的物体三维坐标测量方法。首先利用立体标定技术实现了对图像的畸变矫正,并对实时拍摄的左右图像进行ORB特征匹配,以检测图像中物体的特征点对。算法对估计的初始ORB特征点进行RANSAC模型估计,去除误匹配点对应。之后基于点对应之间的距离与斜率对其进行几何关系度量,利用几何约束进一步滤除匹配误差较大的点对应。实验结果说明该算法能有效降低特征的误匹配率,提高了双目测距的准确性与鲁棒性。     

基于SLAM导航的多目视觉AGV系统设计

目的为了进一步提高SLAM定位精度和小障碍物识别能力。方法采用SLAM与多目视觉结合的方法,首先构建AGV运动学模型,然后构建双目立体视觉模型,基于SURF+RANSAC改进的分区域加权算法,尽可能剔除冗余误匹配对,显著提高匹配精度。其次,在传统SLAM导航基础上融入单目视觉,实现关键工位点精确定位停靠,并给出二维码遮挡缺损情况下的解决方法,采用双目视觉实现距离实时测量。结果双目距离检测精度可达±1.88 mm,轨迹精度可以控制在±2 mm。结论融合SLAM和多目视觉可以有效提高导航定位精度和小障碍物识别能力,提高了SLAM的应用领域,具有一定的推广前景。     

基于镜面折反射全景成像的三维重建方法研究

针对基于图像的三维重建过程中成像系统获得的双视点或多视点图像不能一次性完整建模、图像匹配过程中计算复杂度高、标定繁琐的问题,设计了一种基于镜面折反射全景成像技术的单目多视角立体视觉系统及三维建模算法。该方法根据立体视觉传感器获取被测物体表面信息图像,通过阈值分割将图像分割为5个基本视图,并建立空间几何约束关系;使用离散的体素来表示被重构物体的几何信息,采用光一致性约束进行物体表面点的判断;通过轮廓体素遍历获取物体三维模型。该方法能一次性获得物体不同视角全方位图像信息,根据空间几何约束、纹理颜色约束及物体曲线约束,快速重构出物体的三维几何模型。该方法降低了匹配计算的复杂度和硬件使用成本,其有效性已在实际系统中得到了验证。     

点线特征结合的视觉SLAM闭环检测研究

在视觉SLAM系统中,闭环检测是非常重要的一个模块,它主要用于解决移动机器人在位置估计时随时间漂移的问题。移动机器人搭载相机在场景中运动,通过前端视觉里程计估计自身位姿和场景地图点坐标。视觉里程计历史时刻的估计误差会传递到下一时刻,导致一段时间后估计的结果出现累计误差,闭环检测可有效减少该累计误差。针对传统基于点特征的视觉SLAM闭环检测在点稀缺环境下精度和鲁棒性较差的问题,提出结合环境权重点线特征的闭环检测系统。该系统相比传统的基于点特征的闭环检测算法,系统鲁棒性更强,检测精确度更高。     

一种基于ORB特征的水下立体匹配方法

针对水下环境中传统算法对双目图像匹配时存在速度慢、误匹配较多等问题,提出一种基于ORB(的特征检测和曲线极线约束相结合的水下立体匹配方法。先检测图像的特征点,生成描述子,并进行特征匹配;然后根据折射定律,结合双目相机的内外参数,推导出水下曲线极线;最后结合水下曲线极线约束,剔除误匹配点。实验结果表明,相比传统的SIFT算法与曲线约束,论文提出的立体匹配方法在有效控制误匹配的情况下,显著提高了运算速度,对提升水下双目视觉系统的快速处理能力具有实践意义。     

类GPS超声定位系统及其定位精度分析

针对常规超声局部定位系统的缺陷,介绍了类GPS超声定位系统及其工作原理。通过多基站距离估计算法获得定位物体与观测基站的估计距离后,详细推导了Gauss-Newton迭代定位算法并对其定位精度作了分析。理论分析表明,定位物体的定位精度与物体在空间中的位置和基站的几何布局有关。若基站几何布局已定,为获得较高的定位精度,应根据物体所在空间中的不同位置选择定位基站。根据PDOP(平面位置精度因子)在定位空间中的分布图,给出了以三个及以上基站进行定位时的基站选择原则。最后通过仿真验证了上述分析的正确性。     

基于尺度、方向和距离约束的改进SIFT配准方法

针对SIFT算法在图像配准过程中存在遗漏掉大量的正确匹配对且产生误匹配对等问题,本文提出一种基于尺度、方向和距离约束的改进SIFT配准方法(SODC-SIFT).首先用SIFT算法对图像进行初匹配,利用特征点的尺度和主方向的差异剔除误匹配对;然后用最小二乘法求出两幅图像的几何关系;最后利用距离约束,迭代求解,找出正确匹配对,从而实现图像的精确配准.实验结果表明,本文方法与SIFT算法相比具有较强的鲁棒性,能够提升正确匹配对的数量并提高图像的正确匹配率,增强了算法匹配的精确性.     

三阶段局部双目光束法平差视觉里程计

针对光束法对初始值依赖性大以及双目相机模型的特点,在ORB-SLAM2算法基础提出了一种三阶段局部双目光束法平差算法。在帧间位姿跟踪阶段,为降低累积误差对匀速模型下3D-2D匹配的影响,引入环形匹配机制进一步剔除误匹配,并将关键帧地图点与当前帧3D-2D投影匹配;在跟踪局部地图阶段插入关键帧时,增加双目相机基距参数优化环节;在局部地图优化阶段,将最近的两关键帧间的普通帧也作为局部帧进行优化。KITTI数据集实验表明,三阶段局部双目光束法平差与ORB-SLAM2相比,构造了更多精确的3D-2D匹配,增加了优化约束条件,提高了运动估计与优化精度。     

余弦约束法则耦合改进RANSAC策略的图像匹配算法

目的提高当前图像匹配算法的匹配精度与鲁棒性。方法引入Forstner算子,精确提取图像特征点;采用一阶Haar小波来生成特征点主方向,并通过求取Haar小波响应来生成特征描述子;利用特征向量构建余弦约束模型,联合特征向量的距离度量方法构成双重匹配约束,从而完成特征点之间的匹配;引入投票机制对RANSAC方法进行改进,制定多重筛选方法对伪匹配点进行剔除,完成图像匹配。结果与目前图像匹配方法相比,文中提出的算法具有更强的鲁棒性与匹配精度,在特征总数为200个时,所提算法的匹配正确数量达到196个。结论所提匹配技术具有较好的匹配正确率,对包装印刷产品的识别以及信息安全检测等领域具有较好的应用价值。     

基于改进YOLOv5s的药盒钢印日期识别方法

目的 药盒的钢印日期与背景对比度低,字符轮廓不明显,识别易受环境光线干扰,对此提出一种基于机器视觉的识别方法。方法 使用改进YOLOv5s模型,首先对采集的药盒数据集进行透视变换校正,并进行数据增强。通过在模型的骨干网络中融合位置注意力机制(CA),减少冗余信息的干扰;颈部网络根据加权双向特征金字塔网络(BiFPN)引入权重,更好地平衡不同尺寸图层的特征信息;引入动态聚焦损失函数(WIoU),降低高质量样本对训练的干预,提高模型的泛化能力。结果 在自建钢印字符数据集上的实验结果表明,改进网络对药盒钢印日期识别的平均精度值达到了99.41%,比原始模型提升了2.38%,帧率为80.01帧/s。结论 改进后的YOLOv5模型对药盒钢印日期的检测精度优于原有网络,对可以满足药盒生产线的实时性要求。     

基于改进YOLOv5的轻量级芯片封装缺陷检测方法

目的 针对芯片封装缺陷检测过程中检测精度低与模型难部署的问题,提出YOLOv5-SPM检测网络,旨在提高检测精度并实现模型轻量化。方法 首先,通过在特征提取模块后增加通道注意力机制,提高缺陷通道的关注度,减少冗余特征的干扰,进而提升目标的检测精度。其次,在主干网络与颈部网络连接处使用快速特征金字塔结构,更好地融合了自建芯片数据集的多尺度特征信息。最后,将主干网络的特征提取模块更换为MobileNetV3,将常规卷积更换为深度卷积和点卷积,有效降低了模型尺寸和计算量。结果 经过改进后的新网络YOLOv5s-SPM在模型参数下降29.5%的情况下,平均精度较原网络提高了0.6%,准确率提高了3.2%。结论 新网络相较于传统网络在芯片缺陷检测任务中实现了模型精度与速度的统一提高,同时由于模型参数减小了29.5%,更适合部署在资源有限的工业嵌入式设备上。     

基于改进YOLOv5s的腌制蔬菜真空包装缺陷检测

目的 针对传统的基于人工的腌制蔬菜真空缺陷包装剔除效率低、漏检率高等问题,提出一种基于改进YOLOv5s的腌制蔬菜真空包装缺陷检测方法。方法 首先,使用Ghost卷积替换CSP模块中的卷积,在提高模型特征提取能力的同时降低网络的参数量;其次,利用空间换深度(Space-to-Depth, SPD)和深度可分离卷积(Depthwise-Separable Convolution, DSConv)组合操作SPD–DSConv进行下采样,减少下采样造成的特征信息损耗;最后,在网络中引入SE注意力机制,提高算法的精确率。结果 在自制的腌制蔬菜真空包装数据集上,改进后的网络平均精度(man Average Precision, A_mAP)为93.88%,模型尺寸为3.91MB,相比原网络精度提高了2.05%,模型尺寸缩减了44.38%。结论 文中方法能够实现腌制蔬菜真空缺陷包装的分类和定位,为基于机器人的缺陷包装剔除奠定了基础。     

基于改进YOLOv5的试剂卡印刷缺陷检测算法

目的 针对试剂卡生产企业采用人工分选印刷缺陷的试剂卡存在效率低、成本高、易漏检的问题，提出一种基于深度神经网络YOLOv5s的改进试剂卡印刷缺陷检测算法YOLOv5s-EF。方法 通过图像预处理算法获得高质量的缺陷图像数据集，在YOLOv5s的主干特征提取网络中添加高效通道注意力（Efficient Channel Attention, ECA）机制，增强特征图中重要特征的表示能力；引入焦点损失函数（Focal Loss）来缓解正负样本不均衡的影响；结合印刷区域的定位结果，二次精确定位并构建方位特征向量，提出一种特征向量相似度匹配方法。结果 实验结果表明，本文提出的试剂卡印刷缺陷检测算法在测试集上的检测平均准确度可以达到97.3%，速度为22.6帧/s。结论 相较于其他网络模型，本文提出的方法可以实现对多种印刷缺陷的识别与定位，模型具有较好的检测速度和鲁棒性，有利于提高企业生产的智能化水平。     

基于YOLOv4算法的药用空心胶囊表面缺陷检测方法

目的 为提升质检过程中药用空心胶囊的表面缺陷检测精度及其自动化水平。方法 通过设计高质量图像采集方案来避免胶囊表面出现光斑,以此构建药用空心胶囊缺陷数据集。基于YOLOv4算法,建立深度学习检测模型,利用多尺度特征提取以及训练策略,增强对小目标缺陷检测的鲁棒性。采用K-means++聚类算法更新锚框初始值,以提高模型对胶囊表面缺陷的预测性能。结果 实验结果表明,提出的胶囊缺陷检测方法能够准确判别胶囊好坏,并能检测出其表面的凹陷、孔洞、划痕、污点和接口缺损等5类缺陷,其中对于胶囊有无缺陷的平均精确均值达99.05%,各缺陷类型的平均精确率为91.81%,而每秒检测图像可达22张。与其他典型的目标检测方法相比,文中方法在检测速度和精度上都有一定优势。结论 文中所提出的基于YOLOv4的缺陷检测方法实现了对药用空心胶囊多类型缺陷的分类与定位,具有较好的检测效果和稳定性,在满足生产质量管控要求的同时,可大幅降低人工成本。     

基于改进YOLOv5的新材料地板表面缺陷检测研究

目的 提升质检过程中新材料地板的表面缺陷检测精度。方法 通过翻转、水平迁移和垂直迁移对采集到的缺陷图像进行扩充,构建新材料地板缺陷数据集。基于YOLOv5算法,增加一个预测头,使算法对微小缺陷更加敏感;其次在网络的特征融合层应用Swin Transformer模块,形成注意力机制预测头,提高网络特征提取效率;然后在网络主干末端加入SE模块,使网络提取有用的信息特征,提高模型精度。结果 实验结果表明,提出的新材料地板表面缺陷检测方法能够准确判别地板好坏,并能够识别出白色杂质、黑斑、边损、气泡胶等4类表面缺陷,各缺陷类型的平均精确均值为82.30%,比YOLOv5 Baseline提高了6.58%,相比其他典型目标检测算法也能够更准确和快速地识别地板表面缺陷。结论 通过改进的YOLOv5算法可以更准确地对地板表面缺陷进行分类与定位,从而大大提高工业质检效率。     

基于轻量化YOLOv4的黏稠食品灌装成品缺陷检测

针对黏稠流质食品的自动化灌装中,传统灌装成品缺陷检测方法难以同时对多目标高速检测的难题,提出一种基于YOLOv4目标检测算法的轻量级灌装成品缺陷检测方法.MobileNetV3主干特征提取网络能对输入样本进行轻量级特征提取;增强特征提取网络采用深度可分离卷积策略,以降低参数计算量,然后通过设计的全面路径聚合网络(FPANet)和引入的通道注意力机制(ECA)提升增强特征提取网络对于目标特征的靶向表达.将设计的轻量化网络进行模型训练和精度测试,并在同一数据集下与其它目标检测算法进行对比,以分析本文方法的优劣.实验结果表明,本文方法能够在保持精度的前提下提升检测速度,实现了黏稠食品灌装成品缺陷的多目标高速检测.     

融入注意力机制的轻量化可回收垃圾检测方法

目的 针对目前智能垃圾分类设备使用的垃圾检测方法存在检测速度慢且模型权重文件较大等问题,提出一种基于YOLOv4的轻量化方法,以实现可回收垃圾的检测。方法 采用MobileNetV2轻量级网络为YOLOv4的主干网络,用深度可分离卷积来优化颈部和头部网络,以减少参数量和计算量,提高检测速度;在颈部网络中融入CBAM注意力模块,提高模型对目标特征信息的敏感度;使用K-means算法重新聚类,得到适合自建可回收数据集中检测目标的先验框。结果 实验结果表明,改进后模型的参数量减少为原始YOLOv4模型的17.0%,检测的平均精度达到96.78%,模型权重文件的大小为46.6 MB,约为YOLOv4模型权重文件的19.1%,检测速度为20.46帧/s,提高了约25.4%,检测精度和检测速度均满足实时检测要求。结论 改进的YOLOv4模型能够在检测可回收垃圾时保证较高的检测精度,同时具有较好的实时性。     

基于改进Faster R-CNN的纸病检测算法

目的 达到纸病检测中能够充分提取纸病特征、提高检测精度、降低小目标漏检率的目标。方法 基于Faster R-CNN的检测算法进行改进,主要改进的做法是利用深度残差网络ResNet-50替换原模型的骨干特征提取网络VGG16,以保留更多的纸病特征信息,增强特征网络对纸张缺陷的提取能力;在算法中添加空间和通道的双重注意力机制CBAM,用来提高纸病检测精度;将ROI-Pooling替换为ROI-Align,增强网络的泛化能力。结果 实验结果表明,改进后的算法平均精度达到98%,较原算法平均精度提升了9%。结论 改进后的算法能够充分提取纸病特征信息,有效提高了纸病的检测精度,以及提高了小目标纸病的检测率,降低了错漏检率。     

A Model for Helmet-Wearing Detection of Non-Motor Drivers Based on YOLOv5s

Detecting non-motor drivers’ helmets has significant implications for traffic control. Currently, most helmet detection methods are susceptible to the complex background and need more accuracy and better robustness of small object detection, which are unsuitable for practical application scenarios. Therefore, this paper proposes a new helmet-wearing detection algorithm based on the You Only Look Once version 5 (YOLOv5). First, the Dilated convolution In Coordinate Attention (DICA) layer is added to the backbone network. DICA combines the coordinated attention mechanism with atrous convolution to replace the original convolution layer, which can increase the perceptual field of the network to get more contextual information. Also, it can reduce the network’s learning of unnecessary features in the background and get attention to small objects. Second, the Rebuild Bidirectional Feature Pyramid Network (Re-BiFPN) is used as a feature extraction network. Re-BiFPN uses cross-scale feature fusion to combine the semantic information features at the high level with the spatial information features at the bottom level, which facilitates the model to learn object features at different scales. Verified on the proposed “Helmet Wearing dataset for Non-motor Drivers (HWND),” the results show that the proposed model is superior to the current detection algorithms, with the mean average precision (mAP) of 94.3% under complex background.