基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题，设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点，并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练，经过验证，使用合成数据训练的网络也能在真实场景中有效工作。最后，搭建了一个基于机器人操作系统的UR5机械臂抓取平台，将训练好的模型部署到该平台上进行抓取实验，结果表明所提方法能够估计出目标物体的位姿，并在实际场景中抓取位姿未知的物体。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

基于Delta并联机器人的传送带动态跟踪

Delta并联机器人是最典型的空间三自由度移动的并联机构,其在3C电子产品行业、食品包装行业、生物制药行业均得到了广泛的应用。主要以Delta并联机器人为研究对象,通过视觉系统定位物体的位姿,再结合传送带编码器的位置反馈信息,计算出物体在机器人坐标系下面的实时位姿。实验结果表明,机器人在位置模式下,通过改进后的PID算法,能预测传送带上物体的位姿,并实时调整自身移动速度和末端位姿来跟踪传送带上的物体,最终实现对目标的动态跟踪抓取。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

基于单视图关键点投票的机器人抓取方法

针对传统机器人抓取算法成本高、位姿估计准确率低、在极端场景中鲁棒性差等问题，提出一种基于单视图关键点投票的机器人抓取方法。该方法基于单个RGB图像，采用投票推理2D关键点的方式，再结合3D关键点的位置，利用多组点对映射关系(E-Perspective-n-Point, EPnP),算法计算物体的6D位姿，并将其转换为最优的机器人抓取姿势，实现机器人抓取。实验表明，即使在遮挡、截断、杂乱场景中，也能体现较好的估计结果。所提方法抓取成功率达到了94%,能引导机器人实现准确抓取。     

面向物流分拣任务的自主抓取机器人系统

在现代物流仓库中,货物分拣任务是一个自动化难题,需要机器人在复杂的仓库环境中自动分拣出各种目标物体。为此,提出了一种可以快速学习陌生物体,并实现自主抓取功能的机器人系统。首先,我们搭建了物体快速三维重建平台,获得物体模型,并渲染合成物体数据集。然后,我们训练了SSD网络,识别场景中的物体。为了得到物体的精确6D位姿,我们分割出场景中的物体点云,并与物体模型进行点对特征匹配。得到物体位姿后,采用带启发的非均匀采样离线生成PRM随机路图,通过在线搜索实现机械臂运动规划。在物体分拣实验中,物体识别与位姿估计时间小于0.4 s,系统的抓取成功率稳定在95%以上。本篇文章介绍了整套系统的组成,并总结了实验过程中的相关经验。     

嵌入交互式检测技术及其在装备检测中的研究应用

信息获取是性能测试与故障诊断的基础。装备系统可用于测试的、开放式的对外接口缺乏,需要将检测系统或其一部分嵌入装备系统内部,获取信息。文章在分析武器装备检测诊断现状的基础上,提出嵌入交互式检测的思想,给出嵌入交互式系统级检测和电路板级检测的检测系统结构,说明了嵌入交互式检测的过程。     

Leak detection systems in oil and gas fields: Present trends and future prospects

Early leak detection of liquid and gas of both buried and unburied pipelines remain a critical task for economical and safety reasons. Several techniques were recently suggested and tested in real-life conditions and the corresponding results are very encouraging since they offer low cost solution while they yield both true detection and accurate localization of the leak. However, most of the techniques are not robust enough for all possible scenarios and may fail under certain environmental conditions. This review paper presents the most recent findings in acoustic and infrared (IR)-based leak detection techniques which remain the most widely used techniques for liquid and gas leaks detections respectively. However, they may fail under some situations. For instance IR-based techniques are not adequate during rainy, humid, or sandy weather or when ppb sensitivity is required, while acoustic sensors are not adequate for gas leak detection or when additional sources of acoustic noise are in the vicinity of the target area. Thus, the paper provides other alternative techniques such as ground penetrating radar (GPR), temperature profiling, and photoacoustic sensing techniques. Several important research works and real-life applications are cited in an attempt to provide a reasonable cross-section of various techniques. The paper can be useful for either a fresh researcher in the area, or for a skilled R&D engineer involved in the design of a leak detection solution since it presents the most recent leak detection techniques.     

基于电泳芯片的生化分析仪器的研制

介绍了一种基于电泳芯片的微型、高效生化分析仪器，利用该仪器进行了基本的电泳进样、分离实验。仪器采用阻抗检测方法对多次生物化学试样的电泳分离结果进行分析，采用比例测量法大幅提高了仪器的测量精度，模块化的设计使该仪器易于扩展。     

基于荧光偏振的HPV病毒基因检测系统研究

针对HPV病毒的检测难题,设计一种将荧光偏振技术用于病原微生物检测和基因分析的荧光偏振自动检测系统。讨论荧光偏振自动检测系统光学系统结构、总体设计思想,并对主从模式下上位机和单片机通讯的通讯格式和实现方法进行详细讨论。检测结果表明荧光偏振自动检测系统运行稳定,控制过程可靠、检测精度高。     

机械臂倒液任务中透明容器的液位高度视觉检测与控制

针对包含多类透明容器与多种液体的机械臂倒液任务,提出了一种不需要相机标定与标尺辅助的液位相对高度视觉检测方法与闭环控制方案。首先,分析了服务机器人倒液任务的特点,使用计算机视觉中的目标检测方法同时检测液体与容器,利用液体与容器的高度比例关系得到相对液位高度,避免了测量液位绝对高度所需的繁杂标定过程。其次,利用小孔成像模型对所提的相对液位高度检测方案进行几何建模与分析,推理出典型情形下测量的误差规律;再次,采集多种液体、多类容器的图像作为训练集来训练YOLOv5s,用于检测目标物以获得液位相对高度。测试结果验证了所提的液位检测方法的有效性,新方法对于训练集中未出现的新形状容器中的新液体的平均配对检出精度为86.7%;最后,为了避免求解或估计视觉伺服理论中复杂的雅可比矩阵,将求得的相对液位高度与PD控制结合组成液位闭环控制系统。系统使用相同的PD控制器参数在两种倒液平台上的多类倒液任务中均取得成功,验证了液位闭环控制方案的有效性与鲁棒性。     

[BIM模型与智能设计]一种新型铁路轨道检测小车的设计与分析

针对目前轨道手工检测效率低下、检测项目单一和高速轨道检测小车普及率不高的现状,为适应光学视觉检测需要,设计了一种可折叠的轻量化半T形检测小车,以同时满足激光检测和三维结构光检测的需求。为解决普遍存在的轨道检测小车车架与钢轨纵向难以保证垂直的问题,设计了柔性侧压机构,使车架不发生偏移。应用D-H法构建运动学模型,求解机构末端侧压轮的正运动学问题,论证了柔性侧压机构的侧压轮能紧贴钢轨内侧面以适应各种轨道的轨距变化。为小车建立力学分析模型,确保小车在静态下不会侧翻、脱轨,验证了机构设计的合理性。制造了物理样机,并进行了现场试验。结果表明,检测小车运行时垂直度好、自调节能力强,满足检测要求。     

一种新型变频器硬件系统的设计

主要简述了一种新型的变频器硬件系统,其中MCU采用的是瑞萨的16位单片机R5F21258SNFP。系统包括整流滤波电路,逆变电路,电压、电流检测电路以及控制电路等。针对传统变频器的不足之处,对吸收电路,滤波电路,电压、电流检测电路等环节作出了改进和优化,使得系统更加稳定可靠。     

彩色图像的快速人脸检测方法研究

提出一种快速人脸检测方法。其原理是通过建立肤色模糊集 ,初步确定人脸所在区域 ,然后利用经过充足样本训练后的稀疏神经网络 (SNo W结构 )来验证人脸的存在。为了加快人脸检测速度 ,提出外螺旋搜索策略。实验结果表明 ,该方法在保证较高的检测率的同时 ,大大提高了人脸检测速度 ,能实现近实时的人脸检测     

结构损伤识别的现状和发展

总结和回顾目前关于结构振动损伤识别的研究方法、现状和进展,基于结构动态振动响应和系统动态特征参数进 行损伤识别的方法,介绍智能损伤诊断方法的原理及在结构损伤识别中的应用前景,提出了结构损伤识别的发展趋势。     

便携式MicroRNA快速检测系统

MicroRNA(miRNA)与疾病的发生和发展密切相关,可作为疾病诊断标志物。常规检测miRNA的方法耗时较长且操作复杂,本文设计了一种便携式miRNA快速检测系统。该系统采用光电检测技术检测滚环扩增后的标志物miRNA受激发出的荧光强度,对采集到的荧光数据进行分析,得出miRNA的变化情况。实验得出便携式miRNA快速检测系统在试剂浓度为0.1~1μmol时,荧光强度线性偏倚不超过±5%,系统重复性大于95%。通过对冠心病检测标志物miR-499进行滚环扩增实验,结果表明设计的便携式miRNA快速检测系统能够快速有效地检测miRNA。