面向虚拟装配的虚拟手交互技术研究

人机交互技术是虚拟装配过程的关键技术。通过数据手套实时、自然地与虚拟环境交互,完成虚拟装配等操作,为虚拟装配提供更为直观的验证和优化。结合机械产品的结构特征与装配操作需求,研究了面向机械产品虚拟装配的手势识别交互技术。针对四大类型通用机械零件分别进行了抓取手势的定义与识别,提出了机械零件虚拟装配中虚拟手势的识别及稳定抓取算法。应用减速器虚拟装配进行实例验证。表明,提出的手势识别和抓取算法是有效的,可以使虚拟装配过程的交互性以及沉浸感进一步加强,有助于减少虚拟装配操作的失误。     

平板类微小零件的高精确真空吸附抓取

微小型零件的抓取是实现零件自动化装配的第一步,考虑到装配对象尺寸小、材质脆弱,目标件的抓取不仅要求定位精度高,而且要精确控制抓取力。为解决微小零件抓取难的问题,采用视觉定位和真空吸附相结合的方式实现了平板类微小型零件的高精确抓取。具体方法:首先,经由视觉定位的中心提取法检测上CCD光轴中心与吸附针孔心的距离;其次,采用边缘检测、最小外接矩形以及最小二乘拟合算法实现微小型零件的亚像素级定位;最后,利用控制气动系统实现目标零件的真空吸附抓取。实验表明,在微小型零件自动化装配过程中,通过视觉标定、亚像素定位以及真空吸附相结合的方式可以很好地实现平板类微小型零件的精确吸附抓取。     

基于形状匹配的装配定位方法

机器人要完成零件的准确抓取,关键问题之一是需知道零件的精确位置。传统的机器人抓取零件多采用的是示教编程方法,当装配区零件的摆放位置发生改变,需重新编制控制程序,缺乏一定的柔性。为改善装配机器人的零件定位,出现了各种各样的定位方法,其中基于视觉的定位方法应用广泛。为此,本文引入了基于形状匹配的装配定位方法。首先,标定了机器视觉系统的相机变形,并将其应用到图像采集中;其次,通过图像金字塔的搜索策略和最小二乘法的优化方法,实现了形状匹配的亚像素定位。最后,由5个零件的装配实验,验证了定位方法具有较好的实时性和识别率。     

基于改进SSD的多目标零件识别系统研究

在零件的装配、分拣、焊接等工业生产过程中,使用图像处理的方法对零件进行识别能够大大减少夹具的使用。在零件的图像识别领域中,提出一种基于多尺度融合的MDSSD零件识别系统,MDSSD网络以SSD网络为基础,通过针对特定的零件识别场景,特别是小目标零件,使用融合模块实现深层网络和浅层网络的跨层连接,并且实现类别的预测以及坐标的回归。在特定环境的螺钉、螺母、垫圈的测试数据集上,分别使用SSD网络和MDSSD网络对单张图片的单类零件和单张图片的多类零件进行检测操作。实验表明,使用MDSSD算法平均检测精度达到97.11%,检测速度达到32.00fps,MDSSD算法对比原来的SSD算法,平均检测精度提高了6.21%,能实时高精度地检测出零件,满足零件识别需求,可解决工业实际问题。     

基于单目视觉的零件抓取信息提取技术

当前,数控机床无人化操作已经成为一个新兴的研究领域。基于机器视觉技术,数控机床的装夹机械手自动识别并抓取零件。零件抓取信息的提取是实现智能上下料的一个关键技术。零件抓取信息主要包括抓取顺序、抓取位置、抓取角度及手指间距离。以不同长度、不同直径、非固定位置的轴类零件为研究对象,首先利用面积法去噪、骨骼化原理及边缘检测技术获取中轴线图像和边缘图像;然后利用质心公式、最小二乘法及距离公式,分别获取零件的质心位置、倾斜角度值及直径值。零件抓取信息确定后,可完成手腕回转运动、手腕直线运动及手指开合运动,实现了机械手智能抓取零件。     

基于工业机器人与机器视觉的红外传感器装配系统设计北大核心

针对红外传感器装配过程存在工件位置不准确等问题,设计了基于视觉定位技术的红外传感器自动装配系统。机械结构由工业机器人、供料单元、输送单元、视觉检测单元、快换工具单元和机器人第七轴等组成;利用视觉系统识别传感器端盖的位置和角度,并将结果换算到机器人世界坐标系,使机器人能够准确抓取到工件;搭建了基于以太网通信的PLC控制系统,完成红外传感器各零件的出料、输送、抓取及自动装配控制。实验表明,所设计的系统自动化程度高,运行可靠,具有较高的推广应用价值。     

轴孔自动视觉装配中孔系工件高精度定位检测算法研究

针对多轴孔配合零件的自动装配问题,利用搭建的视觉装配系统,提出了一种适合多轴孔零件装配的孔系零件图像处理方法。该方法通过设计新颖的特征处理算法,利用检测孔系零件装配孔心的位置来确定孔系工件的位置,提高了零件的快速装配过程和精度,减少了由于装配定位失误而对装配工件造成的表面损害现象,可以用于实际的自动化装配过程。     

双机器人视觉协调装配零件系统研究

为了提高工业生产的柔性和自动化控制程度,在传统的零件装配系统中引入视觉注意思想和协调控制方式。使用基于直方图对比的方法生成显著图,用固定阈值优化法进行二值化,利用最小外接矩形抽取出零件,通过特征提取和匹配识别出零件,用于指导工业机器人抓取,结合两台工业机器人主从式协调控制方式,完成零件装配任务。在自主开发的平台上进行实验,结果表明了所提出的方法能够快速地识别和定位出目标零件并且在仿真平台上成功地模拟了零件协调装配的整个过程。     

基于Inception-SSD算法的零件识别

针对传统目标检测方法不能兼顾目标识别精度和检测实时性,且在实际生产复杂工况下识别效果不佳的问题,提出一种基于Inception-SSD框架的零件深度学习识别方法。首先,提出了融合Inception预测结构的SSD优化框架Inception-SSD,将Inception网络结构引入到SSD网络额外层中,并使用批量标准化模块(BN)和残差结构连接,从而捕获更多目标信息而又不会增加网络复杂性,以提高检测准确率而又不影响其检测速度,并增加算法鲁棒性;然后提出在原损失函数基础上增加排斥损失项以改进损失函数,同时采用一种基于加权算法的非极大值抑制方法,克服模型表达能力不足的缺点。最后,将改进前后SSD算法在自制零件数据集上进行训练和测试,实验结果表明:本文方法在实际生产过程复杂情况下检测准确率达到97.8%,相比原SSD算法提升11.7%,检测速率41 frame/s。在提高检测精度同时还保证了实时性,能够满足实际生产环境零件检测需求。     

基于手势控制的上下料机械手的设计与实现

文中实现了对delta机械手的手势控制,通过手势各方位移动控制机械手的位置;通过手势倾斜控制动平台圆盘的旋转;通过手势合拢与张开控制机械爪的抓取.     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

基于TMS320DM642实时手势识别系统的研究

为满足人机交互系统中手势识别与理解的需要,提出了一种基于TMS320DM642的实时手势识别系统.整个系统由手势图像采集、手势图像处理和匹配识别组成.实验结果表明,该系统通过手势图像预处理、肤色分割、特征提取及识别等算法的实现,能正确识别待测的手势图像,其速度可以满足后端处理的需要,可为下一步人机交互系统中手势的理解和...     

基于OBB算法和数据手套的模具虚拟装配系统研究

开发了一个基于MFC的半沉浸式模具虚拟装配系统M—VAS,应用OBB算法有效解决了虚拟操作中的碰撞检测、手的穿透防止、抓取释放等关键问题,为克服传统防穿透算法的失真,提出了一种新的基于前向预防的防穿透机制。通过复杂电机壳体模具的装配仿真实验,表明该系统具有较理想的反应速度和操作真实感,为模具的数字化设计与制造提供了一种技术手段。     

Hand gesture recognition using valley circle feature and Hu’s moments technique for robot movement control

Hand gesture recognition is a simpler and more natural way of human computer interaction. The goal of this paper is to detect the continuous gestures and use them to convey information for the robot movement control. So the hand gesture recognition requires fast and extremely robust. In this paper, three strategies were used to realize the hand gesture recognition: (1) the valley circle (VC) was created for the first stage of 6 fingertip numbers classification; (2) the hybrid feature vector of Hu’s moments, convexity and compactness (HCC) were constructed for the second stage of gesture recognition of the remainder unknown gesture classes; (3) a new template matching recognition (NTMR) algorithm was proposed to realize 10 gesture classes recognition. To test the hand gesture recognition method, the robot movement control system was built. It is experimental proved that the NTMR algorithm is effective and corrective for the hand gesture recognition. It increased the recognition accuracy by 4% and decreased the recognition duration by 112 ms compared with Hu’s moment method. It had good performances of the real-time hand gesture acquisition and information conveyance, and it had the invariant properties when the gesture was rotated and shifted and scaled.     

基于双流卷积神经网络的肌电信号手势识别方法

面向高性能的肌电控制系统,提出一种基于双流卷积神经网络的肌电信号手势识别方法,其从原始表面肌电信号中提取离散小波变换系数,与原始表面肌电信号分别作为双流卷积神经网络两个分支的输入进行高层特征学习,最终通过一个高层特征融合模块对两个分支学习得到的高层特征进行融合.所提方法在3个包含50～52类手势动作表面肌电信号的大规模...     

基于视觉引导的工业棒材上料系统研究

为了提高生产效率,设计一种基于视觉引导的工业棒材上料系统。首先,为了实现视觉引导进行工业棒材上料,设计了工业棒材上料总体方案,并对上料机械结构模型进行选型设计。然后,为了实现棒材的自动识别和位姿检测,提出了一种基于改进YOLOv5的旋转目标识别与定位算法。该方法在YOLOv5主干特征网络上,添加高效ECA通道注意力机制模块,利用其避免降维,并通过适当跨通道交互策略提高特征提取能力;为了增强不同尺度的特征信息融合,将原特征增强网络替换成BiFPN加权双向特征金字塔网络,进行自上而下和自下而上的多尺度特征融合,提高棒材识别准确率并获取平面位置信息;在此基础上,采用双目视觉进行立体匹配获取棒材的深度位置信息,最终实现棒材立体位姿检测。对所提上料系统进行实验验证,棒材识别的平均精度为99.4%,抓取棒材成功率达到90%及以上。     

基于傅里叶描述子的手势轨迹模板匹配方法

针对手机移动平台中人机交互的问题及手势识别中的时域问题,提出基于视觉的手势轨迹识别作为人与手机交互的方式。利用傅里叶描述子对手势轨迹进行特征描述,并结合置信度对动态手势轨迹进行分类。文中先对手势视频进行运动检测,利用基于颜色的粒子滤波器对手部进行跟踪以获取手势中心运动轨迹,对所得的运动轨迹进行闭合化处理,使得轨迹变成封闭曲线集,对封闭曲线集进行傅里叶变换,使得运动轨迹具有平移、缩放和旋转不变性,利用所得的傅里叶描述子与模板进行匹配,在一定范围内具有良好的稳定性。同时提出变形系数来描述采样所得运动轨迹的扭曲变形程度。实验结果表明该方法在变形系数为0.3以下时具有较高的准确性。     

基于电学测量的智能手势识别方法研究

随着计算机的广泛应用和可穿戴电子设备的发展,将人机交互和可穿戴设备相结合逐渐成为研究热点,其中手势识别技术在人机交互领域扮演着重要的角色。主要提出基于电学测量的智能手势识别方法,利用传感器设备采集手腕边界电压数据,同时利用深度神经网络将采集到的电压数据进行分类,最终实现手势识别的目的。实验验证了通过电学测量数据对手势分类的可行性,将深度神经网络加入到手势识别系统中后,手势正确识别率达到90%以上,从而证明了系统具有较好的便携性、稳定性和实时性,为智能手势识别系统的设计提供了新思路。     

面向飞机自动化装配的机器人工作姿态规划

根据飞机部件自动化装配机器人的工作条件和特点,通过有限元分析和离线编程的方法,对同一位置、不同姿态的机器人受力状态进行分析,以机器人的应力、应变、位移作为规划的依据,规划出机器人对绝对定位精度影响最小的受力状态最优工作姿态,并通过实验的方式对规划结果进行了验证。     

Small sample parts recognition and localization from unfocused images in precision assembly systems using relative entropy

Recognition and localization of mechanical parts using machine vision is a common approach in precision assembly systems. However, positional inaccuracy in assembly systems often produces unfocused images. Hence, existing methods of part recognition and localization are vulnerable to failure. In this paper, we present a part recognition and localization method, based on relative entropy, which can be applied to small samples. First, a template image is generated based on the contour of the parts and divided into several regions. The intensity distribution of the regions was sampled to generate template features. Then, the captured image is segmented using the Gaussian mixture model and the expectation maximum algorithm to extract the target part in the image. Part features are also generated by sampling the target part image using the template features. Furthermore, an optimization model is established in which the objective function is the sum of the relative entropy between the image features, the template features, and the region matching error correction term. By solving the optimization model, the location of the part can be obtained. The proposed method is compared with the edge and invariant feature-based methods through experiments. The results show that the proposed method has higher robustness and is suitable for the recognition and localization of parts with unfocused images. By using this method, the flexibility and reliability of precision assembly systems can be improved.