面向机械臂的抓取位姿检测

针对结构化环境和单一已知目标的抓取方面,搭载末端夹持器机械臂抓取技术取得了显著进展。但当工作场景环境不明、工作目标形状各异时,机械臂容易受环境光照变化、物体遮挡的影响,为此,本文深入研究了机械臂抓取系统流程和抓取方法,设计了基于卷积神经网络自主检测机械臂抓取位姿的方法。     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度....     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法.该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN(feature pyramid networks)获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向...     

基于人机交互的机械臂位姿自动监视系统设计

为了提高机械臂位姿自动监视和控制能力,提出一种基于人机交互的机械臂位姿自动监视系统设计方法,系统设计包括机械臂的位姿自动控制算法设计和系统硬件设计两部分,采用粒子滤波位姿跟踪方法进行机械臂的动态定位位姿参数信息采集和融合处理,在动态和静态环境下,结合加速全局定位方法进行机械臂位姿自动监视的人机交互设计,构建机械臂人机交互的动态定位控制模型,采用自适应位姿跟踪方法实现对机械臂的位姿自动监视,通过捕捉未知目标的质量特性参数,实现机械臂的位姿自动监视和人机交互设计。通过DSP和嵌入式ARM实现对机械臂位姿自动监视系统的硬件设计。测试结果表明,采用该方法进行机械臂位姿自动监视的自动化水平较高,智能性较好,提高了机械臂的位姿自动监视和控制能力。     

基于卷积神经网络的机械臂抓取控制系统设计

为保证机械臂的抓取精度,保证物体抓取的稳定性,本文设计基于卷积神经网络的机械臂抓取控制系统。在系统硬件部分,加设图像、位置和压力传感器,改装机械臂抓取控制器和运动驱动器,利用图像传感器设备,获取满足质量要求的机械臂抓取目标图像,为机械臂抓取控制功能提供硬件支持。软件部分利用卷积神经网络算法提取图像特征,确定机械臂抓取目标位置。结合机械臂当前位置的检测结果,规划机械臂抓取路线,预估机械臂抓取角度与抓取力。最终通过机械臂抓取参数控制量的计算,在控制器的支持下实现系统的机械臂抓取控制功能。实验结果表明,所设计系统应用下位置控制误差和速度控制误差的平均值分别为0.192m和0.138m/s,同时物体抓取掉落概率明显降低。     

基于ROS的七自由度机械臂抓取系统研究

针对移动机器人上的七自由度机械臂进行系统设计,以完成目标检测、跟踪和抓取等工作.该系统包括上位机、图像采集设备和机械臂控制三大部分,在ROS Kinetic框架下让Franka Panda机械臂和Kinect V1摄像头协同工作.采用Linemod方法提取图像特征,可在较短训练时间内从RGBD信息中得到物体的信息、位姿...     

基于卷积神经网络的改进机械臂抓取方法

为了提高机械臂抓取的精度,提出一种基于Mask R-CNN的机械臂抓取最佳位置检测框架。基于RGB-D图像,所提框架通过精确的实例分割确定抓取对象的类别、位置和掩码信息,由反距离加权法在去噪后的深度图上获取中心点的加权深度坐标,构成目标对象的三维目标位置,经坐标系转换得到最终的最优抓取位置。建议的框架考虑到目标对象的姿态与边缘信息,可以有效地提高抓取性能。最后,基于UR3机械臂上的抓取实验结果验证了该框架的有效性。     

基于上下文聚合策略的轻量级编/解码抓取位姿检测

针对多样性目标在非结构化环境中的抓取位姿难以估计的问题,提出一种基于上下文聚合策略的轻量级编/解码抓取位姿检测网络。首先,以编/解码网络架构为基础,利用深度可分离卷积层与混洗单元构建目标特征深度分离-融合提取块,减少编码网络参数量,增强网络对抓取区域特征的提取能力;其次,利用双线性插值法和深度可分离卷积层建立深度分离-重构块,在恢复高层特征丢失信息的同时,有效减少解码网络的参数量;最后,针对可抓取区域像素点与目标物体全貌之间的非一致性问题,基于交叉熵辅助损失和自注意力机制,提出一种抓取区域上下文聚合策略,引导网络增强可抓取目标区域特征的表征能力,抑制非抓取像素点的冗余特征。实验结果表明,所提网络在Cornell数据集的图像拆分与对象拆分子集上抓取检测准确率分别可达97.8%与93.8%,单张图像检测速度可达64.93张/秒;在Jacquard数据集上抓取检测准确率可达95.1%,单张图像检测速度可达60.6张/秒。与对比网络相比,所提网络不仅计算量与参数量较小,而且抓取检测的准确率与速度均有明显提升,在真实场景下对9种物体的抓取检测验证中,抓取成功率达到93.3%。     

基于仿人机械手的五指力封闭抓取算法

手是人类在长期进化过程中形成的最完美的工具,能够灵活、精细的进行抓取物体等操作。机械手设计初衷是取代人手完成工作,是机器人系统的重要组成部分,因此抓取物体等操作一直是仿人机械手的研究重点。传统的抓取方法是利用机械手三指形成力封闭完成任务。但由于机械手本身结构复杂等原因,易出现控制信号偏差或某自由度未达到要求水平,使得抓取过程中目标物体脱落等问题。为了使机械手达到稳定抓取的效果,本文提出了一种效仿人手抓取的五指力封闭抓取算法,其本质是利用冗余机制解决传统三指抓取过程中可能出现的抓取不平稳或脱落的问题。首先,基于三指力平衡算法的思想上提出了满足五指力封闭抓取算法的条件。然后,对五指力封闭抓取算法进行了充分性和必要性的证明。最后,通过仿真环境下的实验抓取不同目标物体,验证了五指力封闭算法的可行性及必要性。     

结合空间注意力多层特征融合显著性检测

目的 多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法 为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果 本文在DUTS,DUT-OMRON（Dalian University of Technology and OMRON Corporation）,HKU-IS和ECSSD（extended complex scene saliency dataset） 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值（MaxF）提高了1.04%,平均绝对误差（mean absolute error,MAE）下降了4.35%,准确率—召回率（precision-recall,PR）曲线、结构性度量（S-measure）等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论 本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。     

基于多级特征和混合注意力机制的室内人群检测网络

针对室内人群目标尺度和姿态多样性、人头目标易与周围物体特征混淆的问题,提出了一种基于多级特征和混合注意力机制的室内人群检测网络（MFANet）。该网络结构包括三部分,即特征融合模块、多尺度空洞卷积金字塔特征分解模块以及混合注意力模块。首先,通过将浅层特征和中间层特征信息融合,形成包含上下文信息的融合特征,用于解决浅层特征图中小目标语义信息不丰富、分类能力弱的问题;然后,利用空洞卷积增大感受野而不增加参数的特性,对融合特征进行多尺度分解,形成新的小目标检测分支,实现网络对多尺度目标的定位和检测;最后,用局部混合注意力模块来融合全局像素关联空间注意力和通道注意力,增强对关键信息贡献大的特征,来增强网络对目标和背景的区分能力。实验结果表明,所提方法在室内监控场景数据集SCUT-HEAD上达到了0.94的准确率、0.91的召回率和0.92的F1分数,在召回率、准确率和F1指标上均明显优于当前用于室内人群检测的其他算法。     

Generative model based robotic grasp pose prediction with limited dataset

Applied Intelligence - In the present investigation, we propose an architecture which we name as Generative Inception Neural Network (GI-NNet), capable of predicting antipodal robotic grasps...     

基于部位检测的人体姿态识别

为实现较高准确率的基于低分辨率深度图像的人体姿态识别,以Shotton算法为基础,提出了合并部位的方法.利用随机森林检测人体的31个部位,将人体的较小部位合并或者把较小部位划分到相邻的主要部位中去,用均值偏移算法获取各部位关节点的位置.鉴于目前还没有公开的人体姿态深度图像库,改进后的方法利用计算机图形学技术构建了数据集.实验结果表明,改进后的方法提高了低分辨率图像中人体关节点的平均预测准确率,与Shotton算法中要求具有高性能的训练平台相比,该方法在普通PC上就能够很好地运行.     

基于姿态估计的实时跌倒检测算法

为了快速、准确地检测老年人跌倒事件的发生,给出一种基于姿态估计的实时跌倒检测算法.首先利用基于深度学习的人体姿态估计算法得到人体关节点的坐标;然后,通过计算人体质心点的下降速度、跌倒后颈部关节点的纵坐标值是否大于阈值、以及肩部和腰部关节点的相对位置关系来判断跌倒是否发生.所给出的跌倒检测算法利用单目相机进行检测,便于以嵌入式方式应用于机器人.实验结果表明,所提出算法与当前先进方法相比取得了较好的效果.     

一种基于多层语义特征的图像理解方法

视觉场景理解包括检测和识别物体、推理被检测物体之间的视觉关系以及使用语句描述图像区域.为了实现对场景图像更全面、更准确的理解,将物体检测、视觉关系检测和图像描述视为场景理解中3种不同语义层次的视觉任务,提出一种基于多层语义特征的图像理解模型,并将这3种不同语义层进行相互连接以共同解决场景理解任务.该模型通过一个信息传递图将物体、关系短语和图像描述的语义特征同时进行迭代和更新,更新后的语义特征被用于分类物体和视觉关系、生成场景图和描述,并引入融合注意力机制以提升描述的准确性.在视觉基因组和COCO数据集上的实验结果表明,所提出的方法在场景图生成和图像描述任务上拥有比现有方法更好的性能.     

基于多级签名匹配算法的Android恶意应用检测*

针对Android恶意应用泛滥的问题,提出了一种基于恶意应用样本库的多级签名匹配算法来进行Android恶意应用的检测。以MD5哈希算法与反编译生成的smali文件为基础,生成API签名、Method签名、Class签名、APK签名。利用生成的签名信息,从每一类恶意应用样本库中提取出这类恶意行为的共有签名,通过匹配待检测应用的Class签名与已知恶意应用样本库的签名,将待测应用中含有与恶意签名的列为可疑应用,并回溯定位其恶意代码,确定其是否含有恶意行为。在测试中成功的发现可疑应用并定位了恶意代码,证明了本系统的有效性。     

Robotic grasp detection based on image processing and random forest

Multimedia Tools and Applications - Real-time grasp detection plays a key role in manipulation, and it is also a complex task, especially for detecting how to grasp novel objects. This paper...