基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

基于ROS的七自由度机械臂抓取系统研究

针对移动机器人上的七自由度机械臂进行系统设计,以完成目标检测、跟踪和抓取等工作.该系统包括上位机、图像采集设备和机械臂控制三大部分,在ROS Kinetic框架下让Franka Panda机械臂和Kinect V1摄像头协同工作.采用Linemod方法提取图像特征,可在较短训练时间内从RGBD信息中得到物体的信息、位姿和可信度,同时根据Franka Panda机械臂的结构建立D-H参数表、进行正运动学分析,并提出使用几何法来求Franka Panda的逆解.对机械臂进行了轨迹规划分析,提出改进RRT *的路径规划算法和轨迹规划总体方案.最后进行了机械臂仿真和系统抓取实验,研究结果表明使用的方法合理,系统可完成目标检测、定位和抓取任务.     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法。该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN（feature pyramid networks）获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向坐标映射为抓取方向的分类任务,使用ROI Align进行感兴趣区域提取,评估抓取候选框,获取目标的最优抓取位姿。为验证算法有效性,基于康奈尔抓取数据集开展了抓取位姿估计实验,仿真抓取位姿估计准确度达到96.9%。基于Inter RealSense D415深度相机和UR5机械臂搭建了实物平台,在真实场景下对位姿随机摆放的多样性目标物体进行多次抓取实验,结果显示抓取目标检测成功率为95.8%,机器人抓取成功率为90.2%。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于图像处理的低误差机械臂位姿检测仿真

传统柔性机械臂位姿检测方法在实际应用中无法准确检测机械臂位资的俯仰角、偏航角以及滚转角.为此,提出基于机械视觉的柔性机械臂位姿检测方法.利用TL5147对机械臂位姿图像采集并显示.,通过EDMA传输法完成图像传输,提升程序工作效率.利用四元数算法完成柔性机械臂的空间位姿关系检测,保证机械臂位姿检测的准确性,实现机械视觉...     

基于时域编码结构光的高精度三维视觉引导抓取系统研究

在许多自动化应用场合中,如分拣和上、下料等过程中,机械臂抓取是非常重要的一个环 节。在有遮挡或物体杂乱放置的情况下,对物体进行可靠、快速和精确计算位姿是机械臂抓取的难题之一。该文提出一种针对非规则目标的 3D 视觉引导抓取系统。首先,该系统运用面结构光系统对目标进行高精度三维重建,并建立离线 3D 点云模板库;然后,将标准模板与点云预处理后的场景点云进行匹配,得到匹配参数后,由坐标系之间的转换矩阵计算机器手抓取位姿;最后,引导机器手完成对目标物体的抓取。实验结果表明,所开发的机械臂抓取系统能够对非规则目标进行可靠、快速和精确的 抓取。     

一种视觉引导的作业型飞行机器人设计

针对作业型飞行机器人执行抓取、投放等作业任务时飞行机器人与被抓取目标之间难以相对定位的问题,提出了一种视觉引导的作业型飞行机器人设计方法.首先,介绍作业型飞行机器人系统的整体机构设计,建立飞行器和空中作业装置的运动学和动力学模型.然后,根据针孔成像模型,在ArUco标记尺寸已知的前提下,通过机载的单目摄像头检测被抓目标上的ArUco标记,利用n点透视(PnP)算法解算摄像头位姿,进而利用摄像头位姿信息对飞行器和作业装置进行分级控制.最后,通过静止实验和户外悬停实验验证了位姿估计算法的有效性,并通过自主抓取直径2 cm、质量100 g的管状物体进一步验证视觉引导的有效性和合理性.     

基于虚拟现实技术的移动机器人视觉伺服控制系统设计

为了有效确保移动机器人视觉伺服控制效果,提高移动机器人视觉伺服控制精度,设计了基于虚拟现实技术的移动机器人视觉伺服控制系统。通过三维视觉传感器和立体显示器等虚拟环境的I/O设备、位姿传感器、视觉图像处理器以及伺服控制器元件,完成系统硬件设计。从运动学和动力学两个方面,搭建移动机器人数学模型,利用标定的视觉相机,生成移动机器人实时视觉图像,通过图像滤波、畸变校正等步骤,完成图像的预处理。利用视觉图像,构建移动机器人虚拟移动环境。在虚拟现实技术下,通过目标定位、路线生成、碰撞检测、路线调整等步骤,规划移动机器人行动路线,通过控制量的计算,实现视觉伺服控制功能。系统测试结果表明,所设计控制系统的位置控制误差较小,姿态角和移动速度控制误差仅为0.05°和0.12m/s,移动机器人碰撞次数较少,具有较好的移动机器人视觉伺服控制效果,能够有效提高移动机器人视觉伺服控制精度。     

基于强化学习的煤矸石分拣机械臂智能控制算法研究

针对传统煤矸石分拣机械臂控制算法如抓取函数法、基于费拉里法的动态目标抓取算法等依赖于精确的环境模型、且控制过程缺乏自适应性,传统深度确定性策略梯度(DDPG)等智能控制算法存在输出动作过大及稀疏奖励容易被淹没等问题,对传统DDPG算法中的神经网络结构和奖励函数进行了改进,提出了一种适合处理六自由度煤矸石分拣机械臂的基于强化学习的改进DDPG算法。煤矸石进入机械臂工作空间后,改进DDPG算法可根据相应传感器返回的煤矸石位置及机械臂状态进行决策,并向相应运动控制器输出一组关节角状态控制量,根据煤矸石位置及关节角状态控制量控制机械臂运动,使机械臂运动到煤矸石附近,实现煤矸石分拣。仿真实验结果表明:改进DDPG算法相较于传统DDPG算法具有无模型通用性强及在与环境交互中可自适应学习抓取姿态的优势,可率先收敛于探索过程中所遇的最大奖励值,利用改进DDPG算法控制的机械臂所学策略泛化性更好、输出的关节角状态控制量更小、煤矸石分拣效率更高。     

移动设备佩戴位置自适应识别的跌倒检测方法

随着智能手机的普及,使用移动设备检测跌倒事件正变得越来越有意义。移动设备的佩戴位置作为一种重要的情境信息,影响着跌倒检测活动的识别效果。为此,提出一种移动设备佩戴位置自适应识别的人体跌倒检测方法,首先采用旋转模式分量和姿态角融合的特征提取方法,利用加速度计和陀螺仪数据计算出旋转半径、角速度幅度、姿态角并提取特征,然后用LR（Logistic Regression）模型将其分类得到移动设备的佩戴位置;随后根据位置自适应调整一种基于时序分析的跌倒检测方法。实验结果表明,该方法的移动设备佩戴位置平均识别率为95.32%,在不同位置,时序跌倒检测算法的准确率均在92%以上。与传统跌倒检测方法相比,该方法在不同佩戴位置均有更好的跌倒检测识别效果。     

基于手机平台的Data Matrix 2维条码识别

传统的条码图像采集和识别是通过工业扫描枪。近年来,随着移动增值业务和3G技术的发展,2维条码在手机设备的应用中得到飞速发展。以Data Matrix为例,研究了基于嵌入式手机设备的2维条码识别技术。首先根据Data Matrix条码的特点,给出了一种基于链码跟踪和线段检测的快速Data Matrix检测算法。接着分析了条码信号经过点扩展函数卷积后的降质模型,并利用维纳滤波对条码信号进行反模糊滤波。最后,针对透视畸变的现象,设计了一种适合于嵌入式手机设备的快速反透视算法。实验结果表明,提出的识别算法具有优秀的性能,显著提高了条码的识别率,满足了实际使用的要求。     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

基于机器视觉的圣女果采摘机械臂的动作研究

针对当前圣女果采摘机器人无法保证带蒂采摘的问题,提出一种通过机器视觉进行圣女果姿态分析进而生成特定的机械臂采摘动作的方法;该方法通过模拟人手采摘流程,能够使得机械臂末端执行器到达采摘位置时与圣女果的果蒂方向保持一致;整体系统包括对成熟圣女果的目标检测,测距算法的实现,圣女果方向识别以及机械臂动作生成;根据轮廓拟合算法的思想进行算法改进,实现针对圣女果的更加精确、稳定的方向识别算法,从而获得机械臂末端执行器与圣女果果蒂方向一致的目标位姿,进而实现相应机械臂采摘动作的生成;多次实验表明,改进后的对于圣女果方向的识别算法相较于传统轮廓拟合算法而言误差角度更小,对于不同姿态圣女果的方向识别更具稳定性,因此更加适用于实际采摘流程中根据圣女果姿态生成机械臂的特定采摘动作。     

Using RSS feeds for effective mobile web browsing

While mobile phones are becoming more popular, wireless communication vendors and device manufacturers are seeking new applications for their products. Access to the large corpus of Internet information is a very prominent field. However, the technical limitations of mobile devices pose many challenges. Browsing the Internet using a mobile phone is a large scientific and cultural challenge. Web content must be adapted before it can be accessed by a mobile browser. This work presents a new methodology that uses Really Simple Syndication (RSS) feeds for the adaptation of web content for use in mobile phones. This methodology is based on concrete design guidelines and supports different viewing modes. The mobile tool provided using the RSS feeds is evaluated based on user-centered evaluation and the results are presented.     

六足机器人动态目标检测与跟踪系统研究

动态目标检测与目标跟踪是图像领域的热点研究问题,为研究其在移动机器人领域的应用价值,设计了六足机器人动态目标检测与跟踪系统。针对非刚体运动目标容易被检测为多个分散区域的问题提出区域合并算法,并通过对称匹配、自适应外点滤除对运动背景进行精确补偿,最终基于背景补偿法实现对运动目标的精确检测。研究了基于KCF（Kernel Correlation Filter）的目标跟踪算法在六足机器人平台上的应用,设计了自适应跟踪算法实现六足机器人对运动目标的角度跟踪。将运动目标检测及跟踪算法应用于六足机器人系统。实验表明,在六足机器人移动过程中,系统可对运动目标进行精确检测与跟踪。     

手机恶意软件检测的分布式免疫模型

针对手机恶意软件检测问题,提出一种手机恶意软件检测的分布式模型（MPMD-DIM）,使手机端和分布式检测服务器以及分布式检测服务器之间协同工作,实现快速准确地检测手机恶意软件。模型利用改进的反向选择算法和动态克隆选择算法优化恶意软件检测过程,及时做出免疫响应;通过分布式检测服务器之间的疫苗提取和接种,产生二次免疫应答,加速检测过程。实验表明,该模型可以提高对已知手机恶意软件的检测率,改善对未知和变化的手机恶意软件的检测准确率,实现手机对恶意软件的群体协防。     

基于三维模型的Android手机端人脸姿态实时估计系统

针对人脸姿态估计对系统性能要求高、在手机上运行无法满足实时性要求等问题,实现了一种Android手机端的人脸姿态实时估计系统。首先,由摄像头获得一幅正面和一幅偏移一定角度的人脸图像,利用从运动中构建结构(SfM)算法建立简单三维人脸模型;然后,提取实时人脸图像中与三维人脸模型相互对应的特征点,基于缩放正投影位姿估计(POSIT)算法估计人脸姿态角度;最后将三维人脸模型通过开放图形开发库(OpenGL)实时显示在手机屏幕上。实验结果表明,实时视频中检测人脸姿态并显示的速度可以达到20 frame/s,接近计算机端的基于仿射对应的三维人脸姿态估计算法,而且针对大量图片序列的检测可以达到50 frame/s,能够满足Android手机端的性能和检测人脸姿态的实时性要求。