基于YOLOv3和EPnP算法的多药盒姿态估计

针对机械臂药盒抓取操作中对药盒定位和姿态估计的要求,提出一种基于YOLOv3深度学习算法和EPnP算法相结合的多药盒姿态估计方法,此方法主要分为多药盒定位和姿态估计两部分;首先通过YOLOv3算法实现药盒的快速精确定位,并通过定位框分割出单个药盒;然后进行特征提取和特征匹配并估计单应矩阵;通过单应矩阵的透视矩阵变换求得药盒平面4个角点的像素坐标并作为EPnP求解所需的2D点,结合药盒先验尺寸信息在相机坐标系下构建药盒对应的3D点坐标以实现药盒姿态求解;通过结合OptiTrack系统设计了药盒姿态精度对比实验,结果表明,该算法充分发挥了YOLOv3算法兼具快速性和准确性的优势,并且具有良好的姿态估计精度,总体算法速度达到15 FPS,药盒姿态估计平均误差小于0.5°。     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

3D视觉结合图像检测与导纳控制的圆轴孔零件机器人装配

面向机器人柔顺装配圆轴与圆孔零件,建立基于3D、单目视觉与导纳控制的机器人自动装配系统,提出基于三维点云的轴线位姿估计算法、图像深度学习目标检测、导纳控制结合的圆轴孔零件的装配策略.针对3D视觉估计圆孔零件位姿问题,重点研究基于三维点云的轴线位姿估计算法.首先,介绍三维点云关键点选取方法;然后,以点云表面法线与轴线的几何约束为基础,提出并分析轴线粗估计的算法;最后,在轴线粗估计的基础上,提出并分析基于迭代鲁棒最小二乘的轴线位姿优化的算法.实验结果表明:轴线位姿估计的角度均方根误差为0.248°,位置均方根误差为0.463 mm,与现有流行的轴线估计方法相比,所提方法的精度更高,使装配策略很好地满足了机器人圆形轴孔零件装配的精度高、稳定可靠的要求.     

室内环境下基于平面与线段特征的RGB-D视觉里程计

针对室内环境的结构特点,提出一种使用平面与线段特征的RGB-D视觉里程计算法．首先根据RGB-D扫描点的法向量对3D点云进行聚类,并使用随机抽样一致（RANSAC）算法对每簇3D点集进行平面拟合,抽取出环境中的平面特征;随后利用边缘点检测算法分割出环境中的边缘点集,并提取出环境中的线段特征;然后提出一种基于平面与线段几何约束的特征匹配算法,完成特征之间的匹配．在平面与线段特征匹配结果能提供充足的位姿约束的条件下,利用特征之间的匹配关系直接求解RGB-D相机的位姿;若不能,则利用匹配线段的端点以及线段点集来实现RGB-D相机位姿的估计．在TUM公开数据集中的实验证明了选择平面与线段作为环境特征可以提升视觉里程计估计和环境建图的精度．特别是在fr3/cabinet数据集中,本文算法的旋转、平移的均方根误差分别为2.046°/s、0.034m/s,要显著优于其他经典的视觉里程计算法．最终将本文系统应用到实际的移动机器人室内建图中,系统可以建立准确的环境地图,且系统运行速度可以达到3帧/s,满足实时处理的要求．     

基于深度学习的刚体位姿估计方法综述

刚体位姿估计旨在获取刚体在相机坐标系下的3D平移信息和3D旋转信息，在自动驾驶、机器人、增强现实等快速发展的领域起着重要作用。现对2017-2021年间的基于深度学习的刚体位姿估计方向具有代表性的研究进行汇总与分析。将刚体位姿估计的方法分为基于坐标、基于关键点和基于模板的方法。将刚体位姿估计任务划分为图像预处理、空间映射或特征匹配、位姿恢复和位姿优化4项子任务，详细介绍每一类方法的子任务实现及其优势和存在的问题。分析刚体位姿估计任务面临的挑战，总结现有解决方案及其优缺点。介绍刚体位姿估计常用的数据集和性能评价指标，并对比分析现有方法在常用数据集上的表现。最后从位姿跟踪、类别级位姿估计等多个角度对未来研究方向进行了展望。     

基于点线相合的机器人增量式地图构建

提出基于测量数据点和已构建地图线的最佳相合性增量式构建未知环境地图的方法,将机器人地图构建过程分解为局部地图构建、机器人位姿估计和地图合并3个循环步骤,在局部地图构建中,采用哈夫变换拟合、同线性判断和最小二乘拟合相结合的方法从测量数据点中拟合得到局部线段集合,在位姿估计时,首先利用点线匹配寻找测量数据和已构建地图之间的匹配关系,然后通过去除不当匹配和引入加权矩阵来减小测量误差和已构建地图中的不确定性对位姿估计的影响,最后利用加权最小二乘法估计机器人的位姿,使得匹配部分达到最佳相合,同时提出虚拟线和虚拟点的方法解决由伪相合条件所引起的错误位姿估计问题,实验结果证明了算法的有效性和鲁棒性,适于构建室内环境地图。     

基于共面圆的距离传感器与相机的相对位姿标定

近年来, 距离传感器与摄像机的组合系统标定在无人车环境感知中得到了广泛的研究与应用, 其中基于平面特征的方法简单易行而被广泛采用. 然而, 目前多数方法基于点匹配进行, 易错且鲁棒性较低. 本文提出了一种基于共面圆的距离传感器与相机的组合系统相对位姿估计方法. 该方法使用含有两个共面圆的标定板, 可以获取相机与标定板间的位姿, 以及距离传感器与标定板间的位姿. 此外, 移动标定板获取多组数据, 根据计算得到两个共面圆的圆心在距离传感器和相机下的坐标, 优化重投影误差与3D对应点之间的误差, 得到距离传感器与相机之间的位姿关系. 该方法不需要进行特征点的匹配, 利用射影不变性来获取相机与三维距离传感器的位姿. 仿真实验与真实数据实验结果表明, 本方法对噪声有较强的鲁棒性, 得到了精确的结果.     

动态场景下结合语义的半直接法视觉里程计

针对传统视觉里程计方法在动态环境中跟踪效果差、容易失效的问题,提出了一种适用于动态场景下融合语义的半直接法视觉里程计,主要由语义分割、位姿跟踪和地图管理三部分组成。首先,使用语义分割网络Mask R-CNN对每一帧图像进行语义分割,得到语义分割二值图,结合语义先验信息删除动态特征;然后,利用静态部分特征进行帧间对齐和特征匹配完成位姿跟踪;最后,通过筛选关键帧和更新3D点深度对地图更新,并利用光束平差算法对局部地图的位姿和3D点进行优化。在公共数据集TUM RGB-D的动态序列集上的实验结果表明,该方法与ORB-SLAM2、OpenVSLAM相比,其跟踪误差分别减少了68%和72%,验证了该方法在动态场景中位姿跟踪的准确性。     

基于迭代最近点的井下无人机实时位姿估计

针对煤矿井下无GPS信号、低照度、结构化环境等特点,提出了一种基于迭代最近点(ICP)的井下无人机实时位姿估计方法。通过建立四旋翼无人机运动模型与机载激光雷达观测模型,将煤矿井下四旋翼无人机位姿估计问题转换为机载激光点云数据的扫描匹配问题。用三维激光雷达作为四旋翼无人机机载环境测量传感器,得到无人机当前位姿下的观测点云数据;以第1帧位置为初始位,通过ICP方法得到连续2帧点云数据之间的相对变换矩阵,迭代求解连续关键帧点云数据,得到煤矿井下四旋翼无人机实时位姿估计结果。采用滤波与下采样方法对点云数据进行优化,加速变换矩阵的求解,满足四旋翼无人机位姿估计实时性需求。实验结果表明,基于ICP的井下无人机实时位姿估计方法能够快速、有效地求解四旋翼无人机位姿,相比于正态分布变换方法,ICP方法更适用于煤矿井下四旋翼无人机的实时位姿估计。     

基于JSP分页技术的研究

电子商务应用中的数据量往往非常大,甚至会达到几十万到几千万条记录的规模,将如此大量的数据显示在一个页面里困难大、效率低。在这种情况下就需要采用分页显示技术将数据库中符合条件的数据逐页显示给用户。对JSP分页技术进行比较,在分析JSP分页技术特点的基础上,提出一种有效的分页解决方案,同时对分页技术的优化进行阐述。     

系统集成芯片综述

集成电路芯片工艺的发展已可使一个系统或一个子系统集成在一个芯片上 ,称为系统集成芯片。本文综述了系统集成芯片的硬件构造、超长指令 (VLIW )结构、芯片嵌入软件及软硬件协同设计方法。     

基于VRML的网上虚拟教室漫游研究

以一个虚拟教室为例进行3D虚拟漫游的初步设计．这种方式不同于目前网上的虚拟教室。介绍在WWW上采用VKML实现虚拟教室漫游系统的特点、VRML的工作模式和造型机制,采用了基于几何图形的建模方法,探讨场景中交互设计实现的方法,提出碰撞检测技术的应用．实现网上发布和优化。     

Hibernate技术在基于GIS数据库中的应用研究

空间信息的存储和处理问题是地理信息系统(GIS)的核心问题.对空间数据和属性数据的统一存储管理已成为必然趋势.本文通过对GIS中海量数据的存储方式进行研究,指出对象-关系型的数据库存储方式是空间数据库的发展方向.在此基础上讨论了Hibernate技术与GIS数据库的结合,使用Hibernate技术将关系数据库中空间数据和属性数据进行封装,屏蔽了数据库底层操作,使得程序员可以用面向对象的思想随意操纵数据库,在利用了关系数据库的快速检索、查询能力的同时也增强了数据的一致性和可移植性.     

基于移动agent的分布式视频点播系统的研究

该文通过对移动agent技术和传统的视频点播系统的研究,提出了一种基于移动agent的分布式视频点播系统的设计和构造,具体地阐述了系统的工作流程,并着重讨论了实现该系统所要考虑的关键问题。移动agent的引入有效地减少了网络传输负载,实现了高速响应点播请求、高质量的影音效果,从而更好地满足更多用户的需求。     

基于FPGA的立方星可重构星载处理系统研究

为了以最小代价提高立方星可重构星载计算机的可靠性,提出了一种基于FPGA的立方星可重构星载处理系统架构。首先,在对国内外微纳卫星星载计算机设计特点进行分析的基础上,分别采用基于SRAM架构和基于Flash架构的FPGA作为核心处理模块与外部表决接口模块,兼顾了系统的运算速度与可靠性。其次,针对可重构星载处理系统中所涉及的可重构策略、在线重构技术以及系统同步技术进行了详细设计。最终,基于所设计硬件系统上进行的测试以及在轨的实测数据验证了该架构的可靠性和有效性。     

基于服务总线（ESB）的应用集成（EAI）探索和研究

科研院所设计研究中各类异构软件应用系统并存,数据和信息在各个应用系统中同步和共享成为现代企业信息化的瓶颈。针对这种现状,文中采用Java技术,通过建立异构系统底层的消息通讯机制,构建连接异构系统的ESB,实现各个异构系统通过ESB进行通讯,最终达到EAI的目的。实际中,基于该ESB构建了船舶设计行业应用软件系统集成平台,在数据集成、应用集成和业务流程集成中取得了较好的效果,肯定了文中成果的可行性。文中重点叙述了所构建的ESB结构图、ESB内部通讯原理及实现中所使用的数据结构,并给出了以该ESB为核心纽带设计的相关EAI平台架构。     

基于SVG的WEBGIS的研究

为了更加适合网上地理信息系统的发布 ,介绍了 SVG作为发布 WEBGIS的一种方法 ,研究了如何用SVG进行地理空间数据的表示、存储和客户端的实现。研究表明 :SVG具有可扩展、可交互、基于 XML和开放标准等特点     

面向Web的文本挖掘技术研究

简要介绍了文本挖掘技术,并描绘了该技术在Web应用特别是信息检索技术中的重要性.再对整个文本知识挖掘过程所涉及的各个方面进行了进一步地研究探讨,包括了文本特征的建立、特征提取、特征匹配、特征集缩减和模型评价等几个方面.其间运用数据挖掘技术对各个过程进行处理,并引进基于评估函数的特征筛选算法、词频矩阵、余弦计算法和潜在语义标引等方法来处理文本挖掘过程所产生的问题.在此基础上得出了一个完整的Web文本挖掘过程.最后展望了文本挖掘技术在Web应用中的前景.     

基于链上数据的区块链欺诈账户检测研究

针对区块链上存在的欺诈账户给交易带来的安全问题,提出了基于机器学习的欺诈账户的检测及特征分析模型,将以太坊上真实的链上数据进行特征提取后作为模型的数据来源,通过对不同的机器学习方法进行比较得到最优模型并进行迭代训练以获得最佳的预测模型,同时引入 SHAP值对数据特征进行分析。实验结果表明,基于XGBoost的欺诈账户检测模型在RMSE、MAE和R2三组指标上达到了0.205、0.084和0.833,优于其余的对比模型,并结合SHAP值识别出预测欺诈账户的关键因素,为区块链的交易安全提供决策参考。