采用改进粒子群优化粒子滤波的三维人手跟踪

针对高维人手状态空间中的采样稀疏问题,提出了一种基于改进粒子群优化粒子滤波的关节人手跟踪方法,用于从Kinect获取的深度图像序列中恢复三维人手运动。首先,利用简单几何基元建立三维人手模型,并为其添加自由度节点,用于在跟踪过程中生成可与观测特征进行比较的人手姿势假设。然后,在粒子滤波框架下,使用深度图像作为观测输入,融合深度特征与区域特征建立了系统观测模型。最后,将粒子群优化粒子滤波应用于关节人手运动跟踪。为避免在高维空间中的早熟收敛问题,利用模拟退火思想和局部随机化方法对算法进行改进,增强了算法的全局搜索能力。通过合成序列和真实序列上的跟踪实验对该方法进行了评价,结果表明该方法的关节角度跟踪误差均值约为2.3°,标准差约为1.7°,优于标准粒子滤波和标准粒子群优化跟踪方法,可以准确、鲁棒地从深度图像跟踪三维人手运动。     

基于OSG与Qt的FAST三维场景仿真

为解决FAST基地可视化的问题,开发了一套基于OpenSceneGraph(OSG)与Qt的三维场景仿真系统。通过三维建模,计算机程序自动化布局,OSG虚拟场景搭建等,将FAST的场景进行仿真显示。通过数据驱动实现对虚拟场景的实时更新,同时采用OSG的粒子系统来模拟雨雪天气特效场景。该系统将FAST的场景实时显现在技术工作人员面前,具有场景漫游,动态演示等基本人机交互功能,可为FAST基地的实践工作提供辅助决策依据。     

基于RGB-D相机的多视角机械零件三维重建

为了低成本且高效的实现对机械零件的三维重建和参数测量,研究了利用RGB-D相机从6个角度拍摄机械零件,获得零件不同角度的深度图像与彩色图像,通过坐标转换将深度图像转换成点云数据。首先利用滤波算法去除点云噪声,分割出机械零部件的点云数据,并利用PCA主成分分析法计算点云数据的法向量;使用最近点迭代算法（ICP）实现相邻三视角点云数据的配准,得到正背面的点云,将正背面点云进行旋转融合得到最终的目标点云数据;最后使用泊松重建算法得到完整闭合的零件三维模型。实验结果表明本文的三维重建方法具有较好的鲁棒性和准确性,重建得到的三维模型细节清晰,点云误差较小。     

基于Kinect的机械臂增强现实示教研究

机械臂广泛地应用在工业自动化生产以及人们日常生活中,机械臂而示教学习作为一种重要的运动规划方式,是机械臂研究领域的一项重要研究内容。鉴于此,设计了一种基于Kinect的虚拟机械臂增强现实示教系统,通过Kinect传感器采集人手位置数据,利用机械臂逆运动学模型驱动虚拟机械臂跟踪人手运动,实现对机械臂的虚拟示教;利用增强现实技术,将虚拟机械臂叠加到真实环境中,实现对机械臂的增强现实示教。实验结果表明该系统能够将虚拟机械臂准确地叠加到真实环境中,并实时跟踪人手运动,系统具有良好的交互性。     

基于深度图像的零件识别及装配监测

针对机械产品装配中零件和装配体的识别、监测问题,提出一种基于深度图像和像素分类的装配体零件识别及装配监测方法。首先构建装配体深度图像标记样本集,包括合成标记样本集和真实标记样本集;然后提取深度差分特征,利用随机森林分类器对深度图像的像素进行分类,获取像素预测图像;最后通过对比像素预测图像和颜色标签图像对装配体各零件进行识别,并对比待测状态像素预测图像和正确装配像素预测图像,实现对装配过程的监测。为了提高边缘像素点的分类准确率,引入边缘因子。实验结果表明,该方法不但准确率高,而且兼具一定实时性和鲁棒性,在装配维修诱导、装配监测和自动化装配领域具有一定应用价值。     

基于Kinect的投影式增强现实 装配诱导系统研究

针对大批量定制中产品装配工艺转换快、效率低、易出现差错等问题,提出并设计了一种投影式增强现实装配诱导系统。对装配诱导过程中操作者所需穿戴设备和手动操作计算机设备优缺点进行了归纳,系统将文字、图片和三维动画等诱导信息投影到真实装配场景中,诱导操作者完成了产品装配,并对此进行了测试;利用骨骼跟踪技术和人手边缘轮廓提取方法进行了手势识别研究,提出了一种装配诱导过程中的徒手交互方法,利用Kinect跟踪操作者头部方位,提出了一种基于视点跟踪自动变换投影图像,以及使投影内容随操作者视点变化的投影增强现实方法。研究结果表明:该系统可提高装配诱导过程中的人机交互性能和装配效率,具有一定的工程应用价值。     

基于深度学习的RV减速器装配过程监测系统

针对机械产品装配过程中容易产生的漏装问题,以RV减速器为研究对象,提出一种基于深度学习的装配过程监测系统。搭建装配过程监测系统实验台,使用RGB D相机采集装配体深度图像和彩色图像;利用深度学习中语义分割和目标检测算法对采集到的深度图像和彩色图像进行预测,获得预测结果;将深度学习算法、视频采集等功能集成到装配过程监测软件中,实现了RV减速器装配过程监测。实验结果证明：此软件可以正确监测装配过程中每个零件是否存在漏装情况,并具有一定的实时性。     

基于OSG的FAST三维运动仿真系统

500米口径球面射电望远镜(FAST)具有零部件繁多、技术密集等特点，在进行观测活动时需要各部门之间协调配合，为了能够有效地对FAST观测活动进行模拟和规划，提出一种基于OpenSceneGraph(OSG)和Qt的FAST三维运动仿真系统。利用Qt建立交互式界面，OSG建立FAST的虚拟场景，分析了抛物面、馈源舱以及钢索的运动过程，对其主要的运动部件进行了运动仿真。并且建立了馈源舱位置姿态的Redis数据库，利用数据库中的数据驱动馈源舱和钢索进行运动，将三维仿真运动系统与FAST工程对接，为日后FAST数字孪生系统的实现打下基础。实验表明，该系统可以对FAST系统观测活动进行运动模拟，对FAST运动规划和作业指导具有重要的意义。