虚拟环境中的多手指抓取操作技术

抓取操作是虚拟手操作的关键部分.为了实现无力反馈条件下抓取的真实准确,提出一种虚拟环境中的虚拟手抓取方法.通过建立虚拟手结构模型和采用状态变换描述抓取过程,实现了未被抓取和被抓取时的模型运动控制;对逆运动学循环坐标下降算法进行改进,并结合正向运动学方法调整手指姿态,解决了手指穿透问题;通过确立抓取条件,保证了抓取操作的真实准确.利用二次开发环境CAA将数据手套与CATIA V5集成,在无力反馈虚拟原型系统中实现了简单模型的抓取,证明了文中方法的正确性及实时性.     

增强现实系统中基于视觉感知的抓取识别

增强现实系统采用单目光学透视式头盔时必然会使虚拟物体呈现在真实物体之前,使用户无法得知应该在何处抓取虚拟物体,并且系统所得到的抓取数据也会受硬件本身、人和环境等因素影响而产生偏差.从人的视觉感知习惯入手,利用机器人学和光线几何理论实现基于视觉感知的碰撞检测;通过分析抓取过程,得出3条抓取知识规则,并将其与模糊理论结合应用于证据推理.实验结果表明,采用文中方法,用户能轻松地实现抓取,整个交互过程相当自然.     

水下智能识别与自主抓取机器人设计与实现

设计了一款面向海珍品捕捞的水下智能识别与自主抓取机器人. 首先通过YOLOv4-tiny网络对海珍品图像 离线训练, 设计单双目自适应切换与多目标选择算法以实现海珍品在线识别与持续定位. 进一步, 采用声呐与深度 传感器融合策略获取水下机器人深度信息, 设计基于模糊比例–积分–微分控制的定深抓取控制器, 以确保目标定位 与抓取过程中深度信息的有效反馈. 所提目标识别算法, 具有实时性强、复杂度低优点; 同时, 定深与抓取控制器, 不依赖于系统复杂模型, 可适应不同海况下的精确抓取. 最后, 通过试验验证了方法的有效性.     

基于虚拟手的人机交互关键技术

基于虚拟手的人机交互技术是虚拟现实中的研究热点。对其中的关键技术进行了研究,采用多边形网格建模方法,建立了虚拟手的逼真几何模型;基于Virtools平台开发了数据手套的数据采集模块,提出使用基于初始值的数据转换方法,解决了开始运动时的跳变问题,同时对手指的外展运动,使用约束值方法进行处理,提高了虚拟手与真实人手匹配一致性;最后,针对虚拟手与虚拟物体的操作交互,提出了一种基于有效阈值角度的抓取算法。通过Virtools平台进行验证,实验结果表明:虚拟手模型逼真度高,手型变化自然;同时实现了虚拟手对虚拟物体的操作交互,具有很强的实用性。     

一种可感知三维力的新型柔性触觉传感器及滑觉识别算法研究

针对智能机器人在软抓取过程中对三维力感知和滑觉识别的需求,以炭黑/石墨烯为敏感材料,硅橡胶为基体,聚酰亚胺为柔性电极,设计了可以实现三维力感知的柔性触觉传感器;同时设计了一种可以实现滑觉识别的基于小波变换-相空间重构-支持向量机(DWT-PSR-SVM)的融合算法.针对机器人软抓取的实验结果表明,该传感器能够有效地检测三维力,通过所设计融合算法能识别在机器人抓取任务中的滑动状态和非滑动状态,可以进一步应用在机器人软抓取的工作中.     

基于非结构基本组成分析的自主抓取方法

针对现实生活中的非结构化抓取环境,提出一种基于非规则物体基本形体组成的自主抓取方法.机器人自主抓取的关键不仅仅在于对物体类型的识别,更大一部分在于对物体形状(例如形状基元的组成)判断后的良好抓取.将不规则的复杂物体简化为一些简单物体的组合,利用基于特征点和核心提取的网格分割(MFC)算法将被抓取物体3D数据点分割为主体和分支部分,依据最优拟合算法将各部分拟合为球体、椭球体、圆柱体、平行六面体中的一种,并依据简化结果对抓取位姿进行约束,再对简化后物体进行抓取训练,获取最优抓取框,从而实现对未知物体的自主抓取.本文方法最终在Baxter机器人上实现了93.3%的抓取准确率.实验结果表明,该方法可应用于不同形状、不同位姿的未知非规则物体,鲁棒性较强.     

基于Dog-Leg算法的服务机器人视觉SLAM系统

针对原有SLAM系统非线性优化存在迭代次数多、计算时间长、实时性差的问题,设计一种基于阻尼因子更新来计算信赖区域半径的方法;针对YOBY机器人平台,设计并实现基于增强实时性的Dog-Leg算法的多模块SLAM系统;通过EuRoc MAV MH 05数据集的实验分析和真实场景的实际测试,验证了算法的有效性以及SLAM系统在YOBY机器人平台上的可用性.     

在线半监督Kohonen网络的预抓取手势识别

为实现智能仿生手的抓取,提高模式识别的实时性和灵敏性,提出一种在线半监督Kohonen网络。该网络针对表面肌电信号(s EMG)的特性,在有监督Kohonen网络基础上,将有监督和无监督网络的优势进行结合,应用数据剪辑方法处理训练集更新识别网络,在线识别侧边抓取、球形抓取、三指精确抓取和圆柱形抓取4种预抓取手势。实验表明,与不同Kohonen网络相比,此识别方法具有很好的在线识别能力和正确率。     

月面地形重构系统中的并行Delaunay算法设计

三角剖分过程是影响三维重建系统实时性的瓶颈之一,为提高三角剖分速度,基于共享内存多核计算机设计并实现了并行Delaunay算法。该算法在分治三角剖分算法的基础上,通过改进子三角网归并过程及Delaunay三角网优化过程避免了并行计算中的数据竞争问题。利用月面仿真实验场真实地形数据在50万到500万不同规模的点云数据集上进行了实验,加速比最高可达6.44。除此之外,对算法复杂度、加速比以及并行效率进行了全面分析,并将算法实际应用于月面地形重构系统,实现了虚拟地形的快速构建。     

基于深度传感器的篮球飞行过程抓取系统

为实现对篮球飞行过程的准确抓取,提出基于深度传感器的篮球飞行过程抓取系统设计。采用深度传感器进行篮球飞行过程的动态视觉信息采样,通过A/D芯片实现对采集信息的信号转换,并建立机器视觉图像处理模式下的篮球飞行过程抓取动态参数识别模型;通过深度学习和图像处理技术,进行篮球飞行过程数据图像抓取后的姿态特征分析和轨迹预测;基于Tx2核心板的嵌入式平台,建立篮球飞行过程抓取系统的核心控制器,采用ZigBee的物联网组网技术进行篮球飞行过程抓取系统的网络设计;设置状态寄存器(Status)进行篮球飞行过程抓取系统的数据缓存管理,在嵌入式的云平台下,实现篮球飞行过程抓取的数据存储和云计算。测试结果表明,采用该方法进行篮球飞行过程抓取的实时性较好,视觉动态跟踪能力较强。     

基于二进制鲁棒不变尺度关键点-加速稳健特征的自然特征虚实注册方法

针对基于视觉的增强现实(AR)中虚实注册的准确率和实时效果受光照、遮挡和视角变化影响大,易导致注册失败的问题,提出一种基于二进制鲁棒不变尺度关键点-加速稳健特征(BRISK-SURF)算法的自然特征虚实注册方法。首先,利用加速稳健特征(SURF)特征提取算子检测特征点;然后,采用二进制尺度旋转不变鲁棒(BRISK)特征描述算子对特征点进行二进制描述,结合汉明距离实现准确高速的特征匹配;最后,根据图像间的单应性关系实现虚实注册。从图像特征匹配和虚实注册两方面进行实验,结果显示BRISK-SURF算法的平均准确率与SURF算法基本保持一致,比BRISK算法提高了约25%,平均召回率提高了约10%;基于BRISK-SURF的注册方法的结果接近参考标准数据,精度较高,实时性较好。实验结果表明,所提方法对于光照、遮挡和视角情况不同的图像具有较高的识别准确度、注册精度和实时效果。另外,使用此方法实现了基于AR的交互式旅游资源呈现与体验系统。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合,但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题,但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点,因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合,提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别,具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能,以CASIA-FASD和Replay-Attack作为实验的基准数据集,结果表明在活体检测中该算法的半错误率（HTER）为9.7%,等错误率（EER）为5.5%,而且在整个流程中处理1帧图像所需时间为0.12 s,验证了该算法的可行性和有效性。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合，但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题，但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点，因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合，提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别，具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能，以CASIA-FASD和Replay-Attack作为实验的基准数据集，结果表明在活体检测中该算法的半错误率（HTER）为9.7%，等错误率（EER）为5.5%，而且在整个流程中处理1帧图像所需时间为0.12 s，验证了该算法的可行性和有效性。     

虚拟手抓持规则融合策略研究

群体虚拟手抓持规则是虚拟手和虚拟物体进行抓持操作的交互规则,用于判定虚拟手是否能够成功抓持物体。对基于几何的虚拟手抓持规则和基于物理的虚拟手抓持规则分别进行了研究,针对基于几何的虚拟手抓持规则规则简单、仿真效果较差,基于物理模型的虚拟手抓持规则计算复杂、难以实现实时仿真的问题:（1）改进基于几何的虚拟手抓持规则,通过接触点位置、法矢和抓持面法矢制定抓持规则,使其效果逼近力封闭虚拟手抓持规则;（2）利用力封闭计算中抓持接触点和法矢不变的特性,通过内力配比避免了抓持操作中的非线性规划求解,使抓持操作阶段实现实时仿真;（3）通过几何约束进行初始抓持判断-力封闭计算校正-内力配比力封闭计算的策略,实现了完整的抓持过程实时仿真。设计的交互实验说明该抓持规则能实现高沉浸感和实时性的抓持仿真,可以应用到虚拟训练、虚拟装配等仿真平台。     

基于高斯模型的手部肤色建模与区域检测

目的 随着市场需求的多样化和多变性的加剧,对于生产装配的柔性和适应性提出了更高要求,人机合作装配为应对当前需求提供了有效方法。在人机交互协调的机械装配系统中,为有效实现机器人对操作人员手部装配动作的识别和理解,需对手部装配图像进行生物结构的特征检测。针对人机交互协调装配中的手部肤色图像识别问题,提出一种基于多色彩空间信息的识别算法。方法 基于聚类思想,通过离线学习与期望最大化算法,在RGB色彩空间上对肤色信息建立多混合高斯模型,以此获得肤色信息的多混合聚类表示。再利用YCrCb色彩空间上的稀疏化高斯模型在线快速学习肤色分布,设计了基于多色彩空间信息的肤色识别器。结果 图像照度对肤色区域的模型似然值有较大影响。在线稀疏化学习肤色识别实验结果显示,YCrCb 3通道上学习获得的似然值不存在严重冗余,所建模型与对应的学习框架有效,结合多色彩空间的识别信息确认了肤色区域。肤色区域初始化识别的完整性与在线学习算法的时间复杂度有关,识别过程中模型参数的更新量与场景光照均衡度有关,进而影响算法的空间复杂度。本文基于高斯模型的手部肤色建模与区域检测方法对于机械装配环境的手部肤色检测适应性良好,经与改进的YCrCb椭圆聚类模型对比,该方法具有更好的识别完整性。结论 本文算法提高了模型对固定场景下光照畸变的适应度,从而改善了识别效果,但识别算法的收敛时间较长,实时性尚需进一步提高,可在进一步的研究中进行优化。     

数字地球系统中海量数据存储与传输方案研究

文中目的是设计一种基于四叉树索引的海量数据存储和传输方案,并将其应用在自主开发的数字地球系统中。使用四叉树索引完成海量影像与高程数据的存储方案设计,并在此基础上设计了一种基于海量数据的传输方案。该方案在数字地球系统的展示效果表明,这种基于四叉树索引技术的海量数据存储技术以及网络传输方案,能够满足影像、高程数据实时可视化的需要,并且利于确定视野可见范围内的地图块位置,利用截锥裁剪技术减少系统渲染的数据量,提高系统的执行效率。该方案在数字地球系统中发挥了重要作用,有一定的实用价值。     

图像识别的机器手抓握滑移检测系统开发

为实现机器手抓握物体时不发生脱落,首先应检测其与被抓握物体接触面上的滑移信号.提出一种基于图像识别的机器手抓握滑移检测方法,采用中心区域匹配思想的归一化互相关算法(NCC)匹配由视觉传感器实时采集到的被抓握物体表面图像,得到被抓握物体在采集图像期间的滑移情况.实验结果表明:此系统可以准确检测被抓握物体是否发生滑移及滑移的方向和大小,具有高准确度、高灵敏度等优点.     

iOS平台下人脸识别系统实现研究

设计了一个基于苹果公司嵌入式操作系统iOS平台下的人脸识别系统。通过对基于Haar-like特征的AdaBoost人脸检测算法的研究,实现了实时人脸检测。提出了一种改进的基于隐马尔科夫模型的人脸识别方法,此方法采用奇异值压缩抽取人脸图像特征作为观察序列,减少了数据的存储量和计算量,解决了嵌入式系统中由于图像处理数据量大造成的低效。实验结果证明,该系统检测速度快,实时性强,识别率高,可以作为iOS平台上其他类型人脸识别应用软件开发的基础。     

基于圆弧扫描线的手势特征提取和实时手势识别

基于手势的人机交互是当前备受关注的自然人机交互模式之一,实时手势识别是其中最重要的步骤。本文提出了一种基于圆弧扫描线的手势特征提取和实时手势识别方法。首先,基于一种抽象描述手掌和五指关系的简洁人手海龟模型,结合肤色特征和腕部标记分割出人手部图像,并进行二值化处理 和统一尺寸来建立手势训练集。 然后,以手掌中心为圆心构造同心圆来提取训练集中不同手势样本的特征,并使用线性判别分析(Linear discriminant analysis,LDA)算法对手势特征向量进行离线预处理。最后,使用 改进的加权K近邻（Weighted-K-nearest neighbor,W-KNN）算法进行实时手势分类和识别。为了验证本文方法的有效性 ,在自建小型手势数据库上进行了算法分析和比较,并在多投影系统下进行实时交互测试。实验 结果表明本文算法具有较高的识别效率。     

基于手形交互与掌纹识别的增强现实应用

针对现有增强现实系统交互方式的不足,提出并实现了一种基于手形交互与掌纹识别的增强现实应用.提出了一种用于快速识别手形轮廓及其运动轮廓的匹配方法.利用一种改进的快速蚁群聚类算法来获取掌形的中心,建立相关的渲染坐标系,从而精确注册虚拟物体.同时,针对个性化应用需求,提出了一种能够在增强现实系统中应用的Harris快速掌纹识别算法.实验表明,识别算法具有较好的跟踪精度和实时性,能够满足增强现实系统的应用要求.