基于资源特征融合的复杂型面配合决策方法

针对复杂产品虚拟装配过程中零部件间匹配关系描述不清晰、反映装配约束的特征属性考虑不足、装配序列规划中零件配对精度不高等问题,提出基于资源特征融合的复杂型面配合决策方法.在分析典型复杂型面结构体的装配工艺关联、匹配型面特征,以及装配设计意图的基础上,构建包括工程语义(engineering semantic,ES)、单元件(single element,SE)、装配约束(assembly constraints,AC)、装配端口(assembly port,AP)、装配空间关系(assembly space relation,ASR)等多特征融合的特征装配集,采用有向无环图对特征装配集进行模块化封装和拓扑排序,获取最优装配序列,并通过模糊理想解法完成复杂型面结构体特征装配集模型从定性输入到定量求解,再到定性输出的映射变换,实现特征装配集间的精准匹配,给出匹配决策过程.最后,通过应用案例验证模型与算法的有效性,为实现复杂型面结构体高效精确装配提供新思路.     

支持组合夹具虚拟组装的元件精确定位技术

针对现有虚拟装配定位方法存在约束识别效率不高和处理不方便的问题,通过分析组合夹具的特点,研究了虚拟环境下进行组合夹具组装的元件精确定位技术.首先提出了基于功能域的装配约束识别方法,通过捕捉装配意图,快速而准确地识别出装配件与已装配元件之间的几何约束关系;其次研究了约束求解方法对装配件的空间位姿进行调整,使之满足建立的装配约束,同时基于约束矩阵进行运动自由度的表达和归约,分析待装配件的约束状态;最后研究了夹具元件虚拟组装过程中的运动导航算法,对设计者的装配操作进行引导.文中方法已经成功地应用在组合夹具虚拟组装系统中.     

虚拟环境中装配设计语义的表达、传递与转化研究

研究了虚拟环境产品装配建模过程中装配语义的表达、装配语义与装配约束的转化技术,提出了采用语义－约束图对装配设计语义与约束进行维护。通过语义－约束图可以从语义层次和约束层次对产品装配模型进行编辑和维护。提出了采用模糊参量表达和处理产品装配设计中的模糊语义。基于模糊参量的语义表达不仅为设计信息输入提供了更大的自由度,而且扩展了计算机对模糊信息的处理能力,有利于产品设计意图的维护。通过产品装配信息从抽象到具体、从模糊到精确的转化,实现了虚拟装配设计系统对抽象、模糊设计信息的表达、传递与处理。     

基于情境上下文的智能虚拟装配动作预测模型

针对现有虚拟装配系统普遍缺乏对复杂情境的分析能力,难以根据上下文有效预测用户动作意图的问题,给出了虚拟装配中情境上下文的形式化定义,建立了智能虚拟装配动作预测模型.该模型通过对装配动作模式的挖掘,进行基于实例的动作意图预测,实现系统的智能虚拟装配.结合水轮发电机组的转轮体装配实例,给出了模型的实现框架.通过实验验证,该模型能够根据情境上下文准确预测用户的动作意图,实时调整零部件的动作以自动完成装配.     

基于网格LSTM混合算法的地质领域用户意图识别

针对传统基于模板匹配、关键词共现、人工特征集合等方法的问答机器人存在用户意图识别耗时、费力且扩展性不强的问题,本文结合地质领域文献中结构化知识问答的复杂特点,使用了基于网格记忆网络（LSTM+CRF+Lattice）与基于卷积神经网络（CNN）融合的优化模型.该模型将用户询问意图识别看作分类问题,首先使用网格记忆网络进行文本信息的命名实体识别及关系抽取,然后使用卷积神经网络将用户输入的其他文本信息进行属性分类,接着将分类结果转化为满足知识图谱查询的结构化方式,最终实现地质知识属性映射的用户询问意图识别.实验证明,在考虑地质知识特征的处理中,对于准确率的提升起到了极大帮助.     

基于单点式力反馈器的虚拟装配研究

针对PHANToM Desktop 力反馈器工作空间狭小的问题,提出改进的动态 空间匹配算法和代理点移出视锥体时的漫游技术。首先分析设备工作空间在三维方向与视锥 体的匹配关系,通过对x、y 和z 轴方向进行空间匹配,实现近视点处操作精度高和远视点 处可视范围大;然后利用映射区外的工作空间进行视点漫游,可以扩展虚拟装配可视范围。 在虚拟装配过程中,实时地计算代理点与零件间的接触力,并反馈给用户,使用户可以感知 零件的几何外形与硬度特性等;同时采取弹簧质点模型计算约束力引导用户进行装配定位。     

基于框架的虚拟装配运动引导

为了在交互式装配过程中精确地定位零件模型,提出一种基于框架的装配运动引导方法.该方法将典型装配过程性知识封装到过程框架中,将蕴藏在零件模型B-rep中的工程信息封装到特征框架中,与场景匹配引擎一起构成框架系统;框架系统采用场景匹配的方式来捕获操作者的装配意图(即匹配成功的过程框架),由匹配成功的过程框架来引导装配运动,并由过程框架中规定的动作和时机来完成装配件的精确定位.应用实例结果表明,文中方法有效地克服了操作者通过交互设备对装配零件运动控制的不精确性问题.     

融合敏感词规则和字符级RCNN模型的用户意图识别

用户意图识别是基于用户对话用语识别用户的真实对话意图,是人机对话研究中的一项关键任务。针对现有用户意图识别方法的不足,提出融合敏感词规则和字符级RCNN模型的用户意图识别方法。构建敏感句子与敏感词词典,并通过规则及相似度匹配策略对特征明显的对话进行意图识别。针对类别特征不明显的对话提出深层语义分类模型,该模型以单字符串作为输入序列,利用RCNN模型构建意图分类框架,既可以避免分词结果不准确带来的错误传导问题,同时利用字符的分布向量表示方法还可以获取句子的深层语义信息。实验结果表明,该方法在两个数据集上都取得了较好的结果,明显优于传统的意图识别方法。     

基于框架的虚拟装配系统研究

根据框架理论构建虚拟装配系统,将典型装配过程性知识封装到过程框架中并在系统中保存。系统采用场景匹配的方式来捕获用户的交互意图,提高了系统的认知能力。以匹配成功的过程框架引导装配活动,并根据框架中规定的动作和时机来完成装配件的精确定位,有效克服了操作者通过交互设备对装配零件运动控制不精确的问题。     

VRML环境下基于语义的产品装配设计技术研究

装配语义是零件间装配约束的抽象与概括，研究基于语义的产品装配设计可有效地提高装配设计的直观性与装配效率。文中给出了基于语义的产品装配设计系统的总体框架结构，将装配语义分为常用语义与特殊语义，并建立了装配语义的层次表达；通过装配语义与几何约束的映射，形成几何约束的代数表达；借助零部件间的运动自由度的求解，实现了装配语义的驱动，有助于将装配设计从几何层发展到语义层进行操作。     

沉浸式虚拟训练中的虚拟手操控技术研究

将人手的自然动作加入沉浸式虚拟现实系统中,可有效提高系统的沉浸感和交互性,简便快捷、成本低廉的虚拟手建模及操控技术,有助于此项内容的推广应用;在对虚拟手骨骼结构模型分析的基础上,提出了基于Leap Motion的虚拟手控制方法和流程;以维修训练为任务背景,设计了四种用于虚拟手操作的手势规则,并对实现流程和关键技术进行了分析;构建基于Unity3D引擎的原型系统对虚拟手进行仿真验证,结果表明,基于Leap Motion的虚拟手操控简单、交互自然,可以满足虚拟现实系统交互需要。     

A Real-time Continuous Alphabetic Sign Language to Speech Conversion VR System

Many ways of communications are used between human and computer, while using gesture is considered to be one of the most natural way in a virtual reality system. Because of its intuitiveness and its capability of helping the hearing impaired or speaking impaired, we develop a gesture recognition system. Considering the world-wide use of ASL (American Sign Language), this system focuses on the recognition of a continuous flow of alphabets in ASL to spell a word followed by the speech synthesis, and adopts a simple and efficient windowed template matching recognition strategy to achieve the goal of a real-time and continuous recognition. In addition to the abduction and the flex information in a gesture, we introduce a concept of contact-point into our system to solve the intrinsic ambiguities of some gestures in ASL. Five tact switches, served as contact-points and sensed by an analogue to digital board, are sewn on a glove cover to enhance the functions of a traditional data glove.     

施工管理虚拟环境中的CAD识别和三维重构

给出了识别CAD系统设计结果的数据,并在此基础上介绍了进行三维建模的施工管理虚拟环境,提出了有效的基于OpenGL的三维重构解决方案.在该环境中指定各结构构件间、结构构件同其它数据的相关物理及逻辑属性,动态的模拟施工过程,可以实现施工优化控制和相应的资源可视化管理.     

基于CNN和DLTL的步态虚拟样本生成方法

针对步态识别在反恐、安防领域亟待解决的小样本问题,提出了一种基于深度卷积神经网络（convolutional and neural network,CNN）和DLTL（dual learning and transfer learning）的步态虚拟样本生成方法。首先用基于VGG19的深度卷积神经网络模型低层响应提取步态风格特征图,然后利用基于对抗网络的对偶学习（dual learning,DL）对风格特征图进行风格训练,得到风格特征模型;其次利用VGG19模型的高层响应提取步态内容特征图,然后让步态内容特征图对风格特征模型中的风格特征进行学习;最后使用迁移学习TL（transfer learning）获得步态虚拟偏移样本。实验结果表明,经过DLTL风格学习生成的步态虚拟样本虽然整体风格发生改变,但人体步态特征没有改变,可有效扩充小样本容量;当虚拟样本增加到一定数量时,步态识别率有所提升。该方法与现有步态虚拟样本生成方法进行对比实验,结果表明该算法优于现有方法,能够大量生成虚拟样本且稳定提高步态识别的识别率。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

基于虚拟现实的机器人离线编程技术的研究

介绍了一个基于虚拟现实技术的机器人离线编程系统.对系统结构作了描述,讨 论了机器人虚拟仿真环境建模技术、基于虚拟现实设备的机器人任务生成技术、碰撞检测算 法.该系统建立了基于虚拟现实技术的高级人机交互接口,使机器人离线编程更加快速、方便 和直观.     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

一种新型病毒主动防御技术与检测算法

在已有的病毒行为分析和模式识别技术的基础上,提出以用户行为模式为核心的主动防御策略,即识别用户的正常行为模式,在检测到异常行为时,判断出系统是否遭受到了恶意攻击。这种策略不依赖于恶意程序的繁衍和变迁,可以使防御技术不受制于恶意程序。对该防御策略进行了实现,并在虚拟执行环境下进行了实验,实验结果表明,该策略对未知病毒有较高的识别度。     

基于节点对BP网络的数据手套手势识别

面向虚拟校园外景漫游的应用特点,采用根据手势集特征专门构造的将节点组对的BP人工神经网络,确定手势集、训练集和测试集,选定数据手套,对手势进行训练和识别,得出较令人满意的结果。最后将结果应用于校园外景虚拟漫游,达到了使用者要求。     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。