基于Leap Motion手势识别的悬浮真3D显示实时交互系统

提出基于Leap Motion手势识别的悬浮真3D显示实时交互系统,可实现对多个悬浮3D图像的独立交互.系统由显示和交互两个模块组成,显示模块利用集成成像3D显示屏再现3D图像,再通过二面角反射镜阵列实现悬浮真3D显示;交互模块通过Leap Motion识别手部各关节空间位置,提取手势信息并判断用户操作意图,利用提出的...     

智慧新装备

惠普推出体验电脑用手势控制 4月17日,Leap Motion宣布,已经与惠普签署协议,将自己的技术引入到惠普电脑中。Leap Motion是体感控制传感器开发者,它的技术可以让用户用手势与电脑互动。     

基于Leap Motion手语翻译器的设计与实现

手语翻译器作为不懂手语的正常人与使用手语的残障人士之间的沟通桥梁,近来成为研究热点,但是目前市场上成熟的手语翻译器并不多见。在此设计利用Leap Motion对手部识别精度高以及体积小巧等特性,实现了一种识别精度高、便于携带的手语翻译器。该翻译器不仅支持静态手语的识别,同时也能识别动态手语,实现了手语识别、文本翻译、语音播报,多语言翻译等功能。实验结果表明该手语翻译器具有识别准确率高的特点,能基本实现残障人士与正常人之间简单的交流,具有良好的应用前景。     

基于Leap Motion的工业智能装配系统设计

针对常规人机交互方式(手动编程、示教器等)难以实现装配动作高自由度输入的问题,本文提出基于Leap Motion手势交互传感器的智能装配系统构建方案,用以指导机械臂装配动作的自动实现。首先对Leap Motion传感器进行性能测试实验,构建最佳工作空间与运动轨迹描述,随后搭建ResNet-50架构的深度卷积神经网络,对预定的动态手势进行分类识别并映射到装配动作。实验结果证明,该系统满足了轻巧、便携与非接触式测量的需求,实现了复杂灵活的装配动作复现,装配效率大幅提升。     

基于Leap Motion手势控制的智能家居辅助控制系统研究

如今智能家居概念逐渐普及并且已经发展应用到生活的多个方面。针对残疾人士及儿童缺乏人机交互的缺陷,对智能家居使用方式进行创新以及进一步开发。首先,展示以KEA128作为单片机的下位机系统设计与实现;然后,选择蓝牙无线网络通信技术作为通信桥;最后,详细介绍Leap Motion实现原理、手势定义设计及其具体实现。文章介绍了本系统在智能家居的基础上进行的应用创新,提供更智能化的生活。实验证明,智能家居环境中可以应用Leap Motion作为新型控制模式。     

一种基于Leap Motion的直观体交互技术

Leap Motion系统可高精度实时检测并跟踪手掌、手指的位置和速度等信息,为大屏幕、远距离体交互提供有效途径。通过观察用户手势远距离操控现实环境中的物体,该文设计易于理解的体交互操作手势;借助对Leap Motion传感器工作区域的远近场划分,建立合理的物理空间和信息空间映射关系;针对利用深度相机的手部姿态解算问题,结合Leap Motion传感器的特点,提出一种结合手掌法向和指尖向量的空间姿态算法;结合大屏幕体交互的任务特点,设计了支持连续数据流的非接触式体交互原型系统;最后通过用户实验对原型系统进行评估。结果表明,和传统的2D体交互比较,该文算法的用户体验和表现更为自然、直观和高效。     

基于Leap Motion的手势识别及在大型结构件虚拟安装中的应用

体感控制器Leap Motion因其追踪精度高、手势交互性好的优点被广泛运用于各类虚拟安装。将Leap Motion手势识别应用于高集成度大型结构件的高精度虚拟安装，可实现虚拟手对安装过程的交互控制。设计了一种基于加权卡方距离的模糊K最近邻结点(KNN)分类方法实现虚拟手势分类，根据手势特征的重要性赋予不同权值，可进一步提高分类准确率，测试结果表明改进分类方法识别准确率达到92.7%,比传统分类算法提高5.3%。使用三种手势进行发动机部件的虚拟安装实验，结果表明手势识别在安装过程中取得了良好的效果，可提升现实安装过程的质量和效率，对于提升大型军品的制造和安装水平具有重要意义。     

基于unity 3d的航空炸弹投射虚拟视景仿真系统设计

以Unity3D虚拟现实开发引擎为工具,通过WouldComposer插件的加载与使来搭建了仿真场景,采用3dsmax建立了飞机和炸弹的仿真模并转换格式导入Unity3D中,最后通过Unity3D自带的粒子系统和脚本编辑器实现了系统的交互和特效设计.通过系统运行,能够较为真实的实现航空炸弹的投射过程.     

基于Leap Motion的手工雕塑网页应用设计

文中设计了一种基于Leap Motion的手工雕塑网页应用。该应用使用Leap Motion采集用户手部运动,然后将运动信息交给3D动画处理部分进行模型处理加工,最后雕塑结果按照WebGL标准通过HTML5的Canvas元素呈现在Web浏览器中。该应用可在不同的操作系统上运行,大大降低了体验手工雕塑的成本,有望得到推广。     

残疾人手语交流辅助系统手语识别和翻译

为了使聋哑人与更多不懂手语的人自然地交流,本作品将手语翻译成文字和语音,利用Microsoft Kinect记录手语手势的三维坐标,通过机器学习和优化算法,在Intel Atom平台上实现了手语翻译.     

基于Sketch Up和Unity3D的校园景观虚拟展示

文中从基于 Unity3D 的虚拟现实建筑漫游着手，选取苏州大学现有的优秀建筑景观实体结构，利用 Sketch Up 完成模型构建，使用实景照片作为材质贴图。将模型导入Unity3D重新开发，利用Unity3D实景环境模拟功能，实现了虚拟场景漫游；提升了虚拟环境中景观的真实感，希望能为建筑景观漫游动画的进一步发展提供支持。     

GoogleMaps在Unity中的可视化及交互方法

Google Maps 由于其丰富的地图资源，使其在基于地图信息的程序中得到广泛应用。 Unity 由于其上手容易、高效的渲染性能，使其成为最近几年 2D 和 3D 程序开发的热门选择。尽管 Google 提供了 Google Maps 的应用程序接口，但是这些接口在 Unity 中无法直接使用。因此， 如何在 Unity 中实现 Google Maps 的可视化及交互，成为在 Unity 中开发基于 Google Maps 程序的难点。为了解决以上问题，本文提出了 Google Maps 在 Unity 中的可视化及交互方法。将 RawImage 组件作为地图瓦片的可视化载体，通过多个地图瓦片的有序拼接实现 Google Maps 的可视化。在与 Google Maps 进行交互时，根据鼠标操作对地图瓦片进行更新，实现 Google Maps 的平移和缩放。实验结果表明提出的方法可以有效地显示、平移和缩放 Google Maps，并可以在其基础上进行基于 Google Maps 的程序开发。     

舰载机起飞着舰的机动目标显示技术

在三维显示领域中,机动目标实时显示问题始终是研究的热点,为了进一步提高机动目标显示的效果,在保证画面分辨率的前提下,减少时延。针对于Unity3D引擎和Visual C+[KG-1.5mm]+6.0平台的实时通信问题,以舰载机起飞着舰的实际过程为背景,研究实现了舰载机的三维显示系统。重点讨论了Unity3D和Visual C+[KG-1.5mm]+6.0的通信连接方法,实现了发送数据包来驱动三维模型的过程,以此来实时显示舰载机飞行的状态信息。此外,文中又给出了系统的逼真三维实现效果图。该系统为将来三维显示技术在指挥控制系统中的应用提供了一种有效方法。     

基于AVR单片机的语音识别系统设计

系统以AVR单片机为控制核心,实现对人的语音的识别控制。系统采用的主控芯片为Atmel公司的ATMEGA128,语音识别功能采用ICRoute公司的单芯片LD3320。LD3320内部集成语音识别算法,无需外部FLASH,RAM资源,可以很好地完成非特定人的语音识别任务。同时该芯片内部集成了MP3播放功能,支持MPEG等格式,可实现语音提示或MP3歌曲的播放功能。由于内部合有16位A／D、D／A转换器和功放电路,所以不需要外接功放电路就可以产生清晰的声音。该系统已经预留好各种接口,具有良好的扩展性。     

基于JSBSim的可视化飞行仿真系统

为了模拟一个具有高真实感飞行动力学模型,并且扩展后可以与联合作战仿真系统中其它武器装备进行交互的飞行器,本文使用Unity开发了一套基于JSBSim飞行动力学模型的可视化飞行仿真系统.该仿真系统先对输入设备的输入数据进行解析,然后利用JSBSim飞行动力学模型进行计算,最后根据计算结果对飞机的姿态、位置和速度等信息进行...     

High-quality voice conversion system based on GMM statistical parameters and RBF neural network

A voice conversion （VC） system was designed based on Gaussian mixture model （GMM） and radial basis function （RBF） neural network. As a voice conversion model, RBF network needs quantities of training data to improve its performance. For one speech, the networks trained by different segments of data have different transformation effects. Since trying segment by segment to obtain the best conversion effect is complex, a conversion method was proposed, that uses GMM for statistics before training RBF network to aim at the problem. The speech transformation and representation using adaptive interpolation of weighted spectrum （STRAIGHT） model is used for accurate extraction of vocal tract spectrum. Then GMM is used to classify the numerous spectral parameters. The obtained mean parameters were trained in RBF network. Experiment reveals that, the soft classification ability of GMM can promptly realize the reduction and classification of training data under the premise of ensuring the training effect. The selection complexity is decreased thereafter. Compared to the conventional RBF network training methods, this method can make the transformation of spectral parameters more effective and improve the quality of converted speech.     

Voice Coding and Tree Encoding Speech Compression Systems Based Upon Inverse Filter Matching

Two speech compression systems based on codebooks of inverse filters produced by off-line linear predictive coding (LPC) and vector quantization (VQ) techniques are considered. The first system is a pitch excited vocoder that is a variation on a speech coding system based upon vector quantization. The encoder selects an LPC reverse filter from a finite codebook that best "matches" an observed frame of sampled speech. This filter is in turn used to determine the voicing and digitized pitch information. Unlike LPC systems, the digitization is performed in a single step on the data rather than separate modeling and digitization steps. The second system is a tree encoding system that uses the filter selected by an inverse filter matching vocoder to "color" a tree that is then searched for a minimum distortion path for the original sampled speech waveform. This system can be viewed as a hybrid between an adaptive predictive coder and a universal tree encoder. The two systems are described, simulated, and compared with other similar systems.     

基于Unity3D的可变视点数立体图像合成算法

针对当前自由立体3D显示器的最佳观看距离固定和无法灵活调的等问题,本文在Unity3D平台上采用Cg语言编程,提出了可变视点数立体图像合成算法。该算法根据最佳观看距离与视点数之间的关系,调整光栅截距对应的像素点,实现了通过灵活改变视点数来改变自由立体3D显示的最佳观看距离。实验结果表明,通过此算法合成的立体图像可以调整显示的最佳观看距离,并且实验测得的视点数与计算所得的视点数误差较小。图像串扰较低、合成效率高,使观看者能在不同距离都能舒适观看立体图像。