基于环境映照自动对齐的高质量虚实融合技术

要实现高品质的增强现实效果需要解决虚拟物体与现实场景的光照一致性问题.虽然采用HDR技术能获取场景的环境映照,但需要解决所获取的光照环境信息与真实场景的对齐问题.为此提出一种基于特征自动匹配的环境映照对齐方法.首先采用Affine-SIFT算法和随机抽样一致性算法对环境映照和拍摄场景进行特征匹配并优化匹配结果,然后利用基于运动推断结构的摄像机定标算法求得匹配对的三维位置,从而计算出环境映照与真实场景的对应关系,实现了二者的自动对齐.基于该技术搭建的高真实感实时虚实融合系统采用基于关键帧的相机跟踪技术,可以实时地将虚拟物体注册到拍摄的视频场景里,并允许对其进行实时的交互编辑.在渲染时有效地利用了自动对齐后的光照环境信息,采用重要性采样算法和阴影映射技术实现了实时的高质量渲染.实验结果表明,所搭建的增强现实系统很好地解决了实时虚实融合中的几何一致性和光照一致性问题.     

数字化三维虚拟演播室系统的设计与实现

数字化三维虚拟演播室系统主要是以视频流的图像处理软件为主,软硬件相结合的一个复杂系统.数字化三维虚拟演播室系统通过电脑实现了将摄像机实拍三维场景图像和三维虚拟物体图像制作进行实时完美结合.对数字化三维虚拟演播室系统从工作原理及特点上描述,并阐述数字化三维虚拟演播室系统的实现及技术难点和创新点.随着视频数字化的发展,在广电行业中将作为成熟产品预计很快将推向市场,在电视行业的应用前景非常广阔.     

动态3维场景中多角色动画的交互式模拟研究

当前角色动画的合成大多是在预设的场景中,采用导入与角色骨骼模型匹配的运动捕获数据的方法,这就满足不了多种拓扑结构的骨骼模型和实时变化场景的需要。针对上述问题,提出重定向运动捕获数据到多个任意骨骼拓扑结构的算法,通过采用以实时3维动态寻径算法为基础的角色智能寻径模型,结合语音用户接口代替图形用户接口的方法,实现虚拟角色在动态3维场景中的真实感运动。实验结果表明,本方法可以合成流畅而逼真的,与环境实时交互的角色动画,提高了数据重用性,降低了动画合成成本,满足不同动态3维场景中动画合成的需要。     

虚拟场景中的实时视频显示研究

针对虚拟场景中实时视频显示过程中设计流程复杂,代码多,画面不畅等问题,提出了基于Kinect摄像头的实时视频添加方法。该方法以Billboard技术为基础,利用Kinect对现实场景进行彩色数据和深度数据捕捉,并在虚拟场景中进行实时渲染和显示,最终实现实时视频子窗口的添加工作。整个程序设计流程简单,渲染效果画面流畅。     

角色参与的虚拟场景构造及测试研究

随着数字3D软硬件技术逐渐成熟,使有角色参与的数字化虚拟场景构造和测试评价成为可能.传统的设计研究工作中,数字虚拟角色无法与场景对象互动,而且虚拟场景也无法动态?换选项.但互动和动态设计选项?换是虚拟现实仿真十分重要的功能.针对该问题,本文首先给出了基于虚拟现实建模语言进行角色参与的虚拟场景构造方法,接着讨论了角色参与的虚拟仿真设计测试评价方法.该研究内容可有效辅助、支持有角色参与的虚拟场景实时互动的实现及针对稳定性、安全性和适人性等特性的测试评价工作.     

基于多视频的虚实融合系统

提出了一种基于多视频的虚实融合可视化系统的构建方法,旨在将真实世界中的图像和视频融合到虚拟场景中,用视频图像中的纹理和动态信息去丰富虚拟场景,提高虚拟环境的真实性,得到一种增强的虚拟环境.利用无人机采集图像来重建虚拟场景,并借助图像特征点的匹配来实现视频图像的注册.然后利用投影纹理映射技术,将图像投影到虚拟场景中.视频中的动态物体由于在虚拟环境中缺失对应的三维模型,直接投影,当视点发生变化时会产生畸变.首先检测和追踪这些物体,然后尝试使用多种显示方式来解决畸变问题.此外,系统还考虑有重叠区域的多视频之间的融合.实验结果表明,所构造的虚实融合环境是十分有益的.     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

视频透视增强现实系统中的运动模糊研究

针对Radon变换对增强现实运动模糊中短模糊尺度无效的问题,提出一种将Radon变换和Canny边缘检测相结合,并基于视频透视的虚拟物体运动模糊模拟算法。采用Canny边缘检测和Radon变换方法,获得点扩散函数参数和基于GPU实现运动模糊的实时渲染。实验结果证明,该算法在视频透视增强现实系统中,对于长短模糊尺度都能较好地模拟运动模糊效果,从而实现虚实场景的无缝融合。     

增强现实技术在虚拟演播室系统中的应用

虚拟演播室是虚拟现实技术和视频合成技术相结合的产物,其场景是计算机生成的三维场景,由于人们对虚拟场景和复杂度的无限要求,使得场景的实时显示十分困难,使用基于图像的绘制技术构造虚拟空间能够较好地解决这个问题。在虚拟演播室中,演员需要与三维运动虚拟物体进行交互,运用增强现实技术,可以将三维虚拟物体与基于图象绘制的虚拟场景融合在一起。     

视频拼接在三维空间的融合实现

近年来,视频图像拼接技术是视频应用领域研究的一个热门课题,针对视频监控系统对大场景监控的需求,从三维增强现实场景可视化系统融合实现角度,应用三维视频增强现实虚拟技术,将不同摄像机所采集的视频图像拼接成一完整而连续的图像,为监控系统提供无差别、连续的大场景视频,实现动态视频图像与二维、三维静态图像的关联.