基于图像序列的交互式快速建模系统

给出了一个基于图像序列的交互式三维建模系统.通过输入一段未标定的图像或视频序列,系统能够自动地恢复出摄像机参数;然后用户只需要在少量几帧图像上简单勾画出物体的形态结构,系统就能自动解析出多帧之间用户交互的对应关系,从而迅速、逼真地重建出场景的三维模型.该系统提供了点与线段的重建、直线与平面的重建、曲线与曲面的重建等功能,能够满足对现实世界中的复杂场景的快速高精度的重建要求.几组真实拍摄的图像序列的建模实验表明:该系统高效、实用.能够很好地满足实际建模需求.     

融合Unity3D和混合现实的虚拟场馆IDS

研究融合Unity3D和混合现实的虚拟场馆交互展示仿真方法,实现虚拟场馆的交互展示,提升用户交互体验效果。上述方法利用基础层为交互展示提供硬件设备;数据层通过调用硬件设备采集虚拟场馆数据;业务逻辑层中利用混合现实技术的KinectFusion算法,结合采集的数据,建立虚拟场馆三维模型,Unity3D软件内导入模型,依据模型信息设计基于寻路算法的交互方式,自动搜索交互展示路径,避免发生碰撞;应用层通过移动与旋转等操作,为用户提供场景切换与漫游等功能。仿真结果证明：上述方法可有效建立虚拟场馆三维模型,实现虚拟场馆的交互展示,为用户提供身临其境的交互体验;上述方法可有效搜索交互展示路径,精准避开障碍物。     

笔式三维草图绘制中的轮廓线技术研究*

详细介绍了三维模型轮廓线技术及其检测算法,并深入分析了轮廓线技术在三维草图绘制中的作用;然后设计并实现了一个三维草图绘制系统。该系统提供了用笔绘制三维模型的交互环境,通过轮廓线将三维模型与二维交互手势联系起来,使用户可以自由灵活地操纵和控制三维模型,获得自然、高效的交互体验。     

基于Kinect的虚拟展馆游览系统的设计与实现

针对现有三维虚拟展览馆游览系统交互方式用户体验不理想的现状,提出一种基于Kinect的虚拟展馆游览系统。该系统重点研究了利用Kinect骨骼追踪技术实现对体验者身体动作的解析和利用四元数插值对骨骼动画的控制。在功能上,实现了站在Kinect前的体验者通过不同的姿势,对虚拟展馆三维场景中虚拟人物的动作、姿态、位置、朝向的控制。实验结果表明,体验者能够通过体感交互技术较好地实现对虚拟人物姿态的控制并方便地进行虚拟场景游览。     

大鼠骨骼系统的三维重建模型

建立了大鼠骨骼系统的三维可视化模型。首先将大鼠连续断层解剖图像进行图像配准,然后分割、描绘出大鼠骨骼系统中所有的骨骼,最终利用Visul C＋＋和可视化工具包（Visualization Toolkit,VTK）实现并行面绘制计算,建立大鼠骨骼系统的三维可视化模型。重建后的可视化模型结构明显、清楚,可以真实地在计算机中重现出大鼠的骨骼系统三维模型。     

基于实拍图像的人脸真实感重建

给出了基于实拍人脸图像的三维逼真人脸模型的重建算法,该算法首先在两幅人脸图像上交互标识特征点对和输入摄像机的广角参数来实现摄像机定标,进而匹配出两幅人脸图像上的其它对应点,实现模型的三维重建,作者用半自动垭达到匹配目的。用手工编辑建立的二维对应网格,得到初始人脸外开和鲁棒的最大拟然立体虎法自动匹配出稠密的对应点,重建出表示人脸的散乱三维数据点团;最后利用这些稠密的三维数据点去迭代矫正和自适应细分手     

基于全景深度图像的汽车外形重建方法

将全景深度图像与虚拟现实建模语言VRML的特点有机结合起来,实现了由深度图像到三维模型的快速重建及车身外形的多细节层次描述。该算法在网格均匀细化基础上,结合图像处理方法,能有效处理车身外形的孔洞部分,且较准确地反映车身外形。利用所得到的三维VRML模型,可方便地进行模型交互修改,并实时显示;在汽车外形概念设计和用户个性化外形定制系统的应用中,对VRML模型的建立提出了一种新方法。     

基于全景深度图像的汽车外形重建方法

将全景深度图像与虚拟现实建模语言VRML的特点有机结合起来,实现了由深度图像到三维模型的快速重建及车身外形的多细节层次描述.该算法在网格均匀细化基础上,结合图像处理方法,能有效处理车身外形的孔洞部分,且较准确地反映车身外形.利用所得到的三维VRML模型,可方便地进行模型交互修改,并实时显示;在汽车外形概念设计和用户个性化外形定制系统的应用中,对VRML模型的建立提出了一种新方法.     

基于虚拟现实的多感官视觉交互界面生成方法

以提升交互界面生成结果与实际物体的拟合度,为用户提供更真实的交互效果为目的,研究基于虚拟现实的多感官视觉交互界面生成方法。交互界面生成过程分为两个环节,设计内容环节包括视觉信息设计与交互方式设计,视觉信息设计中将交互界面最终布局的视觉注意力划分最优作为目标函数,设计基于视觉注意力的功能界面布局优化模型,利用粒子群算法求解该模型完成功能界面布局设计;针对功能界面中的不同区域,通过3D几何模型构建、纹理映射等过程构建三维物体与情景空间的三维模型,生成不同区域内所需图像信息。多感官视觉体验设计过程中,采用ANNS-DS信息融合算法融合传感信息、体感信息与视觉信息,基于融合结果实现虚拟现实图形显示、振动与声音反馈等界面交互功能,并结合设计内容环节中的交互方式设计提升用户对交互界面的多感官视觉体验感受。应用结果显示该方法所生成的交互界面内物体与情景空间图像的拟合度均高于0.9,可通过视觉、听觉等不同感官提升用户的体验感受。     

基于骨骼轨迹聚合模型的课堂交互群体发现

传统的课堂行为识别方法侧重于交互行为本身的辨识,而非群体发现.课堂环境下实现交互群体的准确定位与发现,是进行个体行为识别的基础,但存在由遮挡造成的行为数据缺失问题.使用骨骼数据表示人体行为及运动轨迹,具有不受光线和背景干扰、数据表达简单等优点.针对骨骼数据的多人交互群体发现进行研究,提出了一种基于骨骼轨迹聚合模型的交互群体发现算法(Interactive Group Discovery Algorithm Based on Skeleton Trajectory Aggregation,IGSTA).首先,将骨骼数据标准化到以人为中心的坐标系,减小尺寸变化和初始位置不同对识别精度的影响;其次,提出了一种多核表示的骨骼轨迹聚合模型,准确描述了学生交互行为群体的变化;最后,对聚合后的骨骼轨迹进行聚类,实现交互群体发现.采用Kinect获取模拟的课堂学生交互行为视频,通过实验验证了该方法的有效性,即在骨骼节点缺失的情况下,仍可准确发现课堂环境下的学生交互群体.     

一个相关反馈三维模型深度图像检索算法

基于图像的三维模型检索比形状特征和拓扑结构特征具有更易于实现且检索效果好等优点,但现有基于图像的三维模型检索方法存在一些问题,如没有考虑三维深度信息、所提特征不能全部表达三维模型信息且不能实现用户交互操作等。对此提出一种基于深度图像的三维模型相关反馈检索算法:首先提取三维模型深度图像边界方向直方图和Zernike矩特征;然后利用特征距离度量进行三维模型检索,并采用相关反馈技术实现分类器的构造和模型的标注;最后利用调整好的权值分类器进行检索和标注。实验表明,该算法实现了三维模型的相关反馈检索和标注,提高了检索的精确性,并增强了系统的实用性,为进一步进行语义检索打下基础。     

基于三维虚拟视觉的高校图书馆导视系统设计

针对高校图书馆导视系统响应时间长、图像重建效率低等问题，提出基于三维虚拟视觉的高校图书馆导视系统设计。首先获取高校图书馆空间数据参数，构建实景CAD平面模型；采用增强现实成像技术合并显示实景与虚拟信息，通过Cook Torrance光照模型构造虚拟结构的全局光照效果；最后采用基于信息反馈范围与方式的交互功能设计方法，结合Virtools软件整合三维虚拟视觉图像与相关标识、声音文件，通过液晶显示屏或手机APP等方式实现用户与导视系统间的交互。实验结果表明，系统界面转换时间控制在1 s以内，视觉模型清晰度更高，可更好地提升用户的交互体验。     

基于深度学习的人体动作草图到三维骨骼模型重建方法的研究

为了提高三维人体骨骼模型的建模效率并简化交互规则,提出了一种基于深度学习的手绘人体动作草图到三维骨骼模型的重建方法。首先将三维骨骼模型渲染为二维图像来建立维度映射关系,进而使用图像分类方法识别手绘草图动作并根据维度映射实现三维骨骼模型重建。在实验中使用基于深度卷积神经网络对图像分类模型进行构建,使用浅层卷积网络作为训练单元,并使用逐级分类与分块训练策略加速网络收敛速度来提高训练效率。最后实验结果验证了该方法的可行性与有效性。     

基于VRML与JavaScript三维模型的交互设计

介绍了VRML技术在三维模型交互设计的应用,分析了VRML与JavaScript相结合的可控性效果．从而使三维模型可进行动态观察,并与用户产生交互。以一品牌冰箱为例,利用3dmax创建模型,结合vrml中的Touchsens节点和JavaScript脚本来实现对冰箱模型的交互。     

单Kinect+回转台的全视角三维重建

为了解决当前全视角三维扫描系统价格昂贵操作复杂的问题,提出利用1台Kinect和1个回转台来构建全视角三维模型的方法。研究涉及点云预处理、点云配准、全局误差修正以及色差修正等技术。首先使用Kinect采集数据并预处理,结合转台约束利用图像几何特征进行粗配准,随后使用迭代最近点（Iterative closest point,ICP）算法实现点云的精确配准。对于累积误差导致的闭环问题以及不同角度拍摄引起的色差问题,通过全局误差修正与色差修正算法处理,提升重建结果的精度。实验结果表明：该方法可以实现三维物体的全视角重建,并在精度上优于微软的KinectFusion方法。     

基于深度图像的人体骨骼提取技术的研究

利用Kinect设备获取深度图像,通过前景提取得到深度图像中的人体目标,使用距离变换(包括欧氏距离、城市街区距离、棋盘距离方法)和图像细化算法(包括Hilditch细化算法和Zhang快速并行细化算法)研究并实现了人体骨骼的提取,通过实验对各算法的运行效果进行了对比分析。同时,利用深度图像具备深度信息这一特点解决了在骨骼提取中出现的人体自遮挡问题。在获取的人体骨骼线基础上根据人体测量比例定位人体各骨骼关节点,最终通过实验证明了该骨骼提取方法的有效性。     

基于面绘制的医学序列图像三维重建

基于医学CT图像序列,利用改进的面绘制方法,分别实现了皮肤和骨骼的三维表面重建。在皮肤重建中,主要采用阈值分割法和迭代法相结合而得到光滑逼真的效果。在骨骼重建过程中,采用二值法构建骨骼三维表面,并对得到的结果进行去噪处理,进而得到清晰的骨骼轮廓。为了验证重建方法的通用性,实现了复杂结构器官--心脏的三维表面重建。实验结果表明,方法易于实现,获得了较理想的三维重建结果。重建的三维模型可进行旋转、放大和缩小等操作,这不仅有利于实现人机交互的功能,同时也有利于对模型进行设置和观察。     

基于交互式条件随机场的RGB-D图像语义分割

RGB-D图像语义分割是场景识别与分析的基础步骤,基于条件随机场(CRF)的图像分割方法不能有效应用于复杂多变的现实场景,因此提出一种交互式条件随机场的RGB-D图像语义分割方法。首先利用中值滤波和形态重构方法对Kinect相机拍摄的RGB-D图像进行预处理,降低图像噪声及数据缺失;其次,利用基于条件随机场的分割方法对经过预处理的图像进行自动分割,得到粗略的分割结果;最后,用户通过交互平台,将代表正确场景信息的标签反应到条件随机场模型中并进行模型更新,改善分割结果。通过多组实验验证了该算法不仅满足用户对于复杂场景分割与识别的需求,而且用户交互简单、方便、直观。相较于传统的基于条件随机场分割方法,该方法得到较高的分割精度和较好的识别效果。     

Kinect扫描数据驱动的几何建模方法

针对Kinect设备单视角扫描所得不完整点云数据,提出了一种快速三维建模方法.利用互联网上丰富的已有同类三维模型为资源进行三维建模,建模过程主要包括3个阶段:1)通过三维模型库的语义部件标注对所需建模的点云数据和图像数据进行结构分析,获得相应的部件级分割结果;2)利用点云和图像分割所得的部件级信息在三维模型库中搜索与其匹配的各部件;3)对搜索得到的部件进行组合,以获得与扫描模型相似的最终模型.实验结果表明,该方法能够快速、高效地完成对Kinect设备扫描所得的残缺点云数据的模型重建.     

基于Kinect与Unity3D的增强现实应用的设计与实现

增强现实(Augmented Reality,AR)是虚拟现实技术的一个重要分支,它强调的是真实与虚拟的无缝融合。传统的增强现实应用普遍存在设备昂贵、技术繁杂等问题。利用Kinect实时获取人体彩色图像数据、深度图像数据与骨骼关节点数据的强大功能,在Unity3D中设计与实现了一个利用手势交互控制、实时抠图并自动拍照的增强现实应用。应用测试结果表明:该应用可以很好地实现手势交互控制操作,实时合成使用者和其所选择的虚拟背景图片。同时,结合AR游戏,可以让更多的人以较低的成本体验增强现实技术带来的乐趣,具有较好的现实意义与推广性。