基于语义的三维元素的概念关系建模的研究

针对三维场景建模缺乏领域含义的问题,提出一种基于语义的三维场景概念关系建模方法.该方法提出一种基于语义的三维场景模型,并结合约束设计和元素间关系的语义描述方法,来阐述如何丰富三维场景的领域含义.最后结合原型系统和实例对该方法进行了可行性和合理性的验证.     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

基于RGB-D图像的语义场景补全研究综述

近年来随着计算机视觉领域的不断发展,三维场景的语义分割和形状补全受到学术界和工业界的广泛关注.其中,语义场景补全是这一领域的新兴研究,该研究以同时预测三维场景的空间布局和语义标签为目标,在近几年得到快速发展.对近些年该领域提出的基于RGB-D图像的方法进行了分类和总结.根据有无使用深度学习将语义场景补全方法划分为传统方法和基于深度学习的方法两大类.其中,对于基于深度学习的方法,根据输入数据类型将其划分为基于单一深度图像的方法和基于彩色图像联合深度图像的方法.在对已有方法分类和概述的基础上,对语义场景补全任务所使用的相关数据集进行了整理,并分析了现有方法的实验结果.最后,总结了该领域面临的挑战和发展前景.     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

场景语义树图像标注方法

自动图像标注是一项具有挑战性的工作,它对于图像分析理解和图像检索都有着重要的意义.在自动图像标注领域,通过对已标注图像集的学习,建立语义概念空间与视觉特征空间之间的关系模型,并用这个模型对未标注的图像集进行标注.由于低高级语义之间错综复杂的对应关系,使目前自动图像标注的精度仍然较低.而在场景约束条件下可以简化标注与视觉特征之间的映射关系,提高自动标注的可靠性.因此提出一种基于场景语义树的图像标注方法.首先对用于学习的标注图像进行自动的语义场景聚类,对每个场景语义类别生成视觉场景空间,然后对每个场景空间建立相应的语义树.对待标注图像,确定其语义类别后,通过相应的场景语义树,获得图像的最终标注.在Corel5K图像集上,获得了优于TM(translation model)、CMRM(cross media relevance model)、CRM(continous-space relevance model)、PLSA-GMM(概率潜在语义分析-高期混合模型)等模型的标注结果.     

基于约束条件随机场的Web数据语义标注

Web数据语义标注是Web信息抽取中的关键步骤.条件随机场是利用序列特征处理序列标注问题的经典方法.然而现有条件随机场模型无法综合利用已有的Web数据库信息和Web数据元素之间的逻辑关系,导致Web数据语义标注准确率不高.因此,提出一种约束条件随机场模型(CCRF).该模型通过引入可信约束和逻辑约束,有效利用了已有的Web数据库信息和Web数据元素之间的逻辑关系.为了克服现有条件随机场模型Viterbi推理方法无法综合利用这2类约束的不足,该模型采用整数线性规划推理方法,将两类约束同时引入推理过程.通过在多个领域的真实数据集上的实验结果表明,所提出的模型能够显著提高Web数据语义标注的性能,并且为Web信息抽取奠定了良好的基础.     

基于前馈上下文和形状先验的平面标注方法

针对真实场景中由于互相遮挡导致的场景语义不能完全被理解的问题,提出了一种基于前馈上下文和形状先验的方法来对前景区域和被遮挡的背景区域进行语义标注。首先,将原始图像分割成超像素并提取像素点特征,采用加速决策树方法标注前景,同时采用改进的基于多尺度可形变的部件模型方法进行目标检测。其次,将可见对象信息与前馈上下文预测相结合来推测背景区域的被遮挡部分。然后,根据与当前标签置信度相匹配的多边形为每个标签提供形状先验知识。最后,结合像素预测与可视平面预测和多边形知识,以形成完整的场景标注图像。与现有方法相比,该方法能够得到与街道场景更相符的结果,并在人行道和公路较接近时的标注效果更好。     

利用空间金字塔分块与PLSA的场景分类方法

提出一种基于空间金字塔分块与PLSA方法相结合的场景分类方法.该方法首先通过空间金字塔分块的方式来构建图像区域集合,然后利用概率潜在语义分析(PLSA)从图像的区域集合中发现潜在语义模型,最后根据潜在语义模型找出所有图像区域中潜在语义出现概率来构建区域潜在语义特征,并使用该特征构建SVM模型进行场景分类.在13类场景图像上的试验表明,和其他方法相比,该方法中不需要进行大量的手工标注,而且具有更高的分类准确率.     

包含协议和语义的构件一致性验证方法

在基于构件的系统设计中,需要对构件的一致性进行验证。构件的一致性包括语义一致性和协议一致性,已有的一致性验证方法仅支持构件的协议一致性验证。而在实际应用中除了要进行构件的协议一致性验证外,还需要进行其语义一致性验证。为此提出了一种包含协议和语义的构件一致性验证方法。所提方法将方法语义与基于场景的需求规约相结合,使用语义扩展接口自动机模型(SIA)来建模构件的语义和协议信息,使用带有语义约束的UML交互概观图来表示基于场景的需求规约。通过对SIA和带语义约束的UML交互概观图的行为的理论分析,进一步形成了一种一致性验证算法,并用实例来说明其过程。该算法不仅能够检验系统中构件的协议一致性,而且能够检验其语义一致性。该算法中的方法语义包括了该方法参数的类型和详细语义信息,更符合实际应用情形。     

基于深度图及分离池化技术的场景复原及语义分类网络

在机器视觉感知系统中,从不完整的被遮挡的目标对象中鲁棒重建三维场景及其语义信息至关重要.目前常用方法一般将这两个功能分开处理,本文将二者结合,提出了一种基于深度图及分离池化技术的场景复原及语义分类网络,依据深度图中的RGB-D信息,完成对三维目标场景的重建与分类.首先,构建了一种CPU端到GPU端的深度卷积神经网络模型,将从传感器采样的深度图像作为输入,深度学习摄像机投影区域内的上下文目标场景信息,网络的输出为使用改进的截断式带符号距离函数（Truncated signed distance function,TSDF）编码后的体素级语义标注.然后,使用分离池化技术改进卷积神经网络的池化层粒度结构,设计带细粒度池化的语义分类损失函数,用于回馈网络的语义分类重定位.最后,为增强卷积神经网络的深度学习能力,构建了一种带有语义标注的三维目标场景数据集,以此加强本文所提网络的深度学习鲁棒性.实验结果表明,与目前较先进的网络模型对比,本文网络的重建规模扩大了2.1%,所提深度卷积网络对缺失场景的复原效果较好,同时保证了语义分类的精准度.     

城区建筑物3D景观模型建立

为了在2D GIS基础上实现城市建筑物的3D显示,提出了一种建立建筑物3D模型的方法,该方法首先采用最大包围盒法将建筑物3D模型与2．5D DEM集成在一起,然后采用了Meier关系数据结构的表示城区建筑物几何模型中的拓扑信息和属性信息,并通过VRML浏览器业实现城市景观的交互显示,从而实现了利用常规2D GIS数据建立建筑物3D景观虚拟模型,实验结果表明,该方法能在VRML浏览器中以各种视角,在各个位置和按各种缩放比例,对建筑物模型进行动态观察,并在计算机屏幕上实现立体显示,根据实验结果和分析可见,随着2D GIS的发展成熟,利用常规2D GIS数据来建立建筑物3D景观模型的条件已经具备。     

Outlier deletion based improvement on the StOMP algorithm for sparse solution of large-scale underdetermined problems

StOMP algorithm is well suited to large-scale underdetermined applications in sparse vector estimations. It can reduce computation complexity and has some attractive asymptotical statistical properties.However,the estimation speed is at the cost of accuracy violation. This paper suggests an improvement on the StOMP algorithm that is more efficient in finding a sparse solution to the large-scale underdetermined problems. Also,compared with StOMP,this modified algorithm can not only more accurately estimate parameters for the distribution of matched filter coefficients,but also improve estimation accuracy for the sparse vector itself. Theoretical success boundary is provided based on a large-system limit for approximate recovery of sparse vector by modified algorithm,which validates that the modified algorithm is more efficient than StOMP. Actual computations with simulated data show that without significant increment in computation time,the proposed algorithm can greatly improve the estimation accuracy.     

基于Java 3D的虚拟网络电力监控环境设计

虚拟现实技术（VR）是一项以计算机技术为主,利用计算机等设备构建一个三维虚拟世界,并通过人与虚拟世界的交互。实现人与虚拟世界融为一体的技术。本文介绍了应用Java 3D开发的虚拟现实技术,给出了实现该技术场景创建、动画设计和交互设计技术的部分关键代码。该设计具有开发三维视觉、实现用户网络交互的能力,并已经被运用到远程电力监测系统中。该技术也可以被应用到类似的监控系统的开发中。     

Lighting virtual objects in a single image via coarse scene understanding

Achieving convincing visual consistency between virtual objects and a real scene mainly relies on the lighting effects of virtual-real composition scenes. The problem becomes more challenging in lighting virtual objects in a single real image. Recently,scene understanding from a single image has made great progress. The estimated geometry,semantic labels and intrinsic components provide mostly coarse information,and are not accurate enough to re-render the whole scene. However,carefully integrating the estimated coarse information can lead to an estimate of the illumination parameters of the real scene. We present a novel method that uses the coarse information estimated by current scene understanding technology to estimate the parameters of a ray-based illumination model to light virtual objects in a real scene. Our key idea is to estimate the illumination via a sparse set of small 3D surfaces using normal and semantic constraints. The coarse shading image obtained by intrinsic image decomposition is considered as the irradiance of the selected small surfaces. The virtual objects are illuminated by the estimated illumination parameters. Experimental results show that our method can convincingly light virtual objects in a single real image,without any pre-recorded 3D geometry,reflectance,illumination acquisition equipment or imaging information of the image.     

基于场景语义的3D交互体系结构

借鉴真实世界的认知心理学原理,将虚拟场景的可视表达和语义信息结合起来共同服务于用户的交互过程,多种3D交互技术被融合在一个统一的交互框架内,使复杂虚拟环境中的3D用户界面更容易被用户理解和使用.通过增强场景图的语义处理能力,建立支持高层语义的3D用户界面体系结构,3D交互系统不仅在几何层上而且还能在语义层上支持交互任务的执行.最后介绍了一个应用实例.     

基于语义虚拟环境的虚拟人动画研究与实现*

现有虚拟环境建模（如VRML/X3D）主要集中在几何图形的描述,所显示的虚拟场景对于人是可理解的,但对于计算机是不可理解的,因而难以作有意义的自动处理。基于语义Web设计了一个语义虚拟环境（主要包括语义虚拟场景和语义虚拟人）,并设计了基于语义虚拟环境的虚拟人动画引擎。语义虚拟环境使得计算机能够理解和自动处理虚拟环境的语义信息,并且使得虚拟环境系统具有可重用性、可扩展性和可集成性。最后,在语义虚拟环境和虚拟人动画引擎的基础上开发了一个办公室场景中智能虚拟人行动推理的系统,取得了很好的效果。     

交互式遗传的3维场景扩展

目的 实现良好的用户体验是3维游戏场景设计的重要目的之一。目前3维场景设计通常多由美术设计师进行创作而非建筑设计及景观规划领域人员,场景空间组织方式没有充分考虑到用户体验,同时由于大型3维场景的制作周期过长,设计效率普遍较低。上述现象直接导致游戏用户在3维游戏场景中交互的体验感较差,但是该问题一直以来没有较好的方法予以解决,也没有引起相关领域研究者的重视。本文提出一种基于交互式遗传的多手段协同操作方法,其目的为实现更加高效、合理的批量生成大型场景单元,并改善空间组织方式,以获得良好的游戏用户体验感。方法 本文方法主要通过特征聚类、蚁群算法空间布局优化及交互式遗传算法评价的方式来解决交互性差的问题。通过自学习方式进行场景建筑布局及立面层次进行特征聚类,并通过基于包围盒的蚁群优化算法进行场景组织的布局优化,最后结合交互式遗传算法引入用户评价来获得特征适应值评估从而得到新扩展的场景,该方法实现了重构场景的良好用户体验性及空间组织方式的合理性。结果 对小型场景进行扩展和对单体建筑的布局进行重构,该方法所得到的新的场景具有良好的空间组织结构,基于用户评价通过交互式遗传算法以用户喜好的评价驱动进化,扩展后的场景反映了真实用户的主观感受并取得较为令人满意的效果,提高了用户体验的友好性。结论 提出一种基于交互式遗传算法的场景重构方法,通过选择特定场景样本进行算法的实现,结果表明该方法具有可行性,并实现了较好的效果。本文方法对于游戏场景设计、文物古迹复原及系统仿真领域具有现实意义和研究价值。     

Retargeting 3D Objects and Scenes with a General Framework

In this paper, we introduce an interactive method suitable for retargeting both 3D objects and scenes. Initially, the input object or scene is decomposed into a collection of constituent components enclosed by corresponding control bounding volumes which capture the intra‐structures of the object or semantic grouping of objects in the 3D scene. The overall retargeting is accomplished through a constrained optimization by manipulating the control bounding volumes. Without inferring the intricate dependencies between the components, we define a minimal set of constraints that maintain the spatial arrangement and connectivity between the components to regularize the valid retargeting results. The default retargeting behavior can then be easily altered by additional semantic constraints imposed by users. This strategy makes the proposed method highly flexible to process a wide variety of 3D objects and scenes under an unified framework. In addition, the proposed method achieved more general structure‐preserving pattern synthesis in both object and scene levels. We demonstrate the effectiveness of our method by applying it to several complicated 3D objects and scenes.