大规模外存场景的交互绘制

在场景分割的基础上,提出一种连续分层层次细节模型组织场景,并对视点空间进行划分,为每个视点单元计算恰好满足单元内任意视点屏幕像素误差的场景图节点列表,称为cell-front;然后利用cell-front对外存模型的存储进行重新设计.在绘制时采用多线程技术,绘制线程对当前cell-front进行可见性剔除和视点相关的选择绘制;预取线程采用一种基于视点单元的预取策略,利用视点单元之间cell-front的变化控制预取数据的调度.该算法能够在保证场景绘制质量的前提下,在普通的PC机上实现大规模外存场景的实时交互显示.     

基于多线程并行的大规模场景交互漫游研究

针对大规模三维场景的交互漫游,提出了一种基于多线程并行调度解决方案,并给出了相应的交互漫游算法.该方法使用离散层次细节技术结合视点相关的动态连续层次细节选择和过渡的批LOD技术.在预处理阶段,对大规模场景进行分层分块处理;在实时漫游阶段,采用多线程并行技术:绘制线程利用四又树层次进行可见性剔除和视点相关简化获取当前可绘地形,并将其提交给GPU进行绘制.预取线程通过预测视点的位置,从外存预取相关的几何数据并调入内存.将该方法应用于具体实例,取得了良好效果,证明了该并行方法的有效性.     

云边页协同的WebBIM大场景多粒度兴趣加载调度算法

当今5G与VR日益兴起,在移动网页浏览器上展示大规模建筑信息模型(BIM)场景的需求越来越多.网页浏览器计算性能弱与网络延迟严重等问题,使大规模WebBIM场景的在线可视化具有较大的挑战性.为此,提出云边页协同的WebBIM大场景多粒度兴趣加载调度算法.首先,将边缘计算引入WebBIM在线可视化中,设计云边页三端协同的WebBIM多粒度在线可视化框架;然后,针对BIM构件给出兴趣度的定义,并提出基于兴趣度的多粒度化传输调度机制;最后,根据视角的全局性、轻量性与兴趣度,给出BIM场景的最优初始加载视点的选取方法.借助于阿里云服务搭建实验平台,并选取若干大型BIM场景进行了网上实测.实验结果表明,该算法能够有效地降低加载BIM场景的数据量,显著地提升WebBIM场景的初始加载速度,在线漫游时没有明显的延迟.     

QuickWalk:一个大规模场景交互漫游系统

随着三维扫描与建模技术的飞速发展,三维场景的数据量急剧增大,无法一次性载入内存,而且难以进行交互绘制.研究开发了一个大规模外存场景的交互漫游系统QuickWalk,该系统集成了视点相关的层次细节技术、可见性剔除和场景数据的内外存调度,能够有效地减少运行时刻的内存需要,使CPU、GPU和I/O三者的效率得到充分发挥.实验表明,在保证场景绘制质量的前提下,该系统能够在目前普通的PC上实现大规模外存场景的实时显示和交互操纵.     

大规模雪场景的实时绘制

大规模雪场景的真实感实时绘制在虚拟现实、雪灾的预防和救援、军事仿真及游戏设计等领域有着广泛的应用价值,但现有方法难以同时生成大规模动态雪场景的积雪及飘雪效果.为此提出并实现了一种交互式大规模雪场景建模与实时绘制的新方法.为了精细地模拟场景的积雪效果,提出一种基于视点的自适应降雪遮挡图模型,能在实时更新地物的遮挡关系的同时大大减少大规模雪场景中积雪的计算量,并提高了计算精度;对于场景的飘雪,采用一种基于视点的雪粒子分层建模技术来减少雪粒子数量,将视点变换及降雪粒子系统移至GPU中进行加速计算;采用动态多旋转纹理来模拟飘落雪花的形状以增加其真实感;采用几何与纹理混合绘制的方式来减少大场景的复杂度.最终成功地实现了野外和城市两个大规模雪场景的实时漫游,在场景中可看到压雪累累的树枝雪挂景象及轿车上厚厚积雪等冬天美景.     

大规模地景数据的模型优化及动态调度

大规模复杂场景的实时绘制是当今图形学研究的热点之一。针对复杂场景的实时绘制,本文提出了一种基于视点的地景信息动态调度策略,根据场景数据的空间住置的相关性将地块划分成不同的类型,然后分批次的调入内存进行处理。在Vega平台下,应用本文提出的数据分块调度策路,成功地实现了基于PC机的桌面级非沉浸式的虚拟漫游系统。该系统在显示效果和运行速度方面都收到了满意的效果。     

基于最小费用最大流的大规模资源调度方法

并行作业是大规模资源调度的研究热点.已有研究工作通常采用队列进行资源调度建模,仅能满足局部最优解,只能适应调度目标固定不变的场景,灵活性不够.提出了一种基于最小费用最大流的大规模资源调度建模方法,将任务的资源需求和物理资源供给问题转换成最小费用最大流图的构造和求解问题.首先,选择公平性、优先级和放置约束三种典型度量作为切入点,从资源视角映射为图的构造问题,通过改变图的结构使其具备适应性调整能力.其次,针对图的求解时间复杂度高的问题,实现了一种增量式优化算法.最后,实验对比公平性、优先级和放置约束三种资源调度典型系统,验证了本方法可通过按需配置,支持多种调度目标,具备灵活性.并通过实验仿真验证了万级规模下基于图的资源调度延迟,比基于未优化图算法的资源调度延迟最多降低10倍.     

基于场景图的实时交互视景系统平台设计

三维场景组织管理中经常采用的空间数据结构--场景图的具体实现,包括场景数据的组织管理,可见性剔除、节点遍历、优化处理、碰撞检测等.在基于场景图的基础上设计并实现了一个实时交互式视景系统开发平台,给出了系统的结构框图、工作流程与信息交互关系,并对视景系统平台的视点控制、场景参数的应用定义文件输出以及场景图像捕捉和视频输出功能进行了详细介绍.平台同时提供了一套基于场景图的可供二次开发的三维图形应用程序接口.     

视野驱动的自适应阴影图

阴影图是当前实时阴影绘制中的一种经典算法。该算法基于图像空间,当有限分辨率的阴影图映射到较大场景中时,就会由于采样不足造成锯齿形变走样。提出了一种实时的反走样阴影图算法,该算法首先获取当前视点所能够看到的场景范围,然后绘制该范围内的阴影图,并映射到场景中生成实时阴影。该方法同经典的阴影图算法相比,避免了场景中不必要的阴影绘制,提高了阴影图的利用率,反走样的效果很好。而且,该方法只需要绘制一到两幅阴影图,算法的实时性很强,可以满足一个上百万面片的大规模场景中实时阴影绘制的需要。     

VRML虚拟图书馆的构建与优化浏览

鉴于虚拟校园广受关注和VRML广泛应用的背景,以虚拟图书馆建设为例,探讨VRML虚拟场景的构建、优化和调度问题.给出了虚拟图书馆的开发流程,并从基础数据收集与整理、三维模型建立、三维模型优化等方面,给出了虚拟图书馆的构建过程.采用基于VisibilitySensor的调度算法,对进入视域范围的场景进行调度.利用LOD思想,对视域内的物体根据视点距离调度不同精度的模型,实现了VRML场景的快速浏览.经过发布与测试,表明VRML虚拟图书馆具有操作简单、逼真度高、适应性强等特点,在网络运行顺畅,实用价值较高.     

用于行人轨迹预测的场景限制时空图卷积网络

目的 针对行人轨迹预测问题,已有的几种结合场景信息的方法基于合并操作通过神经网络隐式学习场景与行人运动的关联,无法直观地解释场景对单个行人运动的调节作用。除此之外,基于图注意力机制的时空图神经网络旨在学习全局模式下行人之间的社会交互,在人群拥挤场景下精度不佳。鉴于此,本文提出一种场景限制时空图卷积神经网络（scene-constrained spatial-temporal graph convolutional neural network,Scene-STGCNN）。方法 Scene-STGCNN由运动模块、基于场景的微调模块、时空卷积和时空外推卷积组成。运动模块以时空图卷积提取局部行人时空特征,避免了时空图神经网络在全局模式下学习交互的局限性。基于场景的微调模块将场景信息嵌入为掩模矩阵,用来调节运动模块生成的中间运动特征,具备实际场景下的物理解释性。通过最小化核密度估计下真实轨迹的负对数似然,增强Scene-STGCNN输出的多模态性,减少预测误差。结果 实验在公开数据集ETH （包含ETH和HOTEL）和UCY （包含UNIV、ZARA1和ZARA2）上与其他7种主流方法进行比较,就平均值而言,相对于性能第2的模型,平均位移误差（average displacement error,ADE）值减少了12%,最终位移误差（final displacement error,FDE）值减少了9%。在同样的数据集上进行了消融实验以验证基于场景的微调模块的有效性,结果表明基于场景的微调模块能有效建模场景对行人轨迹的调节作用,从而减小算法的预测误差。结论 本文提出的场景限制时空图卷积网络能有效融合场景和行人运动,在学习局部模式下行人交互的同时基于场景特征对轨迹特征做实时性调节,相比于其他主流方法,具有更优的性能。     

图注意力网络的场景图到图像生成模型

目的 目前文本到图像的生成模型仅在具有单个对象的图像数据集上表现良好，当一幅图像涉及多个对象和关系时，生成的图像就会变得混乱。已有的解决方案是将文本描述转换为更能表示图像中场景关系的场景图结构，然后利用场景图生成图像，但是现有的场景图到图像的生成模型最终生成的图像不够清晰，对象细节不足。为此，提出一种基于图注意力网络的场景图到图像的生成模型，生成更高质量的图像。方法 模型由提取场景图特征的图注意力网络、合成场景布局的对象布局网络、将场景布局转换为生成图像的级联细化网络以及提高生成图像质量的鉴别器网络组成。图注意力网络将得到的具有更强表达能力的输出对象特征向量传递给改进的对象布局网络，合成更接近真实标签的场景布局。同时，提出使用特征匹配的方式计算图像损失，使得最终生成图像与真实图像在语义上更加相似。结果 通过在包含多个对象的COCO-Stuff图像数据集中训练模型生成64×64像素的图像，本文模型可以生成包含多个对象和关系的复杂场景图像，且生成图像的Inception Score为7.8左右，与原有的场景图到图像生成模型相比提高了0.5。结论 本文提出的基于图注意力网络的场景图到图像生成模型不仅可以生成包含多个对象和关系的复杂场景图像，而且生成图像质量更高，细节更清晰。     

嵌入路网图模型的自动驾驶场景描述语言

深度学习的快速发展带动着自动驾驶技术的迅速进步.深度学习感知模型在识别准确率逐步提升的同时,也存在鲁棒性和可靠性不足等隐患,需要在大量场景下进行充分测试以确保达到可接受的安全标准.基于场景的仿真测试是自动驾驶技术的核心和关键,如何描述和生成多样化仿真测试场景是需要解决的关键问题之一.场景描述语言能够描述自动驾驶场景并在虚拟环境中实例化场景获取仿真数据,但现有的场景描述语言大都缺少对于场景道路结构的高层抽象和描述.提出路网属性图来表示路网中抽象出的实体及他们的关系,并设计能简洁描述场景路网结构的语言SceneRoad. SceneRoad可以基于描述的场景道路结构特征构建路网特征查询图.这样,在路网中搜索符合描述的场景道路特征的问题被抽象为路网图上的子图匹配问题,该问题可用VF2算法求解.进一步地,将SceneRoad作为扩展集成到Scenic场景描述语言中.使用拓展后的语言随机生成大量多样的静态场景并构建仿真数据集.仿真数据集的统计信息表明生成的场景具有丰富的场景多样性.不同感知模型在真实和仿真数据集上的训练测试结果表明,模型在两个数据集上的表现呈正相关,意味着模型在仿真数据集上的评估...     

基于图像技术的真实场景造型与编辑

Image- based modeling and rendering techniques greatly advanced the level of photorealism incomputer graphics.They were originally proposed to accelerate rendering with the ability to varyviewpoint only.My work in this area focused on capturing and modeling real scenes for novel visual interactionssuch as varying lighting condition and scene configuration in addition to viewpoint.Thiswork can leadto Applications such as virtual navigation of a real scene,interaction with the scene,novel scenec…     

VideoGraph: a non-linear video representation for efficient exploration

In this paper we introduce VideoGraph, a novel non-linear representation for scene structure of a video. Unlike classical linear sequential organization, VideoGraph concentrates the video content across the time line by structuring scenes and materializes with two-dimensional graph, which enables non-linear exploration on the scenes and their transitions. To construct VideoGraph, we adopt a sub-shot induced method to evaluate the spatio-temporal similarity between shot segments of video. Then, scene structure is derived by grouping similar shots and identifying the valid transitions between scenes. The final stage is to represent the scene structure using a graph with respect to scene transition topology. Our VideoGraph can provide a condensed representation in the scene level and facilitate a non-linear manner to browse videos. Experimental results are presented to demonstrate the effectiveness and efficiency by using VideoGraph to explore and access the video content.     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。     

Detection and representation of scenes in videos

This paper presents a method to perform a high-level segmentation of videos into scenes. A scene can be defined as a subdivision of a play in which either the setting is fixed, or when it presents continuous action in one place. We exploit this fact and propose a novel approach for clustering shots into scenes by transforming this task into a graph partitioning problem. This is achieved by constructing a weighted undirected graph called a shot similarity graph (SSG), where each node represents a shot and the edges between the shots are weighted by their similarity based on color and motion information. The SSG is then split into subgraphs by applying the normalized cuts for graph partitioning. The partitions so obtained represent individual scenes in the video. When clustering the shots, we consider the global similarities of shots rather than the individual shot pairs. We also propose a method to describe the content of each scene by selecting one representative image from the video as a scene key-frame. Recently, DVDs have become available with a chapter selection option where each chapter is represented by one image. Our algorithm automates this objective which is useful for applications such as video-on-demand, digital libraries, and the Internet. Experiments are presented with promising results on several Hollywood movies and one sitcom.     

混合蚁群优化算法求解卫星数传调度问题

为了求解卫星数传调度问题,提出了混合蚁群优化算法。算法设计了基于任务数传操作的解构造图,提出了基于解构造图的任务调度序列和资源分配序列概率决策模型,采用基于随机加权的混合策略综合利用问题的启发式信息。算法通过基于混沌变异的列信息素向量更新策略增强解构造的多样性,通过具有补偿机制的全局信息素更新策略来保证算法的收敛性。利用STK工具设计了五个调度场景,并利用计算机生成各场景的数传任务。仿真实验结果表明,该算法是可行、有效的,收敛性和解多样性较好。     

A novel plane extraction approach using supervised learning

This paper presents a novel approach for the classification of planar surfaces in an unorganized point clouds. A feature-based planner surface detection method is proposed which classifies a point cloud data into planar and non-planar points by learning a classification model from an example set of planes. The algorithm performs segmentation of the scene by applying a graph partitioning approach with improved representation of association among graph nodes. The planarity estimation of the points in a scene segment is then achieved by classifying input points as planar points which satisfy planarity constraint imposed by the learned model. The resultant planes have potential application in solving simultaneous localization and mapping problem for navigation of an unmanned-air vehicle. The proposed method is validated on real and synthetic scenes. The real data consist of five datasets recorded by capturing three-dimensional(3D) point clouds when a RGBD camera is moved in five different indoor scenes. A set of synthetic 3D scenes are constructed containing planar and non-planar structures. The synthetic data are contaminated with Gaussian and random structure noise. The results of the empirical evaluation on both the real and the simulated data suggest that the method provides a generalized solution for plane detection even in the presence of the noise and non-planar objects in the scene. Furthermore, a comparative study has been performed between multiple plane extraction methods.