面向移动终端的分布并行化渲染

目的 随着移动互联技术和实时渲染技术的快速发展,面向移动终端的3维展示提供了远程交互式的模型渲染,但较高的渲染计算复杂度与较大的数据处理规模,影响了移动终端3维展示的渲染质量和实时性。针对以上不足,提出一种面向移动终端的分布并行化渲染方法。方法 该方法将渲染任务分布到服务端与终端,服务端采用层次细节模型控制场景复杂度,生成初次渲染图像;终端采用基于图像的渲染技术再次绘制图像,提高渲染质量,同时在渲染过程中利用CUDA(compute unified device architecture)并行计算加速渲染数据处理。结果 本方法有效提高了渲染速度,降低了数据传输量,并保证了图像质量,帧率和数据传输量优化了大约10.8%。结论 本文方法为面向移动终端的3维展示提供了很好的解决途径,在移动网络环境中,能够有效降低服务端负载压力,提高资源利用率并改善用户体验。     

基于双层DQN的多智能体路径规划

目的 随着虚拟现实技术的发展,在虚拟场景中,基于多智能体的逃生路径规划已成为关键技术之一。与传统的火灾演习相比,采用基于虚拟现实的方法完成火灾逃生演练具有诸多优势,如成本低、代价小、可靠性高等,但仍有一定的局限性,为此,提出一种改进的双层深度Q网络（deep Q network,DQN）架构的路径规划算法。方法 基于两个结构相同的双Q网络,优化了经验池的生成方法和探索策略,并在奖励中增加火灾这样的环境因素对智能体的影响。同时,为了提高疏散的安全性和效率,提出了一种基于改进的K-medoids算法的多智能体分组策略方法。结果 相关实验表明提出的改进的双层深度Q网络架构收敛速度更快,学习更加稳定,模型性能得到有效提升。综合考虑火灾场景下智能体的疏散效率和疏散安全性,使用指标平均健康疏散值（average health evacuation value, AHEP）评估疏散效果,相较于传统的路径规划方法A-STAR（a star search algorithm）和DIJKSTRA（Dijkstra’s algorithm）分别提高了84%和104%;与基于火灾场景改进的扩展A-STAR和Dijkstra-ACO（Dijkstra and ant colony optimization）混合算法比较,分别提高了30%和21%;与考虑火灾影响的DQN算法相比,提高了20%,疏散效率和安全性都得到提高,规划的路径疏散效果更好。通过比较不同分组模式下的疏散效果,验证了对多智能体合适分组可以提高智能体疏散效率。结论 提出的算法优于目前大多数常用的方法,显著提高了疏散的效率和安全性。     

图匹配算法激光扫描点云树干分割

目的 移动激光扫描系统能够成功采集丰富的城市行道树侧边信息,然而由于点云数据规模大、密度欠均匀和噪声多等原因,导致行道树的提取精度和效率偏低。为此,本文提出一种基于层次聚类的算法从移动激光扫描点云中提取树干。方法 采用自下而上的聚类策略合并目标区域,基于点云间欧氏距离和点云的局部主方向计算聚类所需的邻近矩阵,通过构造能量函数评估不同的簇合并方案,将能量函数最小化问题转换为计算二分图匹配问题,求解二分图的最小代价完美匹配获得全局最优的层次聚类。结果 实验在公开的巴黎场景数据集与自采集的南京黄埔路场景数据集上进行测试,本文提出的自下向上的聚类算法成功地从点云中提取出树干和主要树枝点,其中提取树干的平均正确率、完整率和F-score分别为98.5%、94.8%和0.97,与其他算法中最好的实验结果对比,分别提高了1.0%、0.6%和0.02。结论 实验结果表明,本文算法通过优化层次聚类中的簇合并,可以有效减少聚类中的“过分割”和“欠分割”,提高点云中树干的分割精度与效率。     

辅助社交训练严肃游戏中虚拟角色行为表现的不确定性模型

目的 建立行为可信的虚拟角色能够使严肃游戏更加有趣,提升用户使用的体验感。尽管严肃游戏的图形渲染技术已经日趋成熟,但现有的虚拟角色行为表现方式多采用确定性模型,很难反映虚拟角色行为表现的多样性。方法 本文构建了符合辅助社交训练的严肃游戏剧情,采用智能体来描述虚拟角色,赋予虚拟角色视觉、听觉双通道感知。基于马斯洛动机理论,采用食物、休息、交流和安全等动机来描述情绪的产生,利用大五（OCEAN）个性模型来描述虚拟角色的不同个性差别。用外部刺激和内部动机需求来计算情绪强度,利用行为树描述虚拟角色的行为。运用正态云模型处理虚拟角色行为表现的不确定性,并以行走方向、社交距离、交流时身体朝向3个典型的行为表现给出了具体处理方法。结果 在所实现的游戏原型系统中,对于虚拟角色的自主行为和行为表现的不确定性进行了用户体验测试。结果表明,在场景探索任务中,虚拟角色的自主行为模型能减少用户探索场景所耗费的时间,并且可以促进用户与虚拟角色交流;在行为表现测试中,本文模型的自然性评价要高于确定性模型。结论 本文虚拟角色行为模型在一定程度上可提升用户的体验感,有望为建立行为可信的虚拟角色提供一种新的途径。     

图像亮度线索下的单目深度信息提取

目的 深度信息的获取是3维重建、虚拟现实等应用的关键技术,基于单目视觉的深度信息获取是非接触式3维测量技术中成本最低、也是技术难度最大的手段。传统的单目方法多基于线性透视、纹理梯度、运动视差、聚焦散焦等深度线索来对深度信息进行求取,计算量大,对相机精度要求高,应用场景受限,本文基于固定光强的点光源在场景中的移动所带来的物体表面亮度的变化,提出一种简单快捷的单目深度提取方法。方法 首先根据体表面反射模型,得到光源照射下的物体表面的辐亮度,然后结合光度立体学推导物体表面辐亮度与摄像机图像亮度之间的关系,在得到此关系式后,设计实验,依据点光源移动所带来的图像亮度的变化对深度信息进行求解。结果 该算法在简单场景和一些日常场景下均取得了较好的恢复效果,深度估计值与实际深度值之间的误差小于10%。结论 本文方法通过光源移动带来的图像亮度变化估计深度信息,避免了复杂的相机标定过程,计算复杂度小,是一种全新的场景深度信息获取方法。     

大规模虚拟场景渐进式传输的研究进展

随着网上三维虚拟场景的急剧扩张,来自用户端的即时下载请求和有限带宽之间的矛盾亦变得日益突出。现已有大量研究者致力于通过渐进式传输来实现网上大规模虚拟场景的快速下载,因此有必要对现有研究成果进行综述。首先介绍了渐进式传输的基本原理和过程,给出了一个用于评价不同传输策略的公式,接下来分别从(1)潜在可视场景集及潜在可视场景集增量的判定,(2)三维物体模型的简化技术和流式编码,(3)不同体系结构的分布式虚拟环境中的场景传输机制,(4)虚拟场景的预下载策略等方面论述了针对大规模虚拟场景的渐进式传输策略,最后展望了网上大规模虚拟场景渐进式下载技术的未来研究方向。     

面向浏览器的医学影像可视化系统

目的 当前各大商业公司和开源社区所提供的医学影像可视化系统依赖于各类平台以及与平台相关的插件,难以实现跨平台访问.为此提出并实现了基于HTML5的面向现代浏览器的医学影像可视化系统.方法 基于B/S(browers/server)模式进行系统整体架构与设计,设计自定义的传输协议提供各种定制的图像可视化服务.对于2维影像,采用HTML的canvas技术和WebGL技术进行浏览器端硬件加速.对于3维医学影像,采用前后端异步操作的策略以提供渐进式可视化.算法构造原始数据的多分辨率采样,并在用户交互过程中实现自适应可视化.结果 在不同的浏览器、多组临床医学影像肝脏数据上测试了系统,表明系统支持跨浏览器的可视化.测试2维和3维可视化的结果表明,系统支持2维影像的实时可视化(25帧/s),支持3维影像的交互可视化.对于512×512×154的医学体数据,低精度绘制模式的可视化效率可以达到60帧/s,高精度绘制模式的可视化效率可达到 1帧/s 的绘制效率.结论 本文面向浏览器的医学影像可视化系统利用当下新兴的WEB技术实现了跨浏览器、跨平台地对用户提供服务,为远程及移动医疗影像可视化系统提供了机会.     

域自适应城市场景语义分割

目的 域自适应分割网（AdaptSegNet）在城市场景语义分割中可获得较好的效果,但是该方法直接采用存在较大域差异（domain gap）的源域数据集GTA（grand theft auto）5与目标域数据集Cityscapes进行对抗训练,并且在网络的不同特征层间的对抗学习中使用固定的学习率,所以分割精度仍有待提高。针对上述问题,提出了一种新的域自适应的城市场景语义分割方法。方法 采用SG-GAN（semantic-aware grad-generative adversarial network（GAN））方法对虚拟数据集GTA5进行预处理,生成新的数据集SG-GTA5,其在灰度、结构以及边缘等信息上都更加接近现实场景Cityscapes,并用新生成的数据集代替原来的GTA5数据集作为网络的输入。针对AdaptSegNet加入的固定学习率问题,在网络的不同特征层引入自适应的学习率进行对抗学习,通过该学习率自适应地调整不同特征层的损失值,达到动态更新网络参数的目标。同时,在对抗网络的判别器中增加一层卷积层,以增强网络的判别能力。结果 在真实场景数据集Cityscapes上进行验证,并与相关的域自适应分割模型进行对比,结果表明：提出的网络模型能更好地分割出城市交通场景中较复杂的物体,对于sidewalk、wall、pole、car、sky的平均交并比（mean intersection over union, mIoU）分别提高了9.6%、5.9%、4.9%、5.5%、4.8%。结论 提出方法降低了源域和目标域数据集之间的域差异,减少了训练过程中的对抗损失值,规避了网络在反向传播训练过程中出现的梯度爆炸问题,从而有效地提高了网络模型的分割精度;同时提出基于该自适应的学习率进一步提升模型的分割性能;在模型的判别器网络中新添加一个卷积层,能学习到图像的更多高层语义信息,有效地缓解了类漂移的问题。     

图形图像融合的海量建筑绘制

目的 城市3维模型数据海量且结构复杂,缺乏一个高效完善的可视化系统往往是影响数字城市应用的瓶颈之一。通常利用多层次细节（LOD）与调度算法减少每一帧绘制的数据量来提高绘制效率,当场景规模足够大时,即使采用复杂的优化算法也难以取得较好的效果。为此,本文在传统算法基础上,提出一种图形图像融合的海量建筑物场景绘制方法。方法 提出并采用视域分级绘制策略,将视椎体平行分割为感兴趣区域、次感兴趣区域和非感兴趣区域,感兴趣区域采用图形实时绘制方法,使用离屏渲染技术将次感兴趣和非感兴趣区域绘制在纹理图像中,每一帧绘制完成后将二者进行顾及深度信息的融合,实现完整场景渲染。结果 使用公开的纽约市区CityGML文件作为实验数据,数据包含了118 195个LOD1和LOD2级别的建筑物模型。分别构建多组不同建筑数量的场景进行帧率统计实验,绘制帧率都达到20帧/s以上。算法实现了视觉无损失的场景完整渲染,并与Cesium平台进行对比实验,证明算法有效且系统运行流畅。结论 图形图像融合的绘制方法,既保持了图形渲染的漫游连续性,同时也具有图像渲染的场景复杂度无关的优点。实验结果表明,针对大规模的低分辨率建筑模型场景,算法可以有效提高系统的渲染能力,在性能相对较低的硬件条件下也能实现海量建筑物实体模型的流畅漫游,并达到视觉无损失的场景完整绘制。     

结合语义信息与3D点云技术的未知环境地图构建方法

目的 机器人在进行同时定位与地图构建（simultaneous localization and mapping,SLAM）时需要有效利用未知复杂环境的场景信息,针对现有SLAM算法对场景细节理解不够及建图细节信息缺失的问题,本文构造出一种将SLAM点云定位技术与语义分割网络相结合的未知环境地图构建方法,实现高精度三维地图重建。方法 首先,利用场景的实时彩色信息进行相机的位姿估计,并构造融合空间多尺度稀疏及稠密特征的深度学习网络HieSemNet（hierarchical semantic network）,对未知场景信息进行语义分割,得到场景的实时二维语义信息;其次,利用深度信息和相机位姿进行空间点云估计,并将二维语义分割信息与三维点云信息融合,使语义分割的结果对应到点云的相应空间位置,构建出具有语义信息的高精度点云地图,实现三维地图重建。结果 为验证本文方法的有效性,分别针对所构造的HieSemNet网络和语义SLAM系统进行验证实验。实验结果表明,本文的网络在平均像素准确度和平均交并比上均取得了较好的精度,MPA（mean pixel accuracy）指标相较于其他网络分别提高了17.47%、11.67%、4.86%、2.90%和0.44%,MIoU（mean intersection over union）指标分别提高了13.94%、1.10%、6.28%、2.28%和0.62%。本文的SLAM算法可以获得更多的建图信息,构建的地图精度和准确度都更好。结论 本文方法充分考虑了不同尺寸物体的分割效果,提出的HieSemNet网络能有效提高场景语义分割准确性,此外,与现有的前沿语义SLAM系统相比,本文方法能够明显提高建图的精度和准确度,获得更高质量的地图。     

基于推拉结合机制的P2P流媒体分发算法

随着流媒体直播应用的日益扩大,传统C/S（Client/Server）模式网络构架的服务器负载过重,导致QoS（Quality of Service）得不到保证,而P2P（Peer-to-Peer）网络具有负载均衡、可扩展性、容错性强等优点。目前P2P技术开始逐步走向成熟。大多数P2P流媒体数据分发采用Pull模式或Push模式,本文提出基于推拉结合机制的P2P流媒体分发算法,通过仿真实验,从系统开销、端到端延迟等方面对两者进行了性能对比。实验结果表明,该推拉结合机制有效的降低了数据块传输时延,并且在很大程度上避免了数据块的重复推送,降低了数据冗余。     

P2P Object-based adaptivE Multimedia Streaming (POEMS)

Peer-to-peer (P2P) paradigm has recently gained tremendous attraction and is widely used for content distribution and sharing. The future multimedia communication applications have to support the user’s needs, the terminal capabilities, the content specification and the underlying networking technologies. They should be network-aware, topology-aware, and end-user-centric. Thus, in this paper, we use the characteristics of the object-based encoding scheme and P2P network topology to propose adaptive content delivery architecture for P2P networks. We propose an efficient mechanism for transmission of real-time content over P2P networks, called POEMS (P2P Object-based adaptivE Multimedia Streaming). This object-based audio-visual quality adaptive mechanism over P2P networks is media-aware, network-aware, and user-centric that is carried-out through (1) selection of appropriate sending peers willing to participate in the streaming mechanism, (2) organization of sending peers by constructing an overlay network to facilitate content delivery and adaptation, (3) dynamicity management of peers when some peer enters or leaves the system to maintain an acceptable level of perceived video quality, and (4) ensuring the end-to-end QoS (Quality of Services) by orchestrating the overall streaming mechanism. The obtained results demonstrate that combining content adaptation using object-based encoding and advance network-aware peers selection based on peer monitoring leads to intelligent, efficient, and large-scale support of multimedia services over complex network architectures.

基于P2P的海量水利遥感影像优化传输策略*

海量水利遥感影像的网络传输与处理是用户及时获取遥感水利产品的关键。针对传统的基于客户端/服务器结构网络传输模式难以满足大量用户并发请求及时响应的问题,提出一种基于P2P思想的海量水利遥感影像传输优化策略,充分利用客户端资源进行数据处理与调度,减少服务器负载,并设计了抢占式传输机制,提高影像传输速度。通过原型系统Hydro-PNet(Hydro-Processing Peer-to-Peer Network)测试表明,该策略有效地提高了数据传输速度,减少了用户请求响应时间。     

基于网络编码的对等网流媒体传输模型和算法

在对等网(peer-to-peer,简称P2P)流媒体系统中,节点(用户)的输出带宽(上行带宽)容量利用率的提高能够降低服务器的带宽开销.网络编码可以实现组播的最大吞吐率,因而具有提高系统中节点输出带宽容量利用率的潜力.将随机线性网络编码应用到P2P流媒体系统中,建立了基于随机线性网络编码的P2P流媒体传输过程模型,并据此建立传输算法的优化模型,比较研究了贪婪式算法、最少者优先算法和随机算法等.优化结果表明,随机算法可以平等均匀地获取数据包,能够最充分地利用节点的输出带宽容量,降低服务提供商的运营成本.通过对优化模型解的分析对实际系统中的传输算法给出了设计指导原则.     

基于P2P的自组织网络路由算法研究*

针对传统的P2P采用泛洪的信息传输方式,网络带宽开销耗费较大,而结构化P2P覆盖网又难以在开销和效率方面做到较好的权衡。根据网络的动态性,有效地建立起一个可分层的树型自治系统,详细描述了该系统的构建目标和体系结构,并基于P2P计算模式动态构建该模型,给出相应的路由发现和更新算法。在理论及仿真实验的基础上对该路由模型的性能进行了验证。结果表明,该网络是一种可运行于任何环境,不受限于系统规模大小、节点能力强弱、节点出入频率,可通过动态调节保证路由效率的广域分布式系统。     

一种基于P2P机制的虚拟以太网改进设计与实现

传统基于C/S模式的虚拟以太网的数据在处理过程中需要两次经过协议栈,这在一定程度上影响了远程安全组网的传输效率.提出了一种改进的基于P2P机制的虚拟以太网设计,实现虚拟网络中节点之间的对等连接,能有效克服传统虚拟以太网的不足.测试表明,该设计提高了系统的通信效率,明显改善了虚拟以太网的传输性能.     

P2P流媒体：一种新型的流媒体服务体系

流媒体应用是推动未来宽带应用的主动力，但流媒体对带宽的高占用特性使其在Internet上大规模应用面临诸多困难。虽然IP组播能减轻服务器和网络负载，但众多原因使之在短期内难以广泛实现；CDN(Content Dellvery Network)通过把服务和内容“推”向网络的“边缘”，也能减轻服务器和网络负载。但其昂贵的费用使得一般ICPs无法承担。在Internet环境下最近兴起的P2P(Peer-to-Peer)技术在提高资源利用率、扩展服务能力等方面具有潜在的巨大优势，P2P技术在流媒体中的应用能够充分利用以往被忽视的众多客户机的资源，是一种性价比良好的流媒体服务体系。本文首先指出了P2P流媒体应用中所面临的挑战，并着重从多播树协议、QoS保证、激励机制等方面阐述了P2P流媒体的研究现状，分析讨论了存在的问题，并指出了今后的研究方向。     

Interest‐driven avatar neighbor‐organizing for P2P transmission in distributed virtual worlds

The neighbor table/distributed hash table (DHT) is used to choose the data supplier for data‐dispatching services in distributed virtual environments based on peer‐to‐peer networks. It is essential that a stable and efficient neighbor table/DHT be maintained. Because the avatar has much freedom to roam, the spatial distribution of nodes is not uniform, and the logical topology may change dramatically. Therefore, traditional construction mechanisms, such as the neighbor‐discovery mechanism based on spatial distance or DHT, may involve fierce churn in the neighbor table and frequent message exchanges. In this paper, we proposed a dynamic node‐organizing mechanism that aims to solve these challenging problems by applying the avatar's behavioral characteristics to the neighbor maintenance mechanism and scene data transmission. First, we have summarized the common social behaviors of avatars and extracted their characteristics. We then propose an interest‐similarity measuring algorithm to divide the node into diverse clusters. Next, we measure the cluster stability in terms of interest entropy while constructing a stable neighbor mesh for each node in a cluster. We have conducted extensive simulation experiments that simulate avatar behaviors in a popular massively multiplayer online game. The results show that our proposed mechanism achieved a substantial alleviation of neighbor churn and reduced information exchange, which improves the transmission efficiency in distributed virtual environments. Copyright © 2015 John Wiley & Sons, Ltd.     

基于区域化的P2P流媒体直播系统模型

基于树状拓扑协议及扩展的模型和基于Gossip协议的模型在媒体数据分发方面存在缺陷。针对该问题,提出一种基于区域化的P2P流媒体直播系统模型,采用动态自适应的区域化自治机制,在大规模的流媒体直播网络系统中降低系统管理控制负载的开销,优化系统带宽和时延,提高了流媒体数据资源的利用率。     

基于P2P 的大规模考试平台实例

在大规模考试中,由于同时参与考试的人员众多,考生登录时的试卷分发和交卷时的试卷回收常常因为并发访问量过大而造成服务器崩溃。P2P以节点平等为核心,淡化中心服务器的角色,以高效的方式向需要资源的节点分发内容,能很好的解决大规模考试中因过分依赖于中心服务器而造成的一系列问题。