一种建立虚拟环境的新方法——全景视频

本文阐达了全景视频的概念以及它与虚拟现实的关系，并讨论了利用全景视频技术来建立虚拟环境的一股方法，指出这种基于实是图像的技术具有很大的研究价值，在军用和民用两方面都有广阔的应用前景．     

基于全景视频场景的VVC帧内快速划分算法

新一代视频编解码标准VVC使用了新颖的QTMT结构,相较上一代标准HEVC新增了二叉树划分和三叉树划分,而全景视频由于其视角原因包含了大量的数据,往往具有很大的分辨率,但这也导致全景视频编码时的时间复杂度骤升。为此,提出一种基于场景的VVC帧内快速划分算法,将待编码视频划分成不同的场景。此外使用SVM工具,为每个场景设置自己的SVM分类器,经过分类器分类后将冗余的划分模式剔除掉,从而优化编码器的时间复杂度。实验结果表明该优化算法以平均仅0.16%的编码性能损失换取了13.31%的编码时间节省,既保证了全景视频的编码效率,又提升了编码速度,具有优秀的表现。     

一种面向多投影显示的全景视频分块编码方法

近年来虚拟现实技术快速发展,全景视频内容生成技术不断进步。内容呈现方面,多投影显示设备可通过集群驱动解决单机性能有限的问题,具有视角广、分辨率高、支持多人参与的优点。针对多投影显示设备的特点,设计并实现了一套全景视频分块编码格式及其相应的转码工具。该格式以现有的JPEG图像序列编码研究为基础,添加对立体全景视频分块编码的支持,实现双分辨率视频流动态适配机制,保证视角变化时视频的流畅播放,并添加非均匀分块编码的支持以针对实际需求定制分块参数,优化播放性能。实验结果表明,该方法可以有效提升多投影显示设备中高分辨率全景视频播放的流畅度。     

一种基于静态图像的快速室内外场景建模方法

基于图像绘制（IBR）技术来建立具有真实感的虚拟环境是近年虚拟现实技术研究的热点,文章讨论了利用计算机图形学的全景拼接技术进行室内外场景三维重建以及漫游系统设计的具体实现方案。通过将系统分解成全景图制作和全景空间编辑以及测览三部分,实现了室内外场景的全景制作与漫游。     

基于纹理特性的全景视频快速帧内编码算法

为了提高对360°全景视频的编码效率,联合探索专家组研发了基于HEVC的下一代视频编码标准——多功能视频编码标准(Versatile Video Coding,VVC)。相对于HEVC,VVC具有更高的编码效率,但是也引入了更高的时间复杂度。因此为了降低其编码的计算复杂度,提出了一种针对VVC的帧内模式快速决策算法。通过分析图像块的纹理特性来减少帧内编码的候选模式数量从而减少模式选择中的冗余计算。实验结果表明,提出的算法可以节省24. 08%的编码时间同时只有0. 80%的BDrate损失。     

一种基于CUDA的快速宽视频拼接的方法

在视频拼接过程中,需要进行大量的图像处理计算,高复杂度的拼接算法很难满足实时性要求。因此,为了实现多视频源快速拼接,不仅要求拼接算法具有较强的鲁棒性,同时还需要具有较低的复杂度。文中提出了一种新的快速宽视频拼接方法,此方法首先利用SURF算子提取图像特征点并进行匹配,接着使用多分辨率融合算法进行全景图融合,然后利用基于路径的方法结合光流实现低复杂度的视频插帧,同时整个宽视频拼接过程使用CUDA进行并行加速,最后用一个双目拼接系统对文中提出的方法进行可行性验证。     

一种基于无人机视频影像的车流量统计算法

针对城市智能交通管理系统中车流量统计出现的漏检误检问题,提出一种基于无人机(unmanned aerial vehicle,UAV)视频影像的车流量统计双虚拟检测线算法。算法利用数字图像处理技术和计算机视觉对视频流进行处理,首先对无人机获取的视频影像采用均值滤波进行去噪处理,利用改进的多帧平均方法提取出初始背景,通过背景差分法检测出运动目标,然后使用混合高斯背景模型进行背景更新,设置双虚拟检测线并计算二值图像上位于双虚拟线内的连通区域面积、长宽比,统计出实时的车流量。实例验证结果表明,该方法的准确率在非高峰期达到92.94%,高峰期达到91.62%,为城市智能交通管理提供了可靠的数据支持。     

一种基于多特征融合的视频目标跟踪方法

在预警系统和目标记录方面,传统的视频跟踪方法无法很好地解决目标重现和遮挡等问题,针对此类问题提出了一种融合多特征的视频目标跟踪方法,首先用背景建模的方法检测运动前景,分离目标图像,通过目标连续帧间的位移信息实现跟踪,对多目标帧间位移相近的情况,融合目标SIFT和彩色直方图特征进行目标匹配,并记录目标各帧的运动状态,最终实现目标运动的跟踪。实验结果表明,该方法对多目标缓慢变化的监控视频有较好的跟踪效果。     

基于改进ORB特征检测的全景视频拼接

针对全景视频拼接中算法复杂度高且拼接后的视频存在拼接裂缝和"GHOST"现象的问题,提出一种基于改进ORB特征检测的全景视频拼接方法。首先采用多尺度空间来检测特征点以及对检测参数进行设置,使得ORB算子具有尺度不变性且分布均匀;然后采用Hamming距离进行特征匹配并采用RANSAC算法去除误匹配点;最后通过采用复杂度较低的动态规划算法找到最佳缝合线,并对拼接后的图像采用泊松融合进行平滑处理。将Ladybug全景摄像机拍摄的1帧兰州西科站全景视频图像进行仿真实验。仿真结果表明,该全景视频拼接方法在实时性方面表现优异,对存在的拼接裂缝和"GHOST"现象有很好的抑制作用。     

基于VRML与Java3D的虚拟地理环境开发模式探讨

从系统结构、用户开发界面、可扩展性和开发难度、大规模虚拟地形实现、大众性和专业性几个方面对Java3D和VRML两种开发方式特点进行了比较研究。Java3D比VRML更适合于开发大型专业性的虚拟地理环境,而VRML世界拥有大量的资源,且X3D的发展将使VRML的资源更为丰富,更适合于地理教育、地理培训、地理娱乐等大众化领域,若能将Java3D和VRML 结合开发虚拟地理环境则更好。探讨了网格技术在虚拟环境中的应用,并对基于网格技术的网络虚拟地理环境结构框架进行了初步设计。     

城市视频实景地图构建初探

城市视频实景地图兼具地图立体空间、视频时间4维度层面信息统一表达能力，对于我国城市立体监控系统构建、互联网地图产品发展，以及未来实景3维中国建设战略实施具有重要意义和应用价值。为引起更多研究者进行探索，对城市视频实景地图构建方法、技术及其应用前景进行讨论。从增强虚拟环境技术（AVE）角度出发，对融合全景视频与地理3维模型构建城市视频实景地图涉及的全景摄像机标定、全景视频空间配准及视频纹理映射、实时渲染系列技术、方法进行了梳理。经过分析得出：1）适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；2）适合静态纹理的大规模3D场景渲染LOD（levels of detail）技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。城市视频实景地图构建是一项值得重视的崭新课题，将有力促进互联网、人工智能前沿技术发展，有望给相关行业带来万亿级市场机遇。     

基于卷积神经网络改进的图像自动分割方法

针对图像序列三维重建中多视角目标分割需要人工参与任务繁重的问题,提出一种基于卷积神经网络改进的图像自动分割方法。首先将序列图像去噪处理、归一化并进行语义标注后制作数据集,然后对改进的融合多尺度特征和残差连接的卷积神经网络进行训练,得到优化后的卷积神经网络分割模型,最后将预分割图像加载到优化的分割模型中得到归一化的掩码图,再利用三次样条插值法将其恢复分辨率后与原图做自定义的掩码操作得到高清分割结果。本文以主流分割软件PhotoShop分割结果为参考标准进行对比,实验结果证明,该方法的准确率与参考标准接近,而且可实现批量自动分割,较好的解决三维重建中目标分割任务繁重的问题。     

基于FPGA的视频叠加融合系统设计与实现

针对两通道视频图像叠加融合,设计并实现了一种实时性好、灵活性强的FPGA硬件系统。该系统可以根据实际需求进行任意比例和任意位置的视频图像叠加融合。方案经仿真验证后,运用双线性插值缩放算法、DDR2存储以及叠加融合等技术在FPGA硬件平台上实现。结果表明,该系统能达到预期效果,叠加融合画面效果良好,能够满足工程应用的需求。     

基于VTK的三维医学图像虚拟切片提取

目前大多数医学影像设备,如CT、MRI、超声等所产生的图像序列往往必须沿着某一固定方向,但这通常不能满足临床上多方位、任意角度诊查的需要。针对该问题,提出了一种三维医学图像的任意角度虚拟切片提取方法。在Visual C++平台下,结合可视化工具包VTK,对DICOM格式的CT图像序列进行三维重建,通过设置虚拟切面的法向量和内点来对重建后的三维物体进行切割并获得虚拟切片信息,在切割的同时可以同步显示出虚拟切片图像。通过简单的鼠标操作可以生成任意角度、任意部位的虚拟切片图像,并能对切割平面及虚拟切片图像进行移     

基于图像融合的微表面快速三维重构算法研究*

在分析电子探针图像多样性与相关性特征的基础上,提出先应用提升小波进行快速图像融合,以提高图像信息量,然后根据微表面图像纹理相似性,抽取出高程数据,通过顶点数组方式快速重构三维立体场景。实验表明,此方法信息量大、操作简单、场景逼真,易形成交互场景,具有较好的实际应用价值。     

基于DICOM医学图像的虚拟切片提取技术研究与实现

针对现有大多数医学影像设备只能按某一个指定方向获取医学图像的问题, 同时为避免三维重建后切割方法中占用资源大、耗时、不易交互等缺点, 通过建立三维数据场来获得DICOM医学图像的实时虚拟切片。结合VTK工具包, 建立一个三维数据场, 对DICOM医学图像进行实时切片, 并将结果保存为TIFF格式文件。三维数据场的建立使得切片时运算速度快、交互流畅。切片图像的保存功能为医生日后观察或者会诊提供了方便。这种虚拟切片的方法可以弥补大多数医学影像设备只能获得一个方向二维切片的不足, 其速度比现在主流的三维重建后的切割方法更快, 节约了医生的诊断时间, 符合医学诊断要求。     

A collaborative virtual geographic environment based on P2P and Grid technologies

Solving a geographic problem usually requires collaborative work among a group of people in different geographic locations. Collaborative virtual geographic environment (CVGE), an integrated technology, offers an intuitive, efficient, and interactive visualization environment through which geographically separated users can explore complicated spatial information and conduct collaborative work. In this paper, two new technologies, Peer-to-Peer (P2P) and Grid computing, are tightly coupled to develop a CVGE system. This paper evaluates the potential contributions of the P2P and Grid technology to CVGE systems. Using a Grid based system architecture efficiently integrates and shares geographically distributed resources as well as modeling procedures built on different platforms. To offer a shared and interactive virtual collaborative geographic environment for resolving geographic problems, we developed several P2P services including a terrain visualization collaboration service and a video collaboration service. Finally, a CVGE prototype system is implemented for collaboration on silt dam planning on the Loess plateau. The experimental results show that the scheme developed in this paper is efficient and feasible.     

Chan-Vese模型下的脑肿瘤图像分割方法

提出了一种基于Chan-Vese模型的脑肿瘤图像分割与三维重构方法。该方法首先通过对脑肿瘤图片的迭代腐蚀操作提取脑肿瘤轮廓,然后利用Chan-Vese模型对脑肿瘤进行分割,最后对图像进行迭代膨胀操作复原图像。另外对所有分割后的脑肿瘤图片进行了三维重构与定位。实验结果表明,基于Chan-Vese模型的图像分割方法很好地解决了脑肿瘤分割过程中容易出现的不完全分割问题,同时对脑肿瘤的三维重构与定位也具有较大的临床实用价值。     

基于序列图像的鲁棒三维重建方法

提出了基于序列图像的鲁棒三维重建方法。首先利用两幅图像的最优参数估计,然后添加新图像并采用稀疏调整,减少图像坐标测量值的最小几何误差。通过对三维结构和摄像机参数进行全局优化处理,以提高重建的鲁棒性。实验结果表明,该方法提高了重建的精度和鲁棒性,并真实地再现了物体的三维模型。