多区域声重放技术综述

多区域声重放技术可以在同一个开放空间中形成声学明暗区,降低不同区域之间的干扰,听音者无需佩戴耳机,提高了听音的私密性和舒适度,近20年来该技术受到了广泛的关注.当前的多区域声重放研究主要分为能量控制和物理场匹配两大类,前者更注重明暗区的聚焦效果,而后者更关注声场的高精度重放.本文对多区域声重放的理论与应用研究现状进行了...     

基于声场重建的三维音频技术

近年来,随着人们对视听体验的要求不断提高,三维（空间）音频技术被广泛应用于娱乐影音等各领域,并取得显著进展。如何便捷地创造一个具有沉浸式空间听觉体验的环境是一直以来的研究热点。因此综述了主流三维声场重建的相关技术,并分析了其优缺点,主要讨论了三维声场的表达与维度、不同扬声器下的三维声场重建以及相应的混响均衡技术。最后,归纳了三维声场重建技术目前存在的问题,并展望未来发展的新方向。     

基于二维半雕刻系统的三维人脸重建

三维人脸的重建是二维半雕刻系统的核心内容,提出了一种从正、侧面图像上自动提取特征点来修正通用模型从而重建三维人脸的方法。首先使用特征点模板匹配的方法自动提取出特征点,然后以这些特征点为依据,通过整体变换和径向基插值来修正通用模型得到特定人脸。同时建立了一个人脸模型库来获得特征点模板,并且提出了一种分块存储的方法可以更精确地针对脸部不同区域进行重建。实验验证,这种方法效率高、交互操作少、取得了满意的重建效果。     

基于视觉技术的三维指尖跟踪算法

基于手势的实时人机交互(HCI)在虚拟现实领域有着重要的理论和应用价值.通过双目摄像头,使用立体视觉技术可以实现指尖在三维空间的跟踪定位,进而实现指尖和虚拟空间三维物体的实时交互.这种技术可以实现三维鼠标以及用于虚实交互的三维游戏中.提出一种阈值结合混合多高斯的BGS算法,用它来得到手的区域,然后通过手轮廓K向量和手中心到指尖的距离判定指尖位置,再利用标记对摄像机进行标定,根据标定参数和两个图像中得到的指尖位置,重建指尖点三维坐标,最后在三维空间实施Kalman滤波来平滑指尖点轨迹并预测前景分割的范围.实验结果表明算法是有效的.     

一种曲线松弛约束逼近的三维人脸图像建模算法

针对人脸特征表情变化极为复杂、传统的匹配方法不能很好刻画细微表情变化、三维人脸建模的准确度不强 的问题,提出一种基于小区域点曲线逼近的三维人脸建模算法。对人脸的三维区域表情变化较为丰富的区域进行小 区域划分,运用特征点曲线松弛约束逼近技术,模拟较为复杂的人脸曲线轮廓,避免了传统算法中用直线进行轮廓刻 画带来的刻画不准、特征模拟失真的弊端。实验表明,该方法能很好地恢复三维人脸表情变化较为丰富区域的特征信 息,使三维人脸重建更加准确,特征刻画准确度更高。     

基于单相机的全向深度图获取

为了搜寻移动机器人周围最大的可通行区域,采用全向立体视觉系统,提出获取可靠的致密三维深度图方法。视觉系统由1个普通相机和2个双曲面镜组成。当系统标定后,空间点的三维坐标可以通过匹配上下镜面的成像点计算得出。匹配方法分3步：最大FX匹配,特征匹配和歧义去除。定义合适的能量函数通过动态规划来实现剩余点的匹配。实验表明该系统精度高、具有实用价值。     

三维音频实时生成技术及实现

由于使用头相关传递函数重建双耳三维音频的运算复杂度很高,导致无法实现音频的实时三维重建。针对此问题,设计了基于重叠保留法的分帧卷积优化算法,并实现了三维音频实时生成系统,显著降低了三维
　　音频的生成时间,实现了三维音频的实时生成与播放。同时增加混响模拟模块模拟声学环境,提高了生成音频的空间感,使听音者对声音定位更加准确。实验结果表明,该系统能零延时生成三维音频,利用CMOS标准进行主观测试显示其空间定位感明显优于对比方法。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

单Kinect+回转台的全视角三维重建

为了解决当前全视角三维扫描系统价格昂贵操作复杂的问题,提出利用1台Kinect和1个回转台来构建全视角三维模型的方法。研究涉及点云预处理、点云配准、全局误差修正以及色差修正等技术。首先使用Kinect采集数据并预处理,结合转台约束利用图像几何特征进行粗配准,随后使用迭代最近点（Iterative closest point,ICP）算法实现点云的精确配准。对于累积误差导致的闭环问题以及不同角度拍摄引起的色差问题,通过全局误差修正与色差修正算法处理,提升重建结果的精度。实验结果表明：该方法可以实现三维物体的全视角重建,并在精度上优于微软的KinectFusion方法。     

基于SLIC区域分割的三维地形重建算法

为利用无人机在高空连续拍摄的两幅航拍图像准确实现三维地形重建,提出了通过将图像进行区域分割来达到不同地形区域分别生成数字高程模型DEM数据的方法。首先利用简单线性迭代聚类SLIC超像素算法将图像分割为多个包含单一地形的超像素区域,再利用各区域的颜色信息进行相邻同类地形区域的融合,最后在所得的各区域内通过SIFT特征点提取与匹配、计算三维坐标来生成DEM数据。通过将重建地形结果与卫星地图对比表明,利用该方法能够有效实现地形重建;通过对比本文算法与传统地形重建算法的重建结果表明,利用该方法能准确呈现各地形间的边界信息。     

多媒体视觉VR重构算法的改进与仿真

传统图像重构噪声偏大,图像离群点较多,导致重构效果与实际图像偏差大,研究提出多媒体视觉VR重构算法。利用双目偏移定位重新校正VR图像,对重构后的VR图像进行去噪处理,完成基于高通滤波矩阵加强的重构图像纹路细节特征,采用三维重构相关性检索方法,获得合群点与离群点,确定其最大最小深度范围,对错误识别和峰值进行重新定位,完成算法设计。为验证研究的有效性,进行实验验证。通过实验结果数据分析可证明,研究算法大大提升了重构图像的真实度,图像角点检测准确,重构后图像噪声更小。     

未标定影像序列三维重建的混合方法

基于非标定序列影像的目标三维重建是一项非常重要的技术和研究热点,它使数据获取变得十分方便。基于影像序列的点匹配,得到的是一些点云,基于此,提出一个混合的三维重建方法：第一,通过物体三维点建立物体的数字形状模型（DSM）;第二,通过提取物体轮廓线,尤其是相互的平行直段和垂直线段,构建物体的轮廓线;第三,给合现存的三维数据模型,在目标显示和数据结构方面构建恢复三维物体。实验以一个茶筒为例,采用Java3D显示结果,取得良好的结果。     

空地融合的城市道路基础设施数字化技术研究

城市道路基础设施三维模型的重构,在城市道路BIM应用与数字化领域具有重大意义;针对城市交通基础设施数字化重构的需求,对车载激光扫描与无人机倾斜摄影采集技术进行综合运用,提出一套从信息采集、空地点云配准、点云分割到三维重构的完整技术方法;首先使用车载激光扫描技术和无人机倾斜摄影技术对交通基础设施信息进行采集,并使用运动恢复结构算法(SfM,structure from motion)生成基础设施空地点云;其次使用迭代最近点法(ICP,iterative closest point)对空地点云进行精配准,然后利用基于PointNet网络的方法对融合点云进行语义分割;最后对分割出的交通基础设施对象进行三维重构;提出的空地融合的城市交通基础设施数字化技术能够高效地实现交通基础设施重构,为城市交通基础设施数字化提供基础、为后续交通专业领域的应用研究提供便利.     

基于立体视觉的玉米叶片形态测量与三维重建

提出一种基于立体视觉的玉米叶片形态测量和重建的方法。利用双目立体视觉系统获取玉米叶片的两幅图像,通过图像分割技术和边缘检测算法对每幅图像中的玉米叶片进行边缘提取;利用极线约束和彩色图像RGB值对图像进行匹配,计算出叶片边缘的三维坐标,从而恢复叶片的三维边缘;利用对叶片边缘的恢复技术,对叶片曲面进行三维重建;根据恢复的区域点云,可以测出任意两点的空间距离,实现了对叶片的三维测量。试验结果表明,此方法能够很好地恢复玉米叶片的三维信息,为玉米叶片三维形态的无损、快速检测监测提供了新的方法。     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

Structure from motion with wide circular field of view cameras

This paper presents a method for fully automatic and robust estimation of two-view geometry, autocalibration, and 3D metric reconstruction from point correspondences in images taken by cameras with wide circular field of view. We focus on cameras which have more than 180/spl deg/ field of view and for which the standard perspective camera model is not sufficient, e.g., the cameras equipped with circular fish-eye lenses Nikon FC-E8 (183/spl deg/), Sigma 8 mm-f4-EX (180/spl deg/), or with curved conical mirrors. We assume a circular field of view and axially symmetric image projection to autocalibrate the cameras. Many wide field of view cameras can still be modeled by the central projection followed by a nonlinear image mapping. Examples are the above-mentioned fish-eye lenses and properly assembled catadioptric cameras with conical mirrors. We show that epipolar geometry of these cameras can be estimated from a small number of correspondences by solving a polynomial eigenvalue problem. This allows the use of efficient RANSAC robust estimation to find the image projection model, the epipolar geometry, and the selection of true point correspondences from tentative correspondences contaminated by mismatches. Real catadioptric cameras are often slightly noncentral. We show that the proposed autocalibration with approximate central models is usually good enough to get correct point correspondences which can be used with accurate noncentral models in a bundle adjustment to obtain accurate 3D scene reconstruction. Noncentral camera models are dealt with and results are shown for catadioptric cameras with parabolic and spherical mirrors.     

Enhanced depth of field of computer-generated holographic stereograms by twice close-range capturing with occlusion processing

In pinhole integral imaging (PII)-based hologram, each pinhole is regarded as a point light source to emit light rays in different directions to simulate light propagation from the reconstructed 3D information to the computer-generated hologram (CGH). The PII-based hologram presents at a working mode similar to resolution-priority integral imaging (RPII). The depth of field (DOF) is inevitably limited. In this paper, we use twice close-range capturing to enhance the DOF of this hologram. Twice close-range capturing can ensure that the virtual objects with different depths are not far from their respective image reference planes, and the detailed information of the back object also can be preserved. Besides, we use a simple ray-tracing method to solve the occlusion problems. Numerical and optical reconstruction verified that the proposed method can reconstruct clearer 3D images compared with the single capturing method. In addition, the proposed method can present a natural occlusion effect. Thus, the DOF is enhanced.     

Shape recovery from turntable sequence using rim reconstruction

This paper makes use of both feature points and silhouettes to deliver fast 3D shape recovery. The algorithm exploits object silhouettes in two views to establish a 3D rim curve, which is defined with respect to the two frontier points arising from two views. The images of this 3D rim curve in the two views are matched using cross-correlation technique. A 3D planar rim curve is then reconstructed using point-based reconstruction method. A set of 3D rim curves enclosing the object can be obtained from an image sequence captured under circular motion. Silhouettes are further utilized to check for mismatched rim points. The proposed method solves the problem of reconstruction of concave object surface, which is usually left unresolved in general silhouette-based reconstruction methods. In addition, the property of the reconstructed 3D rim curves allows fast surface extraction. Experimental results with real data are presented.     

CT图像的三维实体重建技术研究

提出了一种面向实体模型的CT图像三维重建方法,对牙齿CT断层图像进行三维重建,建立一个可编辑的三维实体模型,用于牙科医生进行断牙修补中牙桩的植入和对牙桩的应力分析。主要实现过程为：用螺旋CT对牙齿进行断层扫描获取CT图像,对图像进行去除软组织元素和噪声点得到矢量的线框断层图, 然后对多层线框结构进行曲面拟合,生成牙齿的三维实体模型。它具有精确度高,可编辑性强等特点,并且可直接用于实体的生物制造。     

3D Reconstruction of Indoor Scenes via Image Registration

With the development of computer vision technologies, 3D reconstruction has become a hotspot. At present, 3D reconstruction relies heavily on expensive equipment and has poor real-time performance. In this paper, we aim at solving the problem of 3D reconstruction of an indoor scene with large vertical span. In this paper, we propose a novel approach for 3D reconstruction of indoor scenes with only a Kinect. Firstly, this method uses a Kinect sensor to get color images and depth images of an indoor scene. Secondly, the combination of scale-invariant feature transform and random sample consensus algorithm is used to determine the transformation matrix of adjacent frames, which can be seen as the initial value of iterative closest point (ICP). Thirdly, we establish the relative coordinate relation between pair-wise frames which are the initial point cloud data by using ICP. Finally, we achieve the 3D visual reconstruction model of indoor scene by the top-down image registration of point cloud data. This approach not only mitigates the sensor perspective restriction and achieves the indoor scene reconstruction of large vertical span, but also develops the fast algorithm of indoor scene reconstruction with large amount of cloud data. The experimental results show that the proposed algorithm has better accuracy, better reconstruction effect, and less running time for point cloud registration. In addition, the proposed method has great potential applied to 3D simultaneous location and mapping.