太赫兹光场成像的实验与处理研究

太赫兹波的频率介于红外线与微波之间,其独特优势使得太赫兹三维成像已成为国内外的研究热点。为了将光场成像技术拓展到太赫兹波段,介绍了太赫兹光场成像的实验与处理方法。采用太赫兹相机阵列采集到了一系列特定视角的太赫兹光场数据。针对由成像系统的器件限制导致图像存在较强噪点等问题,通过离散余弦变换（Discrete Cosine Transform, DCT）滤波达到了较好的去噪效果并有效保留了图像的细节信息。利用峰值信噪比（Peak Signal-to-NoiseRatio, PSNR）和结构相似性（Structural SIMilarity, SSIM）图像质量评价指标对比了多种滤波去噪方法,证明了DCT滤波方法对于太赫兹图像预处理的可行性。通过选取不同深度值得到了不同景深处的图像重构结果,初步实现了太赫兹光场成像的数字重聚焦。     

基于太赫兹ISAR图像序列的空间目标抛物面天线载荷指向估计（英文）

为了监视空间目标的工作状态,开展了基于多视角太赫兹逆合成孔径雷达(ISAR)图像序列的抛物面天线载荷指向估计研究。提出了一种空基太赫兹雷达成像体制,可以实现高轨卫星目标和小卫星目标的监视。由于圆形的抛物面天线边缘沿着任意观测平面的投影均为椭圆,提出了一种改进的随机霍夫变换方法,可以实现太赫兹ISAR图像中椭圆成分的自动检测和参数提取。为了确保指向估计算法的效率、精度和鲁棒性,提出了一种两层估计算法。首先估计抛物面天线边缘的三维圆心坐标和半径,将估计得到的参数作为先验信息,通过求解一个最小化椭圆短轴长度和椭圆倾角联合误差的最优化问题实现对天线载荷指向的估计。卫星模型的电磁散射数据证明了所提出的抛物面天线载荷指向估计方法的有效性。     

基于U-net的被动式太赫兹安检危险品分割方法

针对被动式太赫兹安检系统检测图像识别危险物难度较大、精确度不高的问题,提出一种基于U-net的被动式太赫兹安检危险物分割算法。通过构建危险品的局部结构差异性假设和局部亮度差异性假设定位太赫兹安检图像中危险品可能存在的感兴趣区域(ROI),并选择拥有少量特征通道与神经元的浅层卷积网络针对ROI做图像超分辨处理,最后将图像输入U-net网络,得到质量高、轮廓清晰的危险品分割图像。通过实验证实了本文方法相比传统分割算法准确性有明显提高,有助于提高被动式太赫兹安检系统的危险品识别率。     

基于机器视觉技术的光场尺度空间局部特征提取研究

目前光场尺度空间局部特征提取没有对光场尺度空间深度进行估计,存在局部特征点匹配时间长,提取时间长,特征点识别率低的问题。提出基于机器视觉的光场尺度空间局部特征提取方法,首先对光场尺度空间进行深度估计,利用光场相机中的微透镜对物体发出的不同方向的光线进行重聚焦处理,最终成像到传感器上,获得宏像素。利用四维空间对宏像素处理得到多视角。经过运算解出多视角之间的视角差,最终获得光场尺度空间深度。在光场尺度空间深度内通过机器视觉的四维光场重聚焦模型确定光线与重聚焦光线间的关系,利用辐射理论对原光场相机重新采样积分提取出光场尺度空间的所有图像,即得到焦点堆栈图像,并提取焦点堆栈图像的颜色特征和纹理特征,将颜色和纹理特征融合在一起,实现对光场尺度空间局部特征的提取。实验结果表明,所提方法的局部特征点匹配平均为11.5 s,提取时间平均为91.6 s,特征点识别率平均为89.5%,具有一定的有效性。     

基于光场结构特性与多视点匹配的深度估计

针对现有光场图像深度估计技术无法均衡地对主要对象和背景进行深度估计的问题,提出了一种基于光场结构特性与多视点匹配的深度估计方法。该方法在光场结构特性引导的深度估计的基础上,为了实现光场图像深度变化区域的平滑过渡,同时又考虑光场图像具有多视点子孔径图像阵列的特点,采用多视点匹配优化光场图像深度估计。在马尔可夫随机域中,基于光场结构特性构建深度估计平滑项,同时联合多视点匹配构建深度估计数据项,并进行全局深度迭代优化,从而有效平衡对象深度边界和背景深度估计,提高光场图像深度估计的性能。实验结果表明,所提出的方法能够得到更加清晰的深度边界,同时可以修正背景中不准确的深度值,获得高质量的深度估计结果。     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

太赫兹成像检测算法研究

由于太赫兹波所处波段位置特殊性以及现阶段太赫兹成像系统性能的限制等,太赫兹波成像质量低,无法满足可视化效果,限制了其发展和应用。结合太赫兹图像模糊特征和灰度信息提出利用灰度特征对太赫兹图像进行图像分割来提高太赫兹图像质量,抑制太赫兹图像背景噪声,保留太赫兹图像目标重要信息,实现太赫兹成像目标检测。实验结果与其他太赫兹图像处理方法结果对比表明,基于灰度特征的图像处理算法可以提高图像清晰度和对比度,实现精确分割,为太赫兹成像在安全检查和医学成像等应用中实现快速检测和提取目标奠定基础。     

基于斜平面平滑优化的半全局立体匹配

基于斜平面平滑的半全局匹配算法虽然能很好地处理深度不连续区域,减少视差断裂现象,具有很好的视差平滑效果.但此方法计算量大,并且若输入的左右图像对不是理想校正的,最终得到的视差图中可能会出现黑色小方块.针对上述问题,本文提出了一种基于斜平面平滑优化的双目立体视觉算法,优化了视差斜平面拟合过程,提高了斜平面平滑的运算速度;另,通过对初始视差图中无效的视差值进行临近插值填充,很好地解决了视差图中的方块现象;同时考虑到同一分割块内的像素梯度值应比较接近,对图像分割时用到的能量函数增加梯度项,使分割区域更加合理.实验结果表明,本文算法能取得更好的视差图,主观效果得到改善,运算速度提高约40%.     

基于光场数字重聚焦的三维重建方法研究

研究了光场数字重聚焦聚焦三维重建新方法,探 讨了光场数字重聚焦参数λ的取值以及拍摄条件对 重建结果的影响。空间中,每一个点和每一个方向的辐射函数总和就是光场,光场数据包含 了空间全部三维信息。借 助计算成像技术,光场数据可以重构出序列数字重聚焦图像,实现空间的三维重建。实验时 ,首先用Lytro光场相 机获取空间数据;然后用LytroDesktop软件进行数字重聚焦处理,重构出序列焦平面图像; 最后用Halcon软件的 聚焦深度(depth-from-focus)函数实现三维重建。实验结果显示,参数λ 表征了重构平面的深度信息,λ的性质显著地影响重 建结果,λ数量多于8、正负λ数目相当时,三维重建结果好。拍摄时,设置的相机参数、 目标的反射及场景背景等 因素都会对重建结果产生影响。适合参数下,本文方法能够正确重构不同深度结构的目标, 重构结果可以任意视角 查看。本文方法利用单视图重构设备,实现多视图三维重建结果,拍摄装置小巧,拍摄过程 快捷,系统稳定性好,降 低了拍摄难度和重建算法的复杂度,拓展了DFF算法的适用深度范围, 适合大景深场景和运动目标的三维重建。     

Iterative transductive learning for automatic image segmentation and matting with RGB-D data

In this paper, we propose a fully automatic image segmentation and matting approach with RGB-Depth (RGB-D) data based on iterative transductive learning. The algorithm consists of two key elements: robust hard segmentation for trimap generation, and iterative transductive learning based image matting. The hard segmentation step is formulated as a Maximum A Posterior (MAP) estimation problem, where we iteratively perform depth refinement and bi-layer classification to achieve optimal results. For image matting, we propose a transductive learning algorithm that iteratively adjusts the weights between the objective function and the constraints, overcoming common issues such as over-smoothness in existing methods. In addition, we present a new way to form the Laplacian matrix in transductive learning by ranking similarities of neighboring pixels, which is essential to efficient and accurate matting. Extensive experimental results are reported to demonstrate the state-of-the-art performance of our method both subjectively and quantitatively.     

Depth estimation of supervised monocular images based on semantic segmentation

In recent years, the research method of depth estimation of target images using Convolutional Neural Networks (CNN) has been widely recognized in the fields of artificial intelligence, scene understanding and three-dimensional (3D) reconstruction. The fusion of semantic segmentation information and depth estimation will further improve the quality of acquired depth images. However, how to deeply combine image semantic information with image depth information and use image edge information more accurately to improve the accuracy of depth image is still an urgent problem to be solved. For this purpose, we propose a novel depth estimation model based on semantic segmentation to estimate the depth of monocular images in this paper. Firstly, a shared parameter model of semantic segmentation information and depth estimation information is built, and the semantic segmentation information is used to guide depth acquisition in an auxiliary way. Then, through the multi-scale feature fusion module, the feature information contained in the neural network on different layers is fused, and the local feature information and global feature information are effectively used to generate high-resolution feature maps, so as to achieve the goal of improving the quality of depth image by optimizing the semantic segmentation model. The experimental results show that the model can fully extract and combine the image feature information, which improves the quality of monocular depth vision estimation. Compared with other advanced models, our model has certain advantages.     

对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.     

Robust, object-based high-resolution image reconstruction fromlow-resolution video

We propose a robust, object-based approach to high-resolution image reconstruction from video using the projections onto convex sets (POCS) framework. The proposed method employs a validity map and/or a segmentation map. The validity map disables projections based on observations with inaccurate motion information for robust reconstruction in the presence of motion estimation errors; while the segmentation map enables object-based processing where more accurate motion models can be utilized to improve the quality of the reconstructed image. Procedures for the computation of the validity map and segmentation map are presented. Experimental results demonstrate the improvement in image quality that can be achieved by the proposed methods.     

基于图像分割的深度视频校正算法

在基于深度图的虚拟视点绘制过程中,由于通过深 度估计软件获取的深度视频存在大量的失真,从而导致绘制的虚拟视点中存在纹理失真和缺 失现象。本文围绕深度视频失真类型,提出一种基于分割的深度 视频校正算法。利用彩色深度一致性信息分区域校正深度失真,以解决由于深度块失真造成 的虚拟视点纹理 缺失问题。首先,提取彩色视频运动和边缘区域,得到彩色视频边缘和运动区域掩模图;其 次,在边缘和运 动信息的辅助下,对彩色图像进行Mean Shift聚类,并将不同类别区域赋以不同的标签;最 后,分别统计不 同类别连通区域对应的深度直方图,利用其峰值校正深度视频中深度彩色非一致区域。实验 结果表明,本文提 出的基于分割块的深度视频校正算法优于部分基于像素的滤波算法,可以有效地校正深度视 频块失真,解决 虚拟视点边缘失真和纹理缺失问题,同时虚拟视点质量平均提高了0.20dB。     

一种视觉表格图像全局阈值分割算法

针对复杂环境因素影响下的视觉表格图像,提出了一种有效的图像分割方法。首先利用图像的闭运算,估计出图像的背景变化,进而利用定义的图像对比度实现了图像的背景补偿。然后利用背景估计图像的均值作为补偿图像的全局分割阈值,成功实现了表格图像分割。实验仿真表明,本文方法的分割结果体现了较好的视觉效果,而且与基于补偿图像的OSTU方法和基于局部阈值的Niblack方法相比,它在图像单元格区域的过分割与欠分割之间实现了较好的均衡。     

FRFCM聚类与深度优化的RGBD场景流计算

针对现有RGBD场景流计算模型在复杂场景、非刚性运动和运动遮挡等情况下易产生场景过度平滑和运动边缘模糊的问题,提出一种基于FRFCM（Fast and Robust Fuzzy C-Means）聚类与深度优化的RGBD场景流计算方法.首先以图像序列连续帧间光流信息为基准,利用FRFCM聚类算法对输入图像进行初始分割,然后根据深度图像的运动边缘信息优化初始分割结果,提取高置信度的运动分层信息.最后设计基于图像分割的RGBD场景流能量函数,采用金字塔变形策略计算精确的场景流结果.分别采用Middlebury和MPI-Sintel数据库所提供的测试图像集对本文方法和现有的RGBD场景流算法进行综合对比分析,实验结果表明本文方法相对于其他方法具有更好的场景流估计精度和鲁棒性,有效改善了场景过度平滑和运动边缘模糊问题.     

基于光流场分割和Canny边缘提取 融合算法的运动目标检测

在摄像机运动的情况下,提出了一种基于光流场分割和Canny边缘算子融合技术的运动目标检测方法.这种方法可分为三步:第一步利用运动的内极线约束和C-均值聚类算法完成目标区域的分割,并获得分割图;第二步在分割图中利用Canny边缘算子获得细化的目标区域边缘图;第三步根据光流场中的流速值完成分割图和边缘图的融合,并检测出完整的运动目标.实验表明,这种方法可以有效地从复杂自然场景的图像序列中检测出完整的运动目标.