基于混合POCS的视频图像超分辨率重建

提出混合凸集投影算法HPOCS对视频图像进行超分辨率重建,利用连续视频图像间的互异信息生成更高分辨率的视频图像.该算法首先采用图像匹配估计视频图像间的运动位移;然后进行基于的APEX盲解卷积,估计点扩散函数和理想视频图像;最后在凸集投影的理论框架下进行图像重建.实验表明,HPOCS重建后,视频图像的分辨率相对于原始图像、双线性内插图像和POCS重建图像明显提高,图像边缘更加清晰,细节信息更加突出.     

基于凸集投影法和复数小波包域的遥感图像上采样研究

造成遥感图像降质的因素很多,包括大气影响、光学模糊、相对运动、传感器因素和下采样等.文中针对遥感图像的特点,改进通常用于多帧图像超分辨率技术中的凸集投影法,应用于单帧遥感图像的上采样,然后对其输出结果使用贝叶斯方法进行调制传递函数(MTF)的自适应估计,并在复数小波包变换域中做进一步的去模糊和降噪处理,从而实现单帧遥感...     

改进的序列图像超分辨率重建方法

为解决局部运动的视频序列在超分辨率重建过程中,由于采用传统的图像间全图一致变换模型可能导致的运动估计误差增大,影响重建效果的问题,提出了基于三角网不规则分块运动估计思想和基于DTN-POCS的重建算法.从边缘点中提取特征点,利用配准获得的同名点集,在主/从图像对间构建同名不规则三角网,并以此分割图像,默认每个三角块中像素运动一致.在此基础上,把所有低分辨率帧分块投影到高分辨率坐标,以凸集投影(POCS)迭代优化.试验结果表明:重建的高分辨率图对图像中的局部运动鲁棒性更强,能有效改善重建精度.     

基于梯度投影法的电子稳像算法

灰度投影法在灰度值单一、对比度差的图像序列中的运动估计不精准,易造成误差。针对该问题,提出一种基于梯度投影法的电子稳像算法。该算法根据梯度帧内变化剧烈、帧间变化稳定、梯度投影曲线变化明显等特点,利用图像的梯度分布情况进行运动估计。实验结果表明,该算法可提高微光图像序列的帧间运动估计精度。     

基于加速稳健特征匹配和凸集投影算法的超分辨率重建

针对不理想的配准结果会导致超分辨率重建失败的问题,提出了一种基于加速健壮特征(SURF)匹配和凸集投影(POCS)的超分辨率重建算法。该算法首先采用SURF算法进行连续帧图像的配准,估计图像序列的运动位移;然后根据运动估计结果,在POCS理论框架下进行图像重建。实验结果表明,该方法能够较明显地改善图像的视觉效果,获得较丰富的细节信息,且具有较好的噪声抑制能力。     

基于并行遗传算法的图像超分辨率复原

图像超分辨率复原技术，提供了一种利用低分辨率像机获取高分辨率图像的可能途径。图像超分辨率复原有频域方法和空域方法两类：其中频域方法主要基于频谱解混叠；空域方法又分迭代反投影方法、凸集投影方法、Bayesian估计方法等。为了提高图像超分辨率复原的效率和提高复原图像的质量，提出了一种基于并行遗传算法的图像(序列)超分辨率复原的新框架方法，由于遗传算法采用实值编码方式，且基于岛模型的并行机制也有利于多帧图像信息的融合，因而使得算法直观和高效；同时提出采用其他超分辨率复原方法的迭代形式来充当遗传算法的变异算子，因为它能有效地利用已有方法的优点。最后，借用图像复原的客观评价指标来评价超分辨率复原算法的效果。实验证明，该方法有效可行。     

基于像素位移估计的水下湍流退化图像畸形校正算法

针对由湍流引起的水下畸变退化图像,提出了一种基于估计畸变帧相对于参考帧的像素移位来校正畸变图像的算法。通过自定义度量标准选择参考帧和清晰度较高的输入帧序列,使用像素配准、二维配准和核相关滤波算法对畸变图像进行复原和重建。为验证该算法,分别进行了室内水下湍流模拟系统实验及海洋实地实验,并将实验结果与盲复原算法、凸集投影超分辨率重建算法进行对比。从主观评价上, 图像畸变得到了有效抑制;从客观评价标准来看,指标高于传统的复原和重建算法。实验结果说明,该算法有效提高了水下湍流退化图像的去畸效果,为海洋目标检测的准确作业提供了保证。     

压缩视频的正则化投影超分辨率重建

压缩视频超分辨率（SR）技术利用压缩后的低分辨率（LR）图像序列来重建高分辨率（HR）图像的技术,是当前视频超分辨率技术研究的热点。在正则化理论和凸集投影理论的基础上,利用比特流中的量化信息,提出了一种正则化投影超分辨率重建算法;通过正则化代价函数引入图像序列的时间域和空间域的先验信息,使用迭代梯度下降算法对正则化代价函数求解得到重建图像,最后利用凸集投影算法对求得的估计图像进行DCT域投影重建。仿真实验结果表明,该自适应算法较传统算法,其重建图像的主、客观质量有一定的提高,适合压缩图像的应用。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

一种基于TextTiling的镜头边界检测算法

镜头边界检测是基于内容的视频检索中的关键技术,提出一种利用TextTiling方法来识别视频镜头边界的算法。通过滑动窗口对视频进行初步切割,利用主成分分析将视频帧投影到特征子空间,并在投影空间上计算相邻帧间距离,再根据相邻窗口之间的深度值确定视频镜头边界。针对TREC-2001视频测试数据集的实验结果显示,该算法检测镜头边界的平均查全率和平均查准率分别为89%和96.5%。     

一种基于运动边缘检测的参数估计方法

提出了一种基于多尺度运动边缘检测的图像序列参数估计方法。通过多尺度运动边缘检测,将图像的能量集中到边缘上,得到噪声污染小、边缘连续清晰的运动目标;并利用小波变换特征匹配方法,得到运动矢量。该方法既利用了空域帧内灰度信息又利用了时域帧间信息,能精确地估计目标的运动参数。     

预估计混叠度的MAP超分辨率处理算法

提出一种预估计混叠度的PEMAP(pre-estimated MAP(maximum a posteriori)算法,用于卫星图像的地面超分辨率处理.它通过频域分析确定卫星图像的混叠度,将其作为先验信息在空域控制MAP估计的循环迭代,联合估计帧间位移和高分辨率图像.该算法克服了最大后验概率MAP算法的盲目性和不稳定性,使其适应性更好.实际的卫星图像处理显示了较好的处理效果.     

一种自适应视频图像超分辨率重构算法*

依据图像局部二阶统计量能够反映图像区域变化的特性,以参考帧的局部方差为参数建立凸集投影算子和区域修复阈值的条件,提出了一种自适应选取运动估计误差阈值和图像修复误差阈值的视频图像超分辨率重构方法.实验结果表明,与传统方法相比,该算法重构图像的主观质量得到了明显增强,提高了峰值信噪比.     

三维人体模型姿态与形状重构

为了解决单张照片人体重构出现的姿态翻转问题,提高重构模型的准确度,提出相邻帧姿态约束和人体轮廓线匹配的姿态与形状序列同时重构算法.对视频中的每一帧,首先估计出图像中人物的二维关节点、人物脸部特征点及其边缘轮廓线;然后将参数化模型SMPL所表达的三维人体投影到二维平面上,使得投影后的二维信息与对应的视频帧二维信息相匹配;最后通过调整SMPL的姿态与形状参数来最小化匹配能量函数,从而重构出与视频帧中人物具有相似姿态与形状的三维人体模型.此外,为了使重构结果显得更真实,也对图像帧中人体的头部姿态进行了检测和匹配.该算法在MPI-INF-3DHP数据集、Youku视频和自拍视频帧上均进行了实验,实验结果表明,与SMPLify算法等相比,该算法能有效地避免重构结果中出现姿态翻转的现象,且能在保证模型整体姿态相似性的前提下重构出准确的头部姿态和相似的模型形状.     

基于迁移学习的移动机器人单帧图像坡度检测算法

针对未知环境下移动机器人平稳上坡控制对坡度感知精度的要求,本文提出了一种基于迁移学习的移动机器人单帧图像坡度检测算法。利用室内图像标准数据集训练深度卷积神经场?全连接超像素池化网络(deep convolutional neural field-fully connected superpixel pooling network, DCNF-FCSP)并获得室内单帧图像深度估计网络模型;将DCNF-FCSP模型中前5个图像特征提取层的网络参数迁移至室外图像深度估计网络中;固定室外图像深度估计网络中图像特征提取部分的网络参数,利用室外图像数据集对剩余5层的网络参数进行训练,从而得到室外单帧图像深度估计网络;将其应用在移动机器人坡度检测中,根据单帧斜坡图像估计出斜坡角度。标准数据集和实际场景的深度估计和坡度检测实验表明:本文所提出的基于迁移学习的移动机器人单帧图像坡度检测算法能够仅根据移动机器人车载相机采集的单帧斜坡RGB图像就可估计出精确的斜坡角度,满足移动机器人在未知环境中对坡度感知精度的要求。     

基于下采样灰度投影的电子稳像算法研究

为了快速、准确地稳定矿井车载摄像系统获取的抖动图像,提出了一种基于下采样灰度投影的电子稳像算法。首先对图像进行直方图均衡化处理,以提高图像对比度;为减少算法运算量,削减局部运动物体的影响,通过下采样方法对图像进行多分辨率分层,选取相邻2帧低分辨率图像及其预定子区域分别进行灰度投影运算,并对运算结果进行加权求和处理,获得最终的全局运动矢量;最后根据卡尔曼滤波获取的补偿量,通过自适应相邻帧补偿方法对图像进行运动补偿,以解决误差累积问题。实验结果表明,所提算法在准确度和运算时间上都优于传统灰度投影算法,且能实现长时间连续稳像。     

基于毛发点云深度剥离的神经渲染与时域稳定性改进方法EI北大核心CSCD

针对现有基于点云的神经渲染网络无法渲染具有时域稳定性的高质量毛发的问题,提出基于毛发点云深度剥离的神经渲染与时域稳定性改进方法.该方法通过对输入点云模型的分层投影,获取不同分层的特征信息;将结果进行融合,以适应毛发半透明特性;将训练好的结果输入到时域稳定性增强网络中,该模块利用相邻帧间点云的重投影得到当前帧和前几帧的依赖关系,生成当前帧的最终结果,从而保证了训练结果的时域稳定性.使用光线追踪生成的高质量毛发数据集进行实验,结果表明,与现有方法相比,该方法可以获得更好的时域稳定性和渲染结果.     

基于帧间一致性的自监督室内逆渲染

针对目前逆渲染监督学习方法难以获得标签、泛化能力差的问题,提出了一种基于IFC（inter-frame coherence）的自监督训练方法。由于逆渲染问题的不适定性,引入额外的反照率一致性损失和交叉渲染损失强化自监督网络,其主要思想是对连续光照变化的图像序列执行IFC约束。即通过图像帧之间的位姿图和深度图,在相邻帧之间执行图像投影和扭曲;通过这种方法在相邻帧之间建立约束,并使用孪生训练来确保对光度不变量的一致估计。该方法使用完全卷积神经网络从室内视频序列中恢复几何形状、反射率和光照。自监督网络使用没有标签的连续帧图像集合进行训练,通过结合可微分渲染器,使网络以自监督的方式进行学习。通过与其他主流方法的比较,定量和定性实验结果表明提出方法在多个基准上表现更优。     

基于凸集投影（POCS）的车牌图像超分辨率重建研究

针对车牌识别中所拍摄的图像序列存在分辨率较低的问题,提出了利用图像间的互补信息来重建一幅高分辨率图像的方法,以便于车牌图像的识别。通过迭代求解法和高斯金字塔模型,快速精确地估计得到配准参数,采用凸集投影（POCS）算法对图像序列进行了超分辨率重建。实验表明算法具有亚像素级的配准精度和较强的稳健性,重建图像取得了良好的视觉效果。     

三维CT层间图像超分辨重建与修复

CT图像在疾病诊断、癌症精准放疗阶段发挥着重要的作用.然而,受X射线剂量的限制以及现有医疗设备等因素的影响,三维CT图像成像采样间距较大,层间分辨率远低于层内分辨率.为提高CT图像的层间分辨率,避免因相邻层CT图像之间存在较大差异对超分辨率重建造成干扰,提出一种在相邻CT图像序列切片间利用上下层的配准信息插值出一个新的中间切片,并对插值得到的中间切片进行修复的方法.首先,利用CLG-TV光流估计模型配准算法估计相邻2幅CT图像之间的像素运动,得到一个稠密的光流场,从而获得2个连续切片之间精确的像素对应关系,并依据新切片位置对速度矢量进行缩放;然后,利用计算出的速度场在连续2幅图像之间生成初始插值图像.由于相邻切片之间的像素难以一一对应,插值后的图像通常存在像素缺失现象.最后利用序列图像的帧间非局部自相似性,通过求解最优化问题以修复插值图像中像素丢失的区域.在DIR-Lab实验室和山东省医学影像学研究所提供的数据集上的实验结果表明,与其他经典方法相比,文中方法能够生成高质量的中间CT切片,在定量和定性上提高了层间分辨率.