仿射运动模型下的图像盲超分辨率重建算法

研究利用帧间存在仿射运动的低分辨率图像序列重建出更高光学分辨率图像的盲超分辨率(BSR)问题。首先给出一种基于特征向量的模糊核零空间矩阵构造方法。将模糊的零子空间约束作为一项规整化泛函,提出一种非参数化模糊辨识、运动估计和图像重建三重耦合问题的联合迭代算法。该算法采用一个二层优化策略:先将三重耦合的BSR问题分解为关于模糊的二次型和关于运动参数与图像的非线性最小二乘(NLS)问题,再采用Gauss-Newton方法求解该NLS问题。仿真实验结果表明,文中提出的仿射变换下的BSR算法能对图像空间移变退化过程进行更为精确的建模,比纯平移BSR算法有更强的局部纹理恢复能力。最后通过真实车牌图像序列展示该算法的适用性。     

特征子空间规整化的人脸图像超分辨率重建

传统的图像超分辨率(SR)方法中的规整化技术一般用于保持求解过程的数值稳定性以及提供解的平滑性约束,但并不能确保高质量的重建结果.将人脸图像块看作一些特定信号类,利用主成分分析计算训练人脸图像块的特征子空间;并将传统的"重建约束"与人脸图像块的"正交补特征子空间约束"统一在贝叶斯框架下,提出一种人脸图像SR的规整化方法.不局限于以往SR方法中普遍假定的纯平移运动模型的限制,在仿射变换运动模型下提出了3种图像配准与超分辨率重建的联合迭代求解算法.最后通过仿真结果证实了文中方法的有效性.     

基于非线性最小二乘的图像自适应SR重建以及运动估计

图像超分辨率（SR）重建是利用数字信号处理技术由一系列低分辨率观测图像得到高分辨率图像。为了扩展SR技术的应用范围,提出了一种同时进行图像超分辨率重建和全局运动估计的方法。该方法首先基于最大后验概率(MAP)给出了图像SR重建和运动估计框架,该框架不仅考虑了前后两次迭代所得的HR图像差值对最终重建图像的影响,而且引入了不同LR图像对重建图像的重要性权值,使得算法具有自适应性;然后将总体框架转换为图像SR重建模型和运动估计模型;最后基于非线性最小二乘法对模型进行优化求解,得出了SR重建图像及其全局运动域。实验表明,该方法不仅图像重建效果良好,并有着良好的收敛性。     

基于学习超分辨率重建中的样本选择方法

提出一种人脸图像超分辨率重建（Super-Resolution Reconstruction,SRR）的自适应学习样本选择方法。利用局部保持投影（Locality Preserving Projections,LPP）算法的局部保持能力,在人脸图像局部流形上分析其非线性结构特征,并给出了LPP变换向量的数值解法。在LPP的特征空间中动态搜索学习样本,即选择出与输入图像块最为相似的像素块集合。利用选择出的样本通过基于像素块的特征变换法完成超分辨率重建。实验表明,自适应样本选择方法可以快速、有效地选择出少量学习样本,具有良好的图像高频信息复原能力。     

面向人脸年龄估计的深度融合神经网络

目的 为了提高人脸图像年龄估计的精度,提出一种端对端可训练的深度神经网络模型来进行人脸年龄估计。方法 该网络模型由多个卷积神经网络（CNN）和一个深度置信网络（DBN）堆叠而成,称为深度融合网络（DFN）。首先使用多个并联的CNN提取人脸图像多个区域的外观特征,将得到的特征进行串接输入一个DBN网络进行非线性融合。为了实现DFN的端到端的整体训练,提出一种逐网络迭代训练（INWT）的机制。为了降低过拟合效应,那些对应人脸局部图像的CNN经过多次迭代迁移学习实现面向人脸年龄估计任务的训练。完成对DFN中所有CNN和DBN的预训练后,再进行全网络端到端的整体精调。结果 在两个人脸年龄图像库MORPHⅡ和FG-NET上对本文方法进行测试,实验结果显示基于DFN的人脸年龄估计方法能在两个人脸图像库中分别取得平均绝对误差（MAE）等于3.42和4.14的估计精度,与目前主流的年龄估计算法,如基于浅层学习的CA-SVR方法（两个数据库上取得的MAE分别等于5.88和4.75）,基于深度学习的DeepRank+方法（MORPHⅡ数据库上取得的MAE为3.49）和Deep-CS-LBMFL方法（FG-NET数据库上取得的MAE为4.22）等相比,估计精确度明显提高。结论 本文提出基于深度融合网络的人脸年龄估计方法与当前大部分基于深度神经网络的主流算法相比具有明显的优势。     

基于三维模型和仿射对应原理的人脸姿态估计方法

该文提出了一种基于人脸三维模型和仿射对应原理从单目视频图像序列中估计人脸空间姿态的方法．其主要思想是利用人脸的三维模型生成特征点正面平行投影,并估算输入帧和该正面平行投影之间的仿射变换参数,然后根据圆一椭圆之间的仿射对应关系得到描述人脸空间姿态的6个参数(3个旋转分量,3个平移分量)的粗略估计值,最后通过基于ICP(Iterative Closest Points：反复最近点)算法的优化迭代过程得到精确值．对石膏像和真实人脸进行的实验结果表明该算法能在较大的姿态变化范围内实现精确的人脸姿态估计．     

经典光照模型实现人脸图像光照方向准确估计

光照分析对人脸图像的识别与跟踪有重要意义,提出一种人脸图像光照参数准确估计算法。该算法根据光照模型构造光照参数求解的迭代方程,光照参数根据不同需要可同时包含光照能量,光照方向矢量和环境光能量等信息。实验显示迭代过程能迅速收敛,并且光照角度估计准确,yaleB实验数据的水平角度估计平均错误率仅为5.43°。由于算法隐含了人脸姿态描述,因此其另一优势是可以同时对人脸姿态和光照条件进行综合分析,大量实验测试说明该算法用于光照估计有效可行。     

概率二维主分量分析

二维主分量分析是一种直接面向图像矩阵表达方式的特征抽取与降维方法. 提出了一个基于二维主分量分析的概率模型. 首先, 通过对此产生式概率模型参数的最大似然估计得到主分量(矢量); 然后, 考虑到缺失数据问题, 利用期望最大化算法迭代估计模型参数和主分量. 混合概率二维主分量分析模型在人脸聚类问题上的应用表明概率二维主分量分析模型能作为图像矩阵的密度估计工具. 含有缺失值的人脸图像重构实验阐述了此模型及迭代算法的有效性.     

M-FPCA在彩色人脸图像识别中的应用

将因子化主成分分析（FPCA）算法应用于人脸图像特征提取时,需要使用迭代算法,但该算法应用于高分辨率图像时实时性较差,并且可能导致维数灾难。针对上述问题,提出一种模块化FPCA（M—FPCA）的新型特征提取方法。将原始数字图像样本进行模块化,对模块化后得到的各个子图像矩阵采用FPCA算法进行特征提取,合并子图像特征矩阵得到原图的特征矩阵。彩色图像由R、G、B3个分量来表示,根据现有彩色信息融合方法的不足,对其进行改进,并结合M—FPCA算法,提出一种彩色M—FPCA新方法。在CVL和FEl人脸库上进行的实验结果表明,M—FPCA方法能提高FPCA算法的实时性,解决维数灾难问题。彩色M—FPCA方法能有效提取彩色人脸图像的色彩信息,得到较高的人脸识别率。     

压缩视频的正则化投影超分辨率重建

压缩视频超分辨率（SR）技术利用压缩后的低分辨率（LR）图像序列来重建高分辨率（HR）图像的技术,是当前视频超分辨率技术研究的热点。在正则化理论和凸集投影理论的基础上,利用比特流中的量化信息,提出了一种正则化投影超分辨率重建算法;通过正则化代价函数引入图像序列的时间域和空间域的先验信息,使用迭代梯度下降算法对正则化代价函数求解得到重建图像,最后利用凸集投影算法对求得的估计图像进行DCT域投影重建。仿真实验结果表明,该自适应算法较传统算法,其重建图像的主、客观质量有一定的提高,适合压缩图像的应用。     

基于方向微分和加权平均的运动模糊方向鉴别

在曝光的瞬间,造成图像模糊的运动,可近似作为直线运动来处理,但在像平面中的运动模糊方向未知。将原图像视为各向同性的一阶马尔科夫过程,提出了一种新的运动模糊方向鉴别方法,即方向微分鉴别方法,可以高精度鉴别匀速运动、加速运动、振动等各种运动的模糊方向,具有鉴别范围大、稳定性好的优点,克服了Y.Yitzhaky方法的不足。高精度估计出运动模糊方向,则可以通过图像旋转将运动模糊方向旋转到水平轴,图像恢复因此由二维问题转化为一维问题,大大降低了图像恢复的难度,且为图像恢复的并行计算打下基础。文章给出了采用双线性插值或三次C样条插值进行方向微分的详细计算方法,其中双线性插值方法计算量小,而三次C样条插值方法鉴别精度比双线性插值方法高。采用加权平均措施,平均了引起鉴别误差的各种随机因素,提高了鉴别精度,增强了运动模糊方向鉴别的稳定性。     

基于双正则化的图像超分辨率盲重建

图像超分辨率重建是利用数字信号处理技术由一系列低分辨率观测图像得到高分辨率图像。大多数重建算法假设成像系统的模糊特性也即点扩散函数(PSF)已知,然而实际的应用环境下PSF事先不知道或部分知道。为此,将未知PSF模型化,提出基于双正则化的图像超分辨率盲重建算法,并且正则化作用的强度随重建图像局部光滑程度的变化而自适应地改变,以便能保护图像细节同时抑制平滑区域的噪声。求解过程中采用交替最小化方法估计PSF参数和高分辨率图像,并随着迭代次数的增加逐步提高每次寻优的精度以节省计算开销。实验结果表明,该算法能够比较准确地估计出PSF参数并取得较好的图像重建效果。     

基于插值滤波器类型的方向变换

针对运动补偿残差应用方向变换存在着较大的复杂度,提出了基于插值滤波器选择类型的方向性变换的算法.该算法根据运动补偿过程中对分数像素插值时所选用的插值滤波器类型来判断图像的大致纹理方向.由于不同类型的插值滤波器能够反映出图像不同的纹理方向,因此根据选择的插值滤波器的种类对运动残差选用合适的方向变换.实验结果表明,改进的算法在运算复杂度增加不明显的基础上,可以有效地提高编码器的压缩效率,降低比特率,同时PSNR得到增加.     

An efficient and robust multi-frame image super-resolution reconstruction using orthogonal Fourier-Mellin moments

Multi-frame image super-resolution (SR) has recently become an active area of research. The orthogonal rotation invariant moments (ORIMs) have several useful characteristics which make them very suitable for multi-frame image super-resolution application. Among the various ORIMs, Zernike moments (ZMs) and pseudo-Zernike moments (PZMs)-based SR approaches, i.e., NLM-ZMs and NLM-PZMs, have already shown improved SR performances for multi-frame image super-resolution. However, it is a well-known fact that among many ORIMs, orthogonal Fourier-Mellin moments (OFMMs) demonstrate better noise robustness and image representation capabilities for small images as compared to ZMs and PZMs. Therefore, in this paper, we propose a multi-frame image super-resolution approach using OFMMs. The proposed approach is based on the NLM framework because of its inherent capability of estimating motion implicitly. We have referred to this proposed approach as NLM-OFMMs-I. Also, a novel idea of using OFMMs-based interpolation in place of traditional Lanczos interpolation for obtaining an initial estimate of HR sequence has been presented in this paper. This variant of the proposed approach is referred to as NLM-OFMMs-II. Detailed experimental analysis demonstrates the effectiveness of the proposed OFMMs-based SR approaches to generate high-quality HR images in the presence of factors like image noise, global motion, local motion, and rotation in between the image frames.     

基于多帧融合及四参数仿射模型的图像超分辨

运动参数估计和复原是多帧图像超分辨重构中最重要的两个环节,其中经典的Fourier-Mellin变换方法于频域采用对数极坐标形式和相位相关方法结合来估计运动参数。相位相关是整像素级平移参数估计方法,将其改进为亚像素级平移参数估计方法,以提高旋转、缩放参数的估计精度。对于复原算法,在讨论基于局部信息的传统双三次插值超分辨重构方法的基础上,重点探讨基于全局信息的Kriging插值超分辨重构和核非线性回归（KNR）超分辨重构方法。实验结果表明,探讨的参数估计方法和超分辨重构方法是有效的。     

频率域Wyner-Ziv视频编码算法的改进

为提高分布式视频编码压缩率,依据无线传感网络终端设备及Wyner-Ziv视频编码特点,针对Bernd Girod的频域Wyner-Ziv视频编码方案提出改进算法。该算法在编码端通过简单DCT运算提出将图像块分为Skip模式、低频模式和全频模式三种可选模式,在解码端根据相应的编码模式分别选择平均插值、自适应搜索运动估计插值和自适应搜索精细运动估计插值的边信息估算方法联合解码。该算法既能通过消除大量的帧间预测与熵编码实现低码率传输,又能以最小的解码代价获得更精确的边信息,从而有效地避免图像解码质量下降。实验结果表明,在相同峰值信噪比情况下,该算法的码率比Bernd Girod提出的频域Wyner-Ziv算法平均下降40%。     

基于视频监控系统的运动自适应去隔行算法

针对视频监控系统的去隔行问题,在分析了传统去隔行算法优缺点的基础上,提出了一种高性能的运动自适应去隔行算法。该算法通过可检测空间周期模式运动的4场运动检测方法对插值点运动状态进行判断,将图像分为静止区域和运动区域。静止区域的插值采用场合并算法;运功区域的插值采用改进型边沿自适应插值算法,增强了水平边沿检测功能并提升了一致性边沿方向的估计水平。DSP实验结果表明,提出的算法可提高图像的峰值信噪比(PSNR)和结构相似度(SSIM),有效抑制锯齿化、行间闪烁和运动虚像等不良效应,获得良好的视觉效果     

视频标准帧速率上变换的自适应运动补偿方案

提出了一种自适应的运动补偿方案，首先利用预测三步搜索算法进行运动估计，由于此运动估计算法能够很好地利用运动向量的时空相关性．从而能得到更加平滑的运动向量场。其次．为了能够抑制运动向量场中个别奇异向量以及块匹配算法所固有的块效应问题，对向量场进行中值滤波，并采用了一种特殊的向量分配算法。方案的最后一个环节是运动补偿插值，它综合考虑插值帧的局部图像质量以及全局图像质量，利用一种白适应性较强的中值滤波操作来达到一定的综合效果。实验结果证明，此算法与运动补偿时间插值(MCTI)算法相比，插值得到的图像更加平滑，而且，两者的信噪比指标对比也充分说明了本算法的优越性。     

基于洛伦兹范数的医学图像超分辨率重建研究

在超分辨率图像重建(SR)模型中,为了达到良好的重建效果,选择一个合适的代价函数是研究的重点。采用SR重建模型中的差错项选择了洛伦兹范数,正则化项选择了吉洪诺夫正则化,重建过程采用了迭代方法。提出的算法可以有效地解决医学图像SR重建过程中的去异值点和图像边缘保持的两大关键问题,达到良好的重建效果。为了验证上述算法的有效性,就一系列添加了运动模糊和不同噪声的低分辨率MRI医学图像进行了SR重建,并且与基于L2范数的重建算法的重建效果进行了比较分析。实验结果显示,所提算法具有良好的实用性和有效性。     

分布式视频编码中的边信息改进算法

边信息是影响分布式视频编码系统率失真性能的关键因素之一。针对传统的运动补偿帧内插方案的固定宏块划分法忽略了视频序列中各区域运动强烈程度不均的特性,提出基于图像活跃度的灵活宏块划分算法。在前向运动估计之前,对相部关键帧的差值图像统计活跃度,根据各区域的运动强烈程度自适应地调整宏块大小。实验结果表明,对于不同运动特性的序列,本算法可以明显提升边信息帧的重建质量,使系统的率失真性能提高0.3~1.3dB有效提高了系统性能。