基于大位移视点图像的单帧图像修复

提出一种基于大位移视点图像的单帧图像修复算法,利用大位移视点图像中的可见信息修补目标图像中的被遮挡或信息丢失区域.算法的关键在于如何转化大位移视点图像的可见信息为可用信息,以及如何利用得到的可用信息来有效地修补目标图像.在交互指定待修复的目标区域后,算法首先将所有图像分割为不同的平面场景区域,并基于图像匹配将大位移视点图像中的平面场景区域变换到当前视点.因此,其中的可见信息就可被直接使用.进而通过定义合适的修复和融合优先级函数,提出基于纹理合成和图像融合的图像修复算法,利用获得的可用信息来修补目标区域.修复区域和目标图像之间的鬼影现象使用Poisson图像融合算法来消除,以达到无缝的修复结果.实验结果表明,该算法能够修复较大的丢失信息区域中的结构和纹理信息,具有一定的实用价值.     

一种利用背景信息的虚拟视点图像后处理方法

基于深度图像的虚拟视点绘制(Depth Image Based Rendering, DIBR)在双视图像融合后存在重叠、伪影和空洞等问题,为提高融合后图像质量,提出一种利用背景信息的虚拟视点图像后处理方法.首先,在图像融合时引入深度信息解决像素重叠问题.其次,根据视点移动方向定位左、右虚拟视图伪影区域,利用互补视点的背景像素擦除伪影.最后,利用不同视点参考图像信息之间的冗余性将左、右参考视点进行融合并消除前景像素,再进行正向映射得到虚拟视点背景图像填充双视融合后剩余的空洞.与基于图像分割的虚拟视点绘制算法相比PSNR值提高了0.6357dB,实验结果表明,该算法能有效提高绘制图像质量.     

利用大位移视图的自动可信图像修补

为了以自动的方式达到反映原始场景真实性的图像复原效果,提出一个基于大位移视图的自动可信图像修补技术框架.首先,根据优缺点互补的原则将几种显著特征检测器有效地结合起来,提取目标图像和大位移视图上均匀分布的准稠密特征对应点集.然后,受启发于先验模型与模型拟合问题,提出一个准平面场景区域聚类算法,通过对特征对应点集的聚类划分将整个自然场景图像分割表示成多个准平面场景区域,以校正大位移视图中的景物投影变形.最后,受启发于纹理合成与图像拼接技术,提出一个准平面场景区域合成算法,校正并缝合空洞周围的多个准平面场景区域重投影图像至目标图像上,以填补目标图像上的信息丢失区域.实验结果与实拍照片之间的视觉辨别困难表明了本文方法的有效性.     

一种改进的单目机器人立体视觉系统校正方法

基于三棱镜的单目立体视觉系统具有高集成度、低功耗、易装配等特点,但外置的棱镜也会引发不规则的图像畸变,影响成像质量。首先采用双边滤波函数对目标图像进行降噪处理,增强图像中的边界,有效提高标定图像中的特征点提取的准确性;然后结合透视投影中的直线性、交比一致性和没影点收敛性等投影不变性提出一种改进的自适应畸变校正算法。该算法无需畸变模型及畸变参数,通过校正前后特征点的偏移,最终得到畸变校正所需的像素位移图。实验对比了多组图像的特征提取效果和畸变校正结果,并比较了不同校正方法对于系统中产生的不规则畸变的校正效果,结果表明该算法具有鲁棒性和准确性,提高了机器人视觉系统的准确度。     

基于建立校正量场的鱼眼图像快速校正算法

针对鱼眼图像校正中在纵向方向校正效果不佳,中心关键区域不突出以及鱼眼有效区域提取效率低的问题,通过遍历横竖两个方向的中垂线以获得有效区域图像.在畸变点周围建立校正量场,在校正量场中建立畸变点与校正点之间的几何关系,遍历每个畸变点,并根据校正关系获得校正量,获得校正图像后,为获得光滑图像,结合hermite插值算法对校正图像进行插值运算.首先实验表明,新的提取算法效率大幅提高,并获得较准确有效区域,提取有效区域后校正算法对视图主要区域的校正和纵向方向的畸变取得较好效果.上述提取算法和校正算法提高校正速度,提高校正效果,具有较强的可行性和有效性.     

针对鱼眼图像边缘校正缺失的快速校正算法

针对鱼眼图像校正中水平方向畸变以及边缘缺失的问题,通过引入可控参数控制边缘部分的校正范围,同时融合三角计算以及参数变换,获取校正关系,使映射面与鱼眼图像达到最佳匹配结果.获取校正关系后运用双线性插值算法对校正图像进行插值运算以填充图像.实验表明,算法对视图主要区域和边缘部分畸变的校正取得较好效果,边缘部分信息流失较少,主视图区域畸变角度明显减小,校正后图像与未畸变源图像相比结构相似性高,尽可能大的保留鱼眼图像信息,算法效率提高,算法运行时间缩短近50%.该鱼眼图像校正算法在校正效率以及校正效果上都有显著提高,具有可行性和有效性.     

一种基于双重分割的立体匹配算法

立体匹配通过计算同一场景不同视点下图像的匹配像素的视差,恢复场景的深度信息.文中对传统的基于分割的立体匹配算法进行改进,提出了一种基于双重分割的立体匹配算法.首先对参考图像进行颜色欠分割,使每个区域包含足够的信息进行平面拟合;然后对初始匹配视差图进行分割,检测颜色分割中的欠分割区域并进行再分割,进而对再分割后的区域进行平面拟合;最后利用合作算法对不可信区域优化,以提高匹配算法的运行效率.Middlebury标准图像测试集上的实验结果表明,相对于传统分割算法,该算法时间开销更少、匹配精度更高.     

基于分块方向梯度能量的图像修补算法

为了对图像破损区域进行修补和前景去除,提出一种基于样本的图像修补算法.首先引入“分块的方向梯度能量”来评估像素块在某个方向上的整体颜色变化情况;然后利用最大方向梯度能量估算该像素块中存在的边缘的强度与方向.该算法包括像素块填充优先级计算、像素块匹配和更新未知区域边界、可信任度等全局参数的更新3个步骤.在计算像素块填充优先级时,考察像素块在待修补区域边界法向上的方向梯度能量,优先选取包含更强边缘信息的未知区域;而在像素块匹配过程中,除比较像素块对应的颜色值之外,还利用方向梯度能量对它们可能存在的边缘进行比较与匹配.实验结果表明,该算法能够使图像的结构信息正确地传播到待修补的未知区域中,填充后的图像具有较为平滑的边缘.     

一种融合颜色和空间信息的彩色图像分割算法

提出了一种基于图像颜色和空间信息的彩色图像分割算法.该算法首先根据所提出的颜色粗糙度概念对图像进行颜色量化,并在此基础上使用增量式的区域生长算法发现颜色相近的像素之间的空间连通性,形成图像的初始分割区域.然后,根据融合了颜色和空间信息的区域距离,对初始分割区域进行分级合并,直到系统满足了所提出的停止区域合并的准则.最后,利用形态学的有关算法对分割区域的边缘进行平滑.实验证明,算法的分割结果与人的主观视觉感知具有良好的一致性.     

基于视点纠正的鱼眼图像场景化漫游方法

针对鱼眼图像畸变大、表示的场景信息不直观等特点,本文提出了一种 基于视点纠正的鱼眼图像场景化漫游方法。该方法以鱼眼图像所表示的半球空间为观察对 象,通过视点的转移在半球空间进行漫游,以对不同区域内的场景信息进行直观的观察。采 用鱼眼图像校正算法为基础建立鱼眼镜头的球面映射模型,通过映射关系对以视点为中心的 观察区域进行实时校正,当视点变化时对校正后的可视区域进行实时显示从而实现漫游。实 验结果表明,通过本文算法能够实现鱼眼图像所表示半球空间的实时漫游,且漫游时显示的 校正图像满足直线约束标准。     

Distortion Optimization based Image Completion from a Large Displacement View

We present a new image completion method based on an additional large displacement view (LDV) of the same scene for faithfully repairing large missing regions on the target image in an automatic way. A coarse‐to‐fine distortion correction algorithm is proposed to minimize the perspective distortion in the corresponding parts for the common scene regions on the LDV image. First, under the assumption of a planar scene, the LDV image is warped according to a homography to generate the initial correction result. Second, the residual distortions in the common known scene regions are revealed by means of a mismatch detection mechanism and relaxed by energy optimization of overlap correspondences, with the expectations of color constancy and displacement field smoothness. The fundamental matrix for the two views is then computed based on the reliable correspondence set. Third, under the constraints of epipolar geometry, displacement field smoothness and color consistency of the neighboring pixels, the missing pixels are orderly restored according to a specially defined repairing priority function. We finally eliminate the ghost effect between the repaired region and its surroundings by Poisson image blending. Experimental results demonstrate that our method outperforms recent state‐of‐the‐art image completion methods for repairing large missing area with complex structure information.     

Image completion based on views of large displacement

This paper presents an algorithm for image completion based on the views of large displacement. A distinct from most existing image completion methods, which exploit only the target image’s own information to complete the damaged regions, our algorithm makes full use of a large displacement view (LDV) of the same scene, which introduces enough information to resolve the original ill-posed problem. To eliminate any perspective distortion during the warping of the LDV image, we first decompose the target image and the LDV one into several corresponding planar scene regions (PSRs) and transform the candidate PSRs on the LDV image onto their correspondences on the target image. Then using the transformed PSRs, we develop a new image repairing algorithm, coupled with graph cut based image stitching, texture synthesis based image inpainting, and image fusion based hole filling, to complete the missing regions seamlessly. Finally, the ghost effect between the repaired region and its surroundings is eliminated by Poisson image blending. Our algorithm effectively preserves the structure information on the missing area of the target image and produces a repaired result comparable to its original appearance. Experiments show the effectiveness of our method.     

Video repairing under variable illumination using cyclic motions

This paper presents a complete system capable of synthesizing a large number of pixels that are missing due to occlusion or damage in an uncalibrated input video. These missing pixels may correspond to the static background or cyclic motions of the captured scene. Our system employs user-assisted video layer segmentation, while the main processing in video repair is fully automatic. The input video is first decomposed into the color and illumination videos. The necessary temporal consistency is maintained by tensor voting in the spatio-temporal domain. Missing colors and illumination of the background are synthesized by applying image repairing. Finally, the occluded motions are inferred by spatio-temporal alignment of collected samples at multiple scales. We experimented on our system with some difficult examples with variable illumination, where the capturing camera can be stationary or in motion.     

基于色度偏差的运动目标检测

论述了一种静态摄像机下从彩色图像中检测运动目标的背景减除算法，该算法在彩色图像亮度偏差和色度偏差概念的基础上被提出的，计算量小但可以很好地克服亮度变化、反光和阴影的影响。对于一个序列，首先用像素点的中间值作为背景的像素值，生成背景帧；然后依据当前帧和背景帧的色度偏差值将图像二值化；最后，使用数学形态学算子和连通分量分析对检测结果进行后处理。实验结果表明，该算法有很好的处理效果。     

用于低照度图像增强的自适应颜色保持算法

视频监控、场景恢复等领域中低照度图像噪点多,亮度低,可视效果差,而现有的图像处理技术容易出现颜色失真、光晕色块严重。为解决这一问题,根据韦伯-费希纳定律,把图像的像素点转换到对数空间,自适应获得符合视觉系统特点的预增强图像;再根据多尺度视网膜算法,分别计算与增强图像的R通道在三个尺度上的平均高斯滤波结果,获得入射光估计,把对数域的自适应增强图像像素值与入射光估计的差值作为多尺度视网膜算法的结果图像。进一步处理结果图像,将其RGB通道按照预增强图像中的颜色比例关系映射到0~255的范围;最后融合三个通道获得最终图像输出。通过图像质量的评价对比,该算法对不同低照度场景图像的增强结果,在对比度、色度保持等方面优于MSR、MSRCR和MSRCP算法。实验证明该算法在低照度图像的恢复和色度保留等方面有较好的效果,在增强视频监控的有效性等方面有较好的应用价值。     

雾天交通场景中单幅图像去雾

目的 针对雾天交通场景中通常含有大片天空区域,传统去雾方法在复原这些图像时容易产生光晕、色彩失真等现象。提出一种基于天空区域分割和暗通道先验理论的图像去雾方法。方法 首先提出一种基于最大类间方差法（OTSU）的图像分割算法来自动分离天空区域,然后将天空区域的平均强度值作为大气光值,从而改进场景传输率的估计。结果 本文方法不仅有效地解决了图像去雾后出现光晕和色彩失真等问题,与He Kaiming以及Fattal的方法相比,本文方法去雾后的图像更加真实、自然、平滑。结论 实验结果表明,本文方法能够很好地完成对雾天交通图像的复原,可为道路交通监管提供一种有效的理论基础和技术支撑。     

高光去除的聚类算法改进

高光去除是计算机视觉领域研究的一个热点问题.现有的基于双色反色模型分离漫反射分量和镜面反射分量去除单幅图像中的高光的方法,容易引起图像颜色失真和纹理的丢失.针对此问题,在使用像素强度比去高光的基础上改进了像素聚类算法,能够更准确的进行像素分类,改善图像颜色失真的现象.首先计算原图像与最小强度值单通道图像的差值得到无高光图像.然后根据无高光图像计算与高光区域相关的每个像素点的最大漫反射色度值和最小漫反射色度值.最后将高光区域内的像素点转换到最小最大色度空间,对高光区域内的像素点进行xmeans聚类,利用分类后漫反射像素点的强度比估计值很容易分离高光区域像素点的镜面反射分量,从而得到去高光图像.实验结果表明,与现有的方法对比,峰值信噪比值平均提升了2%至4%,图像颜色失真和纹理丢失状况得到改善,视觉效果更好.     

基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准

针对脑部图像中存在噪声和强度失真时，基于结构信息的方法不能同时准确提取图像强度信息和边缘、纹理特征，并且连续优化计算复杂度相对较高的问题，根据图像的结构信息，提出了基于改进Zernike距的局部描述符（IZMLD）和图割（GC）离散优化的非刚性多模态脑部图像配准方法。首先，将图像配准问题看成是马尔可夫随机场（MRF）的离散标签问题，并且构造能量函数，两个能量项分别由位移矢量场的像素相似性和平滑性组成。其次，采用变形矢量场的一阶导数作为平滑项，用来惩罚相邻像素间有较大变化的位移标签；用基于IZMLD计算的相似性测度作为数据项，用来表示像素相似性。然后，在局部邻域中用图像块的Zernike矩来分别计算参考图像和浮动图像的自相似性并构造有效的局部描述符，把描述符之间的绝对误差和（SAD）作为相似性测度。最后，将整个能量函数离散化，并且使用GC的扩展优化算法求最小值。实验结果表明，与基于结构表示的熵图像的误差平方和（ESSD）、模态独立邻域描述符（MIND）和随机二阶熵图像（SSOEI）的配准方法相比，所提算法目标配准误差的均值分别下降了18.78%、10.26%和8.89%，并且比连续优化算法缩短了约20 s的配准时间。所提算法实现了在图像存在噪声和强度失真时的高效精确配准。