基于全景鸟瞰视图的障碍物检测方法研究

目前,车载环视系统的障碍物检测大多采用基于特征的方法,主要针对车辆和行人等特定障碍物,不能完全消除障碍物对车辆行驶安全的威胁。采取基于运动的方法检测所有高于地面的障碍物。建立了平坦路面上的车辆运动模型,使用逆投影变换,推导出车辆运动参数、障碍物点高度和对应像素光流的关系。根据车载环视系统中相邻摄像头生成的俯视图存在重叠区域、重叠区域的障碍物特征点存在两个不同的光流矢量的特点,快速筛选出相交区域中的障碍点,并加速最优车辆运动参数的求取。最后使用运动参数生成运动补偿图像,检测图像中的所有障碍物点。实际道路测试证明,提出的算法在常规的路面环境下,能有效地标记出行驶过程中高于地面的所有障碍物。     

基于高斯-柯西混合模型的单幅散焦图像深度恢复方法

单幅图像场景深度的获取一直是计算机视觉领域的一个难题。使用高斯分布函数或柯西分布函数近似点扩散函数模型(PSF),再根据图像边缘处散焦模糊量的大小与场景深度之间的关系估算出深度信息,是一种常用的方法。真实世界中图像模糊的缘由千变万化,高斯分布函数以及柯西分布函数并不一定是最佳的近似模型,并且传统的方法对于图像存在阴影、边缘不明显以及深度变化比较细微的区域的深度恢复结果不够准确。为了提取更为精确的深度信息,提出一种利用高斯-柯西混合模型近似PSF的方法;然后对散焦图像进行再模糊处理,得到两幅散焦程度不同的图像;再通过计算两幅散焦图像边缘处梯度的比值估算出图像边缘处的散焦模糊量,从而得到稀疏深度图;最后使用深度扩展法得到场景的全景深度图。通过大量真实图像的测试,说明新方法能够从单幅散焦图像中恢复出完整、可靠的深度信息,并且其结果优于目前常用的两种方法。     

基于组合方法对图像的双三次多项式拟合

提出了基于图像数据构造拟合曲面的新方法.假设给定的图像数据所对应的原场景曲面能用分片二次多项式曲面表示,原场景曲面称为原曲面.现有方法通常是用图像数据作为插值数据构造原曲面的拟合曲面,而新方法以图像数据生成公式为约束,通过反向采样过程来构造对图像数据拟合的曲面,从而使拟合曲面具有更好的逼近精度.由于图像边缘处的质量对图像的视觉效果起着关键的作用,我们也把图像边缘做为约束条件用于拟合曲面的构造.对于每一个数据点及其邻近区域,新方法以采样公式和图像边缘作为约束条件局部地构造一张二次多项式曲面片,该曲面片具有二次多项式精度.所有的二次多项式曲面片的加权组合形成逼近原曲面的拟合曲面.对算法比较的实验表明,由新方法生成的放大图像具有较高的精度和较好的视觉效果.     

基于混合生成对抗网络的多视角图像生成算法

多视角图像生成即基于某个视角图像生成其他多个视角图像, 是多视角展示和虚拟现实目标建模等领域的基本问题, 已引起研究人员的广泛关注. 近年来, 生成对抗网络(Generative adversarial network, GAN)在多视角图像生成任务上取得了不错的成绩, 但目前的主流方法局限于固定领域, 很难迁移至其他场景, 且生成的图像存在模糊、失真等弊病. 为此本文提出了一种基于混合对抗生成网络的多视角图像生成模型ViewGAN, 它包括多个生成器和一个多类别判别器, 可灵活迁移至多视角生成的多个场景. 在ViewGAN中, 多个生成器被同时训练, 旨在生成不同视角的图像. 此外, 本文提出了一种基于蒙特卡洛搜索的惩罚机制来促使每个生成器生成高质量的图像, 使得每个生成器更专注于指定视角图像的生成. 在DeepFashion, Dayton, ICG Lab6数据集上的大量实验证明: 我们的模型在Inception score和Top-k accuracy上的性能优于目前的主流模型, 并且在结构相似性(Structural similarity, SSIM)上的分数提升了32.29%, 峰值信噪比(Peak signal-to-noise ratio, PSNR)分数提升了14.32%, SD (Sharpness difference)分数提升了10.18%.     

边缘颜色匹配算法在计算机拼图中的应用

对于计算机白动拼图中的颜色匹配问题,由于全局直方图不包含颜色的空间分布信息,不同的图像可能具有相同的颜色直方图.为弥补该缺点,提出了应用图像的边缘颜色信息进行匹配的方法.该算法先进行边缘提取,然后以每个边缘点为中心,选取一个适当区域,计算直方图,利用直方图相交法进行特征的匹配.实验结果表明,与传统的直方图相交方法相比,在进行图像匹配时合理利用图像的边缘特征可有效的提高匹配性能.     

有理分形曲面造型及其在图像超分辨中的应用

曲面构造是计算机辅助几何设计的一个关键问题。为了使建模曲面在实际应用中更加灵活、有效,提出一种有理分形曲面的构造方法,并基于该模型给出一种单幅图像超分辨率重建算法。首先,将分形插值函数视为高度函数的分形扰动,给出了一种双变量有理样条迭代函数系统,由此生成有理分形曲面;其次,研究了有理分形函数的一些分析性质,给出了有理分形曲面的计盒维数;最后,将该模型及其理论结果应用于单幅图像的超分辨率重建,提出一种重建算法。该算法先通过非下采样轮廓波变换将图像划分为边缘区域和非边缘区域;然后借助于维数公式精确计算尺度因子,利用模型的多样性对不同区域采用不同的模型进行插值,非边缘区域采用有理函数模型,边缘区域采用有理分形插值函数模型;最后通过适当的变换得到目标图像。实验结果表明了所提模型和算法的有效性,其在处理图像纹理细节和边缘方面优于对比算法,特别是在保持图像的结构信息上具有较强的竞争力,同时获得了较好的客观评价数据和主观视觉效果。     

基于曲面特征逼近项的偏微分方程的图像恢复

通过增加一个基于曲面特征的逼近项来控制在图像不同的区域的消噪量,这样给出了一个更好的保存图像边缘信息的模型。实验表明,该模型可以大量的应用于图像处理和计算机视觉。     

一种快速、高效的车牌定位方法

基于车牌区域丰富的边缘特征,本文提出了一种改进的车牌定位方法。首先增强原始图像,并对原始图像和增强图像分别进行边缘提取;然后基于车牌区域边缘均匀,长短有限等特征,滤除背景及噪声边缘点;最后通过投影搜索出车牌区域。对采集到的各种复杂背景、环境下的车辆图像进行了大量实验,实验结果证明算法准确率高、适应性强。     

视频中的多视角人脸检测与姿态判别

提出了一种基于多种信息融合的多视角人脸检测方法.对视频图像通过对称差分算法检测运动区域,利用神经网络肤色模型对运动区域进行肤色识别,将多视角多人脸检测简化在候选区域内;最后通过集成多神经网络,其中每个神经网络负责一定视角的图像,实现了人脸验证,同时可以粗略地判定人脸姿态.实验结果表明该算法可适应不同的光照环境,检测不同大小,不同视角的人脸.     

全景鸟瞰拼接图像的质量评价方法

针对全景拼接图像尚无有效的全参考质量评价方法,无法有效地选择最佳拼接方案以及优化系统参数的问题,创新性地提出一种基于图像信息采样的质量评价方法,即通过统计俯视图像素在原始图像中的对应分布,对原始图像素的重采样率和均值方差等统计信息进行分析评估。首先介绍一种车载环视摄像头下4个不同角度的视频图像拼接的方法,然后提出像素采样率性能指标,最后通过仿真实验与实际测试,对比图像方差、熵值和平均梯度等指标,证明了提出的评价方法能够有效地评价拼接图像质量和优化摄像头安装参数。     

Elimination of artifacts due to occlusion and discretization problems in image space blurring techniques

Traditional computer graphics methods render images that appear sharp at all depths. Adding blur can add realism to a scene, provide a sense of scale, and draw a viewer’s attention to a particular region of a scene. Our image-based blur algorithm needs to distinguish whether a portion of an image is either from a single object or is part of more than one object. This motivates two approaches to identify objects after an image has been rendered. We illustrate how these techniques can be used in conjunction with our image space method to add blur to a scene.     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

基于相对定向和小区域融合的视频图像拼接

针对视频图像拼接中拼接面选取不当造成的畸变问题和图像融合阶段视差带来的残影问题,借助半角纠正法选取合适的拼接面,使用小区域融合法解决融合残影问题.首先,利用摄影测量的相对定向法计算图像姿态参数;然后,根据姿态参数对待拼接图像进行半角纠正并旋转到同一中介平面;接着,利用匹配的同名点对齐图像;最后,在图像重叠区域的中间部分选取一条形区域作为过渡区并采用渐入渐出法进行融合.实验结果表明,在双摄像头视频拼接系统中,半角纠正法比传统平面拼接法的畸变要小;同时与渐入渐出融合法相比,小区域融合法能避免由视差引起的大面积残影问题.经分析,半角纠正和小区域融合法能有效解决视频拼接中图像变换的畸变和重叠区域融合残影问题.     

无人机影像物方多视匹配算法

目的 像方无人机影像多视匹配方法忽视了影像之间的几何关系,而以MVLL（multi-view vertical line locus）为代表的物方多视匹配方法缺乏对地形之间相互约束的考虑。为此构建一种融合两类多视匹配方法优点的无人机影像物方多视匹配算法。方法 在MVLL匹配结构的基础上添加半全局匹配的相容性约束,不仅继承了原半全局算法对有弱纹理区域匹配效果好和物体边缘突出的优点,而且摆脱了需制作核线影像的繁琐过程;采用物方窗口SNCC（summed normalized cross correlation）一致性匹配测度计算方法,有效降低摄影角度和遮挡对匹配结果的影响;采用金字塔分层的策略以提高匹配的速度和可靠性。结果 选取自主研制的旋翼无人机三轴稳定平台获取了高分辨率无人机影像作为实验数据,从匹配效果、新匹配测度性能和匹配精度3个方面对算法进行了测试实验。本文算法整体匹配效果良好,物方窗口SNCC一致性匹配测度可有效消除匹配测度中的粗差,经过测定本文匹配算法生成的点云数据的高程精度为0.049 m,即约为1个GSD（ground space resolution）对应的地面大小。结论 本文算法充分利用了无人机影像的多视信息进行匹配计算,具有匹配效果好、鲁棒性强和匹配精度高的优势。     

多视点图像的前景对象自动分割方法

为了将前景对象从多视点图像中自动地分割出来,提出一种基于多视点图像特征分析的对象提取方法.首先采用改进的随机Hough变换提取极线平面图中的直线,并对已检测直线的斜率进行统计分析;然后根据对象在场景中所处的深度,将对应斜率的直线转换到原始图像空间中得到初始轮廓;并利用边缘生长方法缩短断开边缘的间距;最后采用边缘连接方法获得闭合的轮廓曲线.实验结果表明,与基于水平集的主动轮廓模型分割方法相比,文中方法能更加快速、精确地将对象从复杂场景中分割出来.     

Railroad online: acquiring and visualizing route panoramas of rail scenes

A patrol type of surveillance has been performed everywhere from police city patrol to railway inspection. Different from static cameras or sensors distributed in a space, such surveillance has its benefits of low cost, long distance, and efficiency in detecting infrequent changes. However, the challenges are how to archive daily recorded videos in the limited storage space and how to build a visual representation for quick and convenient access to the archived videos. We tackle the problems by acquiring and visualizing route panoramas of rail scenes. We analyze the relation between train motion and the video sampling and the constraints such as resolution, motion blur and stationary blur etc. to obtain a desirable panoramic image. The route panorama generated is a continuous image with complete and non-redundant scene coverage and compact data size, which can be easily streamed over the network for fast access, maneuver, and automatic retrieval in railway environment monitoring. Then, we visualize the railway scene based on the route panorama rendering for interactive navigation, inspection, and scene indexing.     

Space-variant blur deconvolution and denoising in the dual exposure problem

In this paper we propose a space-variant blur estimation and effective denoising/deconvolution method for combining a long exposure blurry image with a short exposure noisy one. The blur in the long exposure shot is mainly caused by camera shake or object motion, and the noise in the underexposed image is introduced by the gain factor applied to the sensor when the ISO is set to an high value. Due to the space variant degradation, the image pair is divided into overlapping patches for processing. The main idea in the deconvolution algorithm is to incorporate a combination of prior image models into a spatially-varying deblurring/denoising framework which is applied to each patch. The method employs a kernel and parameter estimation method to choose between denoising or deblurring each patch. Experiments on both synthetic and real images are provided to validate the proposed approach.     

多摄像机图像拼接视觉归一化技术研究

视觉归一化是多视点图像拼接领域的一个关键技术,在对大量图像处理算法研究的基础上,提出了一种针对多摄像机图像拼接的视觉归一化处理方法。该方法主要包括图像颜色校正和图像边缘融合两个模块;在图像颜色校正模块中,引入了图像区域划分策略和自适应颜色调节因子,使不同的像素点都有不同的颜色调节因子,并充分利用相邻图像间的颜色关联性对目标图像的颜色进行自适应校正;在图像边缘融合模块中,利用反映射矩阵计算出拼接图像的重叠区域,利用自适应边缘融合因子对重叠区域进行边缘融合处理。实验结果表明,该方法能够较好地减少甚至消除拼接图像间的视觉差异,较好地改善了图像拼接的视觉效果。     

Mobile multi-view object image search

High user interaction capability of mobile devices can help improve the accuracy of mobile visual search systems. At query time, it is possible to capture multiple views of an object from different viewing angles and at different scales with the mobile device camera to obtain richer information about the object compared to a single view and hence return more accurate results. Motivated by this, we propose a new multi-view visual query model on multi-view object image databases for mobile visual search. Multi-view images of objects acquired by the mobile clients are processed and local features are sent to a server, which combines the query image representations with early/late fusion methods and returns the query results. We performed a comprehensive analysis of early and late fusion approaches using various similarity functions, on an existing single view and a new multi-view object image database. The experimental results show that multi-view search provides significantly better retrieval accuracy compared to traditional single view search.     

Facial deblur inference using subspace analysis for recognition of blurred faces

This paper proposes a novel method for recognizing faces degraded by blur using deblurring of facial images. The main issue is how to infer a Point Spread Function (PSF) representing the process of blur on faces. Inferring a PSF from a single facial image is an ill-posed problem. Our method uses learned prior information derived from a training set of blurred faces to make the problem more tractable. We construct a feature space such that blurred faces degraded by the same PSF are similar to one another. We learn statistical models that represent prior knowledge of predefined PSF sets in this feature space. A query image of unknown blur is compared with each model and the closest one is selected for PSF inference. The query image is deblurred using the PSF corresponding to that model and is thus ready for recognition. Experiments on a large face database (FERET) artificially degraded by focus or motion blur show that our method substantially improves the recognition performance compared to existing methods. We also demonstrate improved performance on real blurred images on the FRGC 1.0 face database. Furthermore, we show and explain how combining the proposed facial deblur inference with the local phase quantization (LPQ) method can further enhance the performance.