脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。     

基于视差角和天顶角优化的偏振多视角三维重建

多视角三维重建依赖目标表面的纹理特征,在处理低纹理区域时易出现数据空洞现象,融合目标物反射光的偏振信息可以在不同光照环境下对其进行完整重建,通过偏振参数计算物体表面法向量,进而重建目标物深度图。但单独使用偏振信息重建三维表面存在方位角歧义和天顶角偏差等问题,导致重建结果出现变形甚至得不到深度结果。针对存在低纹理区域的物体,使用偏振相机获取30个左右视角下四个偏振角度的影像,利用视差角参数化光束法平差方法优化相机参数与点云坐标,泊松优化方法纠正天顶角偏差,使用多视角立体几何与偏振信息融合的三维重建算法,既可以弥补多视角三维点云局部数据空洞现象,又可以解决偏振三维中方位角歧义和天顶角偏差的问题,最终得到更加精确的三维重建结果。     

融合粗糙深度信息的低纹理物体偏振三维重建

对于表面光滑、低纹理的目标,传统基于多视几何重建的算法难以获得理想的结果,利用偏振信息来重建这类物体是便捷有效的方法之一.然而单纯利用偏振信息进行三维重建存在歧义性等问题,难以获得理想的结果.以粗糙深度图作为先验信息可解决歧义性问题.先对偏振相机与深度相机标定并配准图像,由粗糙深度图获得的法向量辅助纠正偏振方位角歧义,再利用纠正的法向量与粗糙深度图积分融合,从而获得较高精度的物体三维表面.     

一种新颖的多视点视频偏色校正算法

针对多视点视频序列中视点间出现偏色的问题,提出了一种偏色校正算法.该算法在编码端只处理目标序列的亮度分量,在解码端利用运动矢量信息和参考序列,使用色彩扩散的方法恢复出目标序列的颜色信息.在完成偏色校正的同时,有效地提高了编码效率.以标准多视点视频测试序列为实验对象,将本文算法与直方图匹配校正、未校正序列进行比较,表明本文算法可以有效校正偏色现象,并获得良好的主观效果.