神经形态视觉传感器的研究进展及应用综述

神经形态视觉传感器具有高时域分辨率、高动态范围、低数据冗余和低功耗等优势,近年来在自动驾驶、无人机视觉导航、工业检测及视觉监控等领域(尤其在涉及高速运动和极端光照等条件下)产生了巨大的应用前景.神经形态视觉是一个包含硬件、软件、生物神经模型等的视觉感知系统,终极目标是模拟生物视觉感知结构与机理,以硅视网膜达到、扩展或超...     

面向事件相机的轻量化脉冲识别网络

事件相机是一种用脉冲表达信息的仿生成像传感器,具有高时域分辨率、高动态范围、低功耗和高速率等优势.由于事件驱动特性,传统人工神经网络(artificial neural networks, ANN)无法直接处理事件相机输出的脉冲信号.而脉冲神经网络(spiking neural network, SNN)作为一种神经形态计算方法,具有高时域分辨率及事件驱动的特性,这与事件相机高度契合.但是,深层脉冲神经网络需要消耗大量存储空间以及神经元计算资源,严重限制了其在边缘计算场景的部署.本文基于特征维度映射原理,提出面向嵌入式系统的轻量化脉冲神经网络,降低存储需求、提高运行效率并提高网络性能.首先,通过分析网络参数量与网络拟合功能间的关系,明确了约束脉冲神经网络能力的参数瓶颈问题.随后,基于低维特征提取–融合策略提出一种通用轻量化特征提取结构SpikeFire,该模块在保证感受野和特征维度等基本性质不变的前提下大幅减少了网络参数.此外,模拟脑神经元复杂连接特性,模块中采用跳层连接,这既增加多尺度信息提取又有助于深层次网络的优化.最后,将本文所提轻量化网络部署在嵌入式硬件中,开发出了事件驱动的成...     

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。     

稀疏信号欠Nyquist采样与重构研究现状分析

传统的信号采样理论要求采样频率需高于Nyquist频率(信号最高频率)的两倍,给射频及超宽带领域的信号采样、存储和传输造成巨大压力。近年来针对可以进行稀疏表示的信号,欠Nyquist采样技术取得了很大的发展,大大降低了精确重构原始信号所需的采样率。综述性地归纳了目前可以进行欠Nyquist采样的信号模型,将出现的各种欠Nyquist采样总结为一个基本模型,并针对频域稀疏和时域稀疏信号分别对采样模型及原理进行了阐述,分析了采样信号的子空间探测和重建方法,讨论了稀疏信号欠Nyquist采样与重构的实现与应用现状,并对研究前景进行了展望。     

一种基于视觉特性的仿生图像增强算法

常见的基于人类视觉特性的图像增强算法由于是同时完成动态范围压缩和对比度增强,导致增强图像的整体对比度不高、边缘部分效果不佳.通过分析人类视觉系统的全局和局部自适应调节原理及人眼视网膜神经节细胞感受野的传输特性,提出一种仿生图像增强算法.为适应人类视觉系统对光强的主观感觉特性,对图像作全局亮度对数变换;并利用人眼的主观亮度感觉与实际光强的对数呈局部线性关系的特性,采用视网膜神经元感受野三高斯模型来调整亮度图像的局部对比度;最后利用线性变换恢复图像的彩色信息.实验结果表明,该算法的增强效果良好,特别是对于图像边界处,既能很好地增强边缘对比,又可有效地提升区域亮度对比和亮度梯度信息.     

基于事件的视觉传感器及其应用综述

基于事件的相机是一种生物启发的新型视觉传感器,可实时高效地捕捉场景的变化.与基于帧的传统相机不同,事件相机仅报告触发的像素级亮度变化(称为事件),并以微秒级分辨率输出异步事件流.该类视觉传感器已经逐渐成为图像处理、计算机视觉、机器人感知与状态估计、神经形态学等领域的研究热点.首先,本文阐述了事件相机的基本原理、发展历程、优势与挑战;然后,介绍了3种典型事件相机(包括DVS(dynamic vision sensor)、ATIS(asynchronous time based image sensor)和DAVIS(dynamic and active pixel vision sensor))以及多种新型事件相机;接下来,重点回顾了事件相机在特征提取、深度估计、光流估计、强度图像估计与三维重建、目标识别与跟踪、自主定位与位姿估计、视觉里程计与SLAM、多传感器融合等方面的应用研究;最后,归纳了事件相机的研究进展,并探讨了未来的发展趋势.     

融合多次运动估计的图像序列超分辨率重建算法

随着成像传感器的广泛使用，对图像以及图像序列分辨率的要求越来越高。图像序列超分辨率技术受到广泛的重视。超分辨率技术通过信号处理的方法，由低分辨率图像序列中恢复出高分辨率的图像。它的理论基础是信号重建理论。在图像传感器成像过程中，CCD面阵对投影图像进行采样。     

光纤耦合太赫兹时域光谱采样技术

主要对基于光电导天线的典型光纤耦合太赫兹时域光谱采样技术及典型光纤耦合太赫兹时域光谱系统进行了介绍.光电导天线是太赫兹时域脉冲信号产生和探测的关键部件,目前基于光电导天线的光纤耦合太赫兹时域光谱采样技术主要有3种,分别为等效时间采样法、异步采样法和腔长调谐光学采样法.对3种不同采样方法的技术原理进行了分析,并对基于不同采样原理的光纤耦合太赫兹时域光谱系统结构进行了介绍,给出了基于不同采样原理的光纤耦合太赫兹时域光谱系统典型产品说明和关键技术指标,说明了基于不同采样方法的系统特点.可为不同的应用需求提供技术参考,为自主搭建基于不同采样技术的光线耦合太赫兹时域光谱系统提供技术支持.     

编码超声稀疏采样仿真研究

编码超声可以在不增加发射能量的前提下提高平均发射声功率,进而有效提高微小目标体的检出率,增加检测深度,提高目标体成像分辨率。而稀疏采样技术可以有效减少采集数据量,提高检测算法实时性。将二者的优点结合,在高频、超宽带以及多传感器超声阵列实时检测与成像领域有重要研究价值。为此,提出了一种编码超声有限新息率稀疏采样方法,该方法在建立编码超声信号稀疏采样构架的基础上,通过脉冲压缩技术实现编码超声信号的时域压缩,并通过仿真实验对3位二进制编码超声信号进行了稀疏采样与参数重构。仿真结果表明,该方法可实现编码超声信号的稀疏采样,在减少数据量的同时准确重构出原信号。     

基于事件相机的机器人感知与控制综述

事件相机作为一种新型动态视觉传感器, 通过各个像素点独立检测光照强度变化并异步输出“事件流”信号, 具有数据量小、延迟低、动态范围高等优秀特性, 给机器人控制带来新的可能. 本文主要介绍了近年来涌现的一系列事件相机与无人机、机械臂和人形机器人等机器人感知与运动控制结合的研究成果, 同时聚焦基于事件相机的控制新方法、新原理以及控制效果, 并指出基于事件相机的机器人控制的应用前景和发展趋势.     

多源监测信息融合仿生复眼型系统模式及感知计算机理

借鉴昆虫复眼获取与处理信息的机理和过程来构造多源、多尺度监测信息融合仿生处理系统模式,在水资源水环境的空中、地面多传感器时空定量监测应用中,多种卫星遥感传感器和地面监测传感器被设计“集成”在一个虚拟的仿生复眼平台上,通过模仿蝇类昆虫视觉信息获取和生物神经网络感知与计算的机理,实现大场景（LF）、小场景（SF）的协同监测和专题信息融合与决策,提出了空中、地面多传感器时空定量信息获取与处理的仿蝇复眼型信息融合系统模式,设计了基于仿蝇复眼感知与计算机理的多源信息融合工程模型和算法,包括虚拟复眼设计,虚拟复眼图像的预处理模型,LF系统和SF系统的感知与计算机理以及复眼图像超分辨率重构算法,仿真实验中验证了空中、地面多源多尺度监测信息融合的仿生复眼型系统模式、LF和SF系统计算模型以及复眼图像超分辨率重构的可行性与合理性。     

基于参量模型估计的周期信号等效采样方法研究

针对现有的常规的等效时间采样方法必须具备准确的模拟触发电路,必须具备精确的定时电路或时长检测电路,并且波形重建时间长甚至不能完全重建的问题,提出一种基于参量模型估计的周期信号等效时间采样方法.该方法采用三个两两互质频率进行三轮采样,从三轮采样数据估计出被测周期信号的基频和其它参数,从而重构出被测周期信号波形.实验证明,该方法在信噪比较高时重构出被测周期信号波形的正确概率很高,重构误差很小.该方法已被成功运用到数字存储示波器的高速数据采集系统中.     

基于脉冲数据重构的高速铁路关键零部件检测算法

对运行中的高速铁路（简称“高铁”）关键零部件进行快速准确定位是高铁故障诊断的基础之一。然而,利用普通工业相机对运行中的高铁进行数据采集会存在运动模糊或关键零部件丢失问题,而利用超高速脉冲相机采集的数据进行目标检测模型训练又会存在数据难以标注以及模型难以训练等问题。对此,文章提出一种基于脉冲数据重构的高铁关键零部件检测方法。其首先基于脉冲触发原理,利用脉冲间隔还原不同位置的光强,并通过计算全局光强调整局部光强,且对调整后的结果进行滤波与局部增强处理,重构出高清分辨率灰度图像;在此基础上,对重构后的灰度图像进行数据清洗与标注,并利用标注后的数据进行高铁关键零部件检测模型训练;最后,基于TensorRT对训练后的模型进行加速。试验结果表明,经过加速后的高铁关键零部件目标检测模型能够实现98.7%的平均精确度以及平均3.5 ms的单帧推理速度,为算法的工程化应用奠定基础。     

复合材料超声C 扫描多传感器信息融合技术

针对复合材料声图像缺陷识别的可靠性,对复合材料缺陷类别与缺陷模式识别进行了分析,讨论了通过仿形测量和重建模型的方法实现复合材料超声C扫描的一般过程.基于模糊积分的信息融合方法,实现了多探头非视觉信息、人的感知信息及视觉信息的融合.实验结果表明,采用多传感器信息融合技术可以降低系统的不确定性,提高超声检测与识别系统的性能,从而能够准确检测出复合材料的缺陷.     

基于多分辨率分析的ECG基线漂移矫正算法

基线漂移对ECG采样信号的ST段特征信息准确提取带来很大困难.利用小波变换的良好分辨率分析特性,提出基于多分辨率分析的ECG基线漂移矫正算法.根据ECG多尺度分解后的高尺度细节信息特点,采用二次样条小波对采样ECG信号进行多尺度分解,然后选择高尺度下的细节信息进行自适应滤波,最后进行多尺度重构,实现消噪目的.多次实验结果表明,该算法能有效矫正ECG的基线漂移,且保持信号低频部分特征信息,这为准确提取EcG信号的ST段特征信息奠定了基础.     

基于FPGA的随机脉冲快速捕捉系统的设计与实现

介绍一种基于FPGA的随机脉冲信号快速捕捉系统的系统结构、工作原理和实现方法;该系统完全摆脱了传统数据采集系统在采集深度和采样效率方面的制约因素,能够在整个时域范围内对外部信号进行连续的高速采样;系统工作过程中不需要外部控制器的干涉,完全由FPGA内部的硬件逻辑电路实现对随机脉冲信号的快速、精确捕捉,可靠性高;抗干扰能力强,同时具有很高的采样效率.     

基于事件相机的定位与建图算法: 综述

事件相机是一种新兴的视觉传感器, 通过检测单个像素点光照强度的变化来产生“事件”. 基于其工作原理, 事件相机拥有传统相机所不具备的低延迟、高动态范围等优良特性. 而如何应用事件相机来完成机器人的定位与建图则是目前视觉定位与建图领域新的研究方向. 本文从事件相机本身出发, 介绍事件相机的工作原理、现有的定位与建图算法以及事件相机相关的开源数据集. 其中, 本文着重对现有的、基于事件相机的定位与建图算法进行详细的介绍和优缺点分析.     

基于RGB-D深度相机的室内场景重建

目的 重建包含真实纹理的彩色场景3维模型是计算机视觉领域重要的研究课题之一,由于室内场景复杂、采样图像序列长且运动无规则,现有的3维重建算法存在重建尺度受限、局部细节重建效果差的等问题。方法 以RGBD-SLAM 算法为基础并提出了两方面的改进,一是将深度图中的平面信息加入帧间配准算法,提高了帧间配准算法的鲁棒性与精度;二是在截断符号距离函数(TSDF)体重建过程中,提出了一种指数权重函数,相比普通的权重函数能更好地减少相机深度畸变对重建的影响。结果 本文方法在相机姿态估计中带来了比RGBD-SLAM方法更好的结果,平均绝对路径误差减少1.3 cm,能取得到更好的重建效果。结论 本文方法有效地提高了相机姿态估计精度,可以应用于室内场景重建中。     

集成于无源UHF RFID标签的高分辨率CMOS温度传感器

提出一种高分辨率的集成于无源UHF RFID标签的CMOS温度传感器结构。采用时域数字量化的方式,用与绝对温度成正比PTAT(Proportional to Absolute Temperature)电流源和标签内部振荡器构成的PTAT振荡器产生脉冲宽度与温度相关的脉冲信号,作为计数器的时钟信号,在温度-50℃～50℃范围内,脉冲周期从1.841μs～0.426μs;用数字电路对阅读器发送的帧头命令进行处理得到一个宽度为200μs的宽脉冲信号,作为计数器的使能信号,该脉冲的宽度完全不受温度影响;通过采样计数,得到包含温度信息的数字信号。本设计采用0.18μm UMC CMOS工艺,电源电压为1.8 V,直流功耗为789 nW,温度传感器后仿的有效分辨率达到0.332 LSB/℃。     

基于稀疏度自适应的视觉图像三维清晰重构

针对当前方法重构视觉图像时,存在峰值信噪比低、重构时间长和图像分辨率低的问题,提出基于稀疏度自适应的视觉图像三维清晰重构方法,利用图像光度信息和几何信息划分图像,按照纹理类别和边缘类别对图像进行分类,在图像组类别和噪声水平的基础上训练自适应字典,根据字典获得图像非局部相似先验和稀疏表示,结合建立变分模型对图像进行去噪处理.对去噪后的图像进行奇异值分解字典训练,利用稀疏度自适应正则化正交匹配算法对分解后的图像重建,完成视觉图像的三维清晰重构.仿真结果表明,所提方法的峰值信噪比高、重构时间短、图像分辨率高.