面向事件相机的时间信息融合网络框架

事件相机是一种启发式传感器,它通过感知光线强度变化输出事件,响应异步和稀疏事件形式的像素级亮度变化,缓解了传统相机在光线条件变化复杂和物体高速运动场景下成像不清晰的问题.最近,基于学习的模式识别方法将事件相机的输出转化为伪图像的表示形式,在光流估计、目标识别等视觉任务中取得了巨大的进步.但是,这类方法丢弃了事件流之间的...     

隐特征监督的孪生网络弱光光流估计

目的 弱光照条件下成像存在信噪比低、运动模糊等问题,这对光流估计带来了极大挑战。与现有“先增强—再估计”的光流估计方法不同,为了避免在弱光图像增强阶段损失场景的运动信息,提出一种隐特征监督的弱光光流估计孪生网络学习方法。方法 首先,该方法采用权重共享的孪生网络提取可映射的弱光光流和正常光照光流特征;进而,计算弱光邻帧图像的K近邻相关性卷表,以解决计算4D全对相关性卷表的高时空复杂度问题;在全局运动聚合模块中引入针对二维运动特征的注意力机制,以降低弱光条件下强噪声、运动模糊及低对比度对光流估计的不利影响。最后,提出隐特征监督的光流估计模块,采用正常光照光流特征监督弱光照光流特征的学习,实现高精度的光流估计。结果 与3种最新光流估计方法的对比实验表明,在正常光照条件下,本文方法取得了与现有最佳光流估计方法相近的性能。在FCDN(flying chairs dark noise)数据集上,本文方法光流估计性能最优,相较于次优方法端点误差精度提升了0.16;在多亮度光流估计（various brightness optical flow,VBOF）数据集上,本文方法端点误差精度提升了0.08。...     

基于事件的视觉传感器及其应用综述

基于事件的相机是一种生物启发的新型视觉传感器,可实时高效地捕捉场景的变化.与基于帧的传统相机不同,事件相机仅报告触发的像素级亮度变化(称为事件),并以微秒级分辨率输出异步事件流.该类视觉传感器已经逐渐成为图像处理、计算机视觉、机器人感知与状态估计、神经形态学等领域的研究热点.首先,本文阐述了事件相机的基本原理、发展历程、优势与挑战;然后,介绍了3种典型事件相机(包括DVS(dynamic vision sensor)、ATIS(asynchronous time based image sensor)和DAVIS(dynamic and active pixel vision sensor))以及多种新型事件相机;接下来,重点回顾了事件相机在特征提取、深度估计、光流估计、强度图像估计与三维重建、目标识别与跟踪、自主定位与位姿估计、视觉里程计与SLAM、多传感器融合等方面的应用研究;最后,归纳了事件相机的研究进展,并探讨了未来的发展趋势.     

基于拉普拉斯分布的双目视觉里程计EI北大核心CSCD

针对相机在未知环境中定位及其周围环境地图重建的问题,本文基于拉普拉斯分布提出了一种快速精确的双目视觉里程计算法.在使用光流构建数据关联时结合使用三个策略:平滑的运动约束、环形匹配以及视差一致性检测来剔除错误的关联以提高数据关联的精确性,并在此基础上筛选稳定的特征点.本文单独估计相机的旋转与平移.假设相机旋转、三维空间点以及相机平移的误差都服从拉普拉斯分布,在此假设下优化得到最优的相机位姿估计与三维空间点位置.在KITTI和New Tsukuba数据集上的实验结果表明,本文算法能快速精确地估计相机位姿与三维空间点的位置.     

基于连续消除的正方形-菱形运动估计算法

在基于搜索起点预测和正方形-菱形算法(SDS)的基础上,结合连续消除算法(SEA),提出了一种新的运动估计算法:基于连续消除的正方形.菱形运动估计算法(SEA-SDS).实验结果表明,该算法以比较小的代价取得了与全搜索算法(FS)相当的效果;在搜索次数和精度方面均优于菱形(DS)和正方形-菱形(SDS)快速运动估计算法.     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

LTE系统中速度估计新算法

在移动通信速度优化问题的研究中,终端速度的估计对长期演进(LTE)系统性能有重要的影响.针对传统信道自相关函数法在高速场景下应用受限的问题,提出了一种新的联合速度估计算法.上述算法在中速和低速场景下采用信道自相关函数法进行估计,在高速场景下采用频偏估计法进行估计,利用归一化接收功率标准差进行场景判断并在两种方法中切换,以提高速度估计精度.仿真结果表明,联合估计算法在低速、中速以及高速场景下均具有较高的估计精度,具有较好的应用价值.     

融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

基于运动与区域信息的移动机器人目标检测

介绍了一种在运动相机条件下的基于目标运动与区域灰度信息的运动目标检测算法。采用快速光流估计算法与基于颜色粗糙度的区域分割方法进行目标运动与区域信息的运算，利用待跟踪目标时间与空间信息进行目标定位，降低了目标运动与区域信息估算的复杂度。仿真结果表明，该算法在大多数复杂场景中能够获得良好的目标识别效果。     

两种基于自适应相位补偿的FDOA估计算法

将约束的自适应相位差估计补偿算法引入到频偏估计当中,实现信号间相位对齐。然后,利用自适应相位补偿因子,根据估计方式的不同,给出了两种频偏估计算法:基于时间平均的算法与基于线性拟合的算法。基于时间平均的频偏估计算法是一种渐进无偏的估计算法,具有可控的误差和非常小的均方差,以及计算简单的特点。仿真结果表明当信号信噪比大于-3dB时,基于线性拟合的频偏估计算法性能与CRLB非常接近。     

基于局部平面拟合的神经形态视觉光流估计算法

在新一代人工智能领域中,神经形态视觉是类脑计算的一个重要研究方向。事件相机具有低功耗、低信息冗余以及高动态范围等优点,在智能飞行器、敏捷机器人的自主控制场景中具有重要应用价值。本文根据事件序列的时空特性,研究基于局部平面拟合的光流估计原理,提出一种运用特征值法进行局部平面拟合来估计光流的算法,并采用随机抽样一致方法进一步提高算法的稳健性。实验表明,本文方法能够有效进行神经形态视觉的光流估计,并且对噪声具有一定的稳健性。     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

适用于密集人群的异常事件实时检测方法

在密集人群场景下,针对现有异常检测算法在实时性和适用性方面的不足,提出了一种基于光流特征和卡尔曼滤波的实时检测方法。该方法首先提取图像的全局光流强度作为运动特征;然后对全局光流值进行卡尔曼滤波,并对残差进行分析;假设残差在正常状态下服从高斯分布,利用假设检验加以验证;运用最大似然(ML)估计得到残差的概率分布;在一定置信度下,确定正常状态的可信区间和异常状态的判定公式,并以此判断异常事件是否发生。实验结果表明,该方法对尺寸为320×240的视频,平均检测时间低至0.023 s/frame,且准确率可达95%以上。因而,该方法在保证较高检测率的同时,还具有良好的实时性。     

基于纹理约束和参数化运动模型的光流估计

提出了一种基于局部小平面运动的光流估计新方法。目的是获得精确致密的光流估计结果。与以往采用亮度一致性区域作为假设平面的算法不同，本算法利用序列图像的纹理信息，在纹理分割区域的基础上，进行运动估计。该算法首先通过微分法计算粗光流，可以得到参数化光流模型的初始估计，然后通过区域迭代算法，调整初始估计，从而得到精细的平面分割及其对应的参数化光流模型。基于纹理信息的部分拟合算法被用于算法的每一步当中，保证了纹理边缘位置的光流估计值的准确性。实验采用了标准图像序列，结果表明，可以得到更为精细的光流估计结果，特别是对于那些有着丰富纹理信息的室外环境的图像序列，而且在运动边界处的结果改善尤为明显。     

双线性状态空间系统的状态观测器设计

针对受过程噪声和量测噪声干扰的双线性状态空间系统,研究其状态估计算法.借助双线性系统的特殊结构,将其等价表示为线性时变模型,推导基于Kalman滤波的状态估计算法.针对线性时变模型中存在的未知变量,基于辅助模型辨识思想,通过构造一个辅助模型,将未知变量用该模型的输出代替,提出基于辅助模型的双线性系统状态估计算法.构造双线性状态观测器,引入delta算子极小化状态估计误差协方差矩阵,从而得到最优状态估计增益,并提出基于delta算子的双线性系统状态估计算法.所提出的算法能够避免线性化过程带来的估计精度差的问题,提高双线性系统的状态估计精度.通过仿真实验验证了所提出算法的有效性,并对比分析了不同噪声情况下所提出算法的估计效果.     

H.264中1/4像素运动估计快速算法的比较

高精度的匹配和补偿可以减少预测误差,提高视频图像的压缩效果。论文提出了一种纯比较式的快速半像素运动估计算法,把平均搜索点数降低到2,而重建图像的质量接近于现有的一些快速半像素运动估计算法。实验证明,新算法通过进行多阶亚像素运动估计,可以达到高精度的运动矢量,对H.264的1/4像素精度运动矢量估计有明显的效果。     

基于宏块的Hs光流算法运动估计优化研究

光流场属于一种运动参数,它不仅能够为人们提供目标物体的运动信息,还能使人们对运动物体进行有效的识别与定位,从而使人们更加有效的对目标物体进行运动估计,这也使光流场在计算机视觉领域中有着非常重要的应用.Hs光流算法对于提高光流场质量有着决定性的影响,但其在对目标物体运动信息进行识别、跟踪与估计时,常常存在计算量过大、易受噪声影响等问题,这也使Hs光流算法难以满足人们的数据处理需求.为此,有必要对Hs光流算法进行相应的改进,以此提高光流场质量.本文通过对Hs光流算法在运动估计优化中存在的问题及其相关影响因素进行分析,提出了Hs光流算法的改进思路,在此基础上结合宏块运动估计算法对改进后的Hs光流算法运动估计优化进行深入的研究.     

基于迭代方法的流数估计算法

流数估计是网络管控的重要参考尺度,对网络流量全局特征信息的深入挖掘具有重要意义.针对目前已有的多种估计算法以过度消耗测量设备存储资源和计算资源提高估计精度的缺陷,采用报文抽样技术,提出一种新的迭代收敛型估计算法.实验测试表明,该算法在估计精度和内存消耗上优于EM算法,在迭代更新上优于Iteration算法.     

基于光流法运动配准的覆冰图像超分辨率重建

针对电力监控系统中输电线路易晃动造成覆冰图像模糊,提出基于光流法运动配准的覆冰图像超分辨率重建算法。该算法首先利用基于光流法的图像配准算法估计图像间的亚像素级运动矢量,得到前向和后向配准图像;然后,利用迭代反投影(IBP)算法对估计出的图像分别进行超分辨率重建;最后,根据配准误差加权得到最终的输出图像。实验结果表明,相对于传统算法,该算法的重建结果无论是在峰值信噪比和标准差还是基于对比敏感度的无参考图像清晰度上,均有明显提高,具有较好的客观指标和视觉效果。     

基于SR-UKF的OFDM频偏迭代估计算法研究

对高速运动环境下多普勒效应引起的大载波频偏引起的载波间干扰进行数学分析,建立带频偏的非时变和时变频偏OFDM动态状态空间模型,提出了基于平方根无迹卡尔曼滤波（square-root unscented Kalman filter , SR-UKF）的频偏估计算法。将非线性状态估计思想引入OFDM频偏估计中,实现了对频偏的有效跟踪和估计。仿真结果表明,在大频偏、高阶调制下,SR-UKF频偏估计算法较自消除算法、最大似然估计算法具有更好的误码率性能;在收敛精度、稳定度和对信噪比敏感度方面,性能较扩展卡尔曼滤波算法均有所提升。