复杂场景下融合深度信息的显著区域匹配

针对复杂场景显著区域匹配过程中目标定位困难、冗余信息过多导致误匹配率高、匹配时间长的问题,提出一种融合深度信息的显著区域匹配算法。利用融合深度信息的视觉注意机制模型提取场景图像中的显著区域,得到场景目标的粗定位结果。使用基于局部特征点的匹配策略对有效目标在场景中的区域进行精确定位,并通过FLANN双向匹配实现对有效目标的匹配定位。实验结果表明,在光照强度和场景视角变化等复杂场景下,该方法能够有效减少匹配点,提高场景的匹配精度和匹配效率。     

复杂环境中多信息融合的手势识别

针对复杂环境中的手势识别问题,提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割,然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证,提出的方法不仅不受环境光线的影响,而且可以识别区分度较小的手势,对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势,识别率高达100%。     

基于卷积神经网络的复杂场景目标检测算法

海上石油平台监控环境复杂，采油工作平台摄像头监控角度不同，海上环境复杂多变，雨雾等天气下，摄像头图片模糊不清.针对上述增加了目标检测的难度的问题，提出了一种基于卷积神经网络的复杂场景目标检测算法（简称ODCS）来检测图像中的特定对象.该方法结合不同分辨率的特征图预测来自然处理各种尺寸的对象，消除了特征重新采样阶段，并将所有计算封装在单个网络中，这样易于训练且可以直接集成到需要检测组件的系统中.实验结果表明，相对于传统的方法，该方法检测在准确率和召回率上明显提高，且检测效率能够满足实时应用的要求.     

复杂环境光源下虚实融合光照实时计算

在互动电子游戏、增强现实等对实时计算要求很高的交互式图形应用中,大量使用复杂环境光源对虚拟物体进行照明,使其和真实场景的光照一致,虚实融合.提出了用Cook Torrance光照模型进行虚实场景的光照计算;利用球面调和基函数的方法,实时地计算高动态范围环境映射光照系数,得到高动态范围环境映射的二次多项式表达形式,在着色器计算该式得到漫反射分量;通过环境映射技术对镜面反射进行模拟,全部光照计算在GPU中完成.实验结果表明,该方法在动态变化的复杂环境光源下,完成对虚拟物体光照实时计算,绘制速度每秒30帧以上,绘制结果具有较强的真实感.     

一种复杂场景下视频图像跟踪系统

针对现有复杂场景下视频图像跟踪系统和方法的不足,提出了一种复杂场景下视频图像跟踪系统,系统采用DSP+单片机模式,DSP负责进行视频图像处理,单片机负责控制,将外部指令转换为DSP指令,本文提出的系统在复杂场景下工作稳定,对于地面目标和飞行目标的跟踪效果良好,能够稳定地对目标进行较长时间的有效跟踪,取得较好效果。     

融合运动信息的三维视觉显著性算法研究

计算机视觉领域中的视觉显著性研究大多局限于二维图像层面,而忽略人的视觉注意力决策是在三维动态场景下发生的。为此,在融合多种特征的显著性计算框架基础上,提出一种三维视觉显著性算法。通过场景的颜色信息、运动信息和深度信息分别计算各个特征通道下的显著性结果,再经过动态的融合得到最终的显著性结果。同时针对三维场景下显著性数据集的稀缺问题,给出一个用于评价三维动态场景下显著性算法的数据集。与HC算法、RC算法、GMR算法的对比结果验证了该算法具有明显的优势,并且更符合人眼的视觉注意力机制。     

基于局部空间信息表征融合和信息深度残差提取的点云分类分割算法

点云作为一种能提供丰富空间信息与物体几何特征的数据表达形式,在自动驾驶和机器人等领域有着广泛的应用前景。点云数据具有无序性的特点,早期研究者利用深度学习工具完成点云的分类分割任务时,一般采用结构化表示方法(如将点云转换成体素,多视图),但这些方法会导致部分三维空间信息损失和预处理计算量大等问题。PointNet创新性地使用共享的MLP(多层感知机)处理每个点云的向量,有效地解决了点云的无序性问题。PointNet的扩展版本PointNet++利用Encode-Decode结构进行局部特征提取。整体采用Encode-Decode结构,提出了PointRFE神经网络模型。其中,设计了能够对局部进行更充分表征的局部信息表征融合(Local Information Representing and Fusing, LIRF)模块,该模块融合了局部采样点特征,局部点云仿射变换特征和局部空间几何结构信息特征;设计了信息深度残差提取(Information Deep Residual Extractor, IDRE)模块,该模块通过带有瓶颈残差结构的共享MLP(多层感知机)对LIRF模块输出的融合特...     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

复杂场景下深度表示的无人机目标检测算法

复杂地物背景下的无人机检测是“低小慢”目标检测任务中的难点问题。针对环境物体的扰动、无人机目标小而导致无人机目标检测算法准确率低,提出一种基于深度表示的复杂场景无人机目标检测方法。针对无人机目标位置检测不准确的问题,采用广义交并比度量目标真实位置与候选目标位置的偏差。针对正负样本不均衡和易分样本多而导致的学习效果差的问题,通过焦点损失的调制系数,降低负样本和易分样本的损失贡献。调整位置损失与类别损失的权重,提升位置准确性。为了验证性能,建立了一个无人机数据集。实验表明该算法在无人机数据上比YOLOv3提升了20.04%,在PASCAL VOC上比SSD和Retinanet的检测精度提升巨大。     

复杂场景下基于热图的车牌检测

随着车牌识别的应用场景不断扩展,处理的图像复杂性也随之提高,车牌检测面临车牌定位困难、检测速度慢和精度低等挑战。为提高光照不均衡、透视变形、雨雾天气、低分辨率等复杂场景下车牌检测的准确率,提出一种基于车牌角点热图的检测网络LPHD-Net。不同于传统模板匹配和目标检测中矩形先验框的方式,该网络通过车牌角点热图和车牌边界向量场的方法对车牌进行检测。在中国城市停车数据集中进行训练和测试,使用目标检测任务中常用的平均精度和召回率对模型的整体性能进行评价。实验结果表明,LPHD-Net模型对多种复杂场境下的车牌检测精确率和速度分别达到99.2%和78 frame/s,较LMAFLPD模型提升1.15个百分点和14 frame/s。同时,其对场景中的多车牌检测也具有较好的检测效果。     

基于Kinect的自动视频抠像算法

针对传统的视频抠像算法交互频繁、计算复杂度高等问题,利用从Kinect获得的深度图信息、彩色信息以及视频中运动信息,提出基于Kinect的自动视频抠像算法。采用改进的三帧间差分法检测视频中的感兴趣区域（ROI）,根据深度图信息改进自动种子增长区域算法,估算粗略的前景掩膜;通过数学形态学和逻辑操作去除粗前景区域的杂点,自动生成大致的三分图;采用改进的Shared Matting算法,得到精确的视频抠像。实验结果表明,该算法避免了人工交互,精度高且速度快。     

基于上下文学习的轻量级自动抠图算法

为解决以往算法无法平衡精度和模型大小的问题,提出一种基于上下文学习的轻量级自动抠图算法.采用上下文特征聚合模块和编解码结构相结合的方式进行网络构建,其中编解码器能够有效进行特征提取,通过恢复空间信息捕获更清晰的对象边界;上下文特征聚合模块能够编码多尺度的上下文信息,保留更多细节纹理特征,提高结果的精度.将深度可分离卷积...     

基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。     

基于局部抠像技术的融合图像精确跟踪算法

为了提高跟踪精度,提出一种基于局部抠像的融合图像全自动精确跟踪算法。首先采用帧间差分法获取运动目标的大致区域,并自动生成局部抠像框,由此采集目标、背景代表颜色集合;在此基础上自动生成抠像所需的草图,实现对目标的抠像;最后对抠像产生的前景映射图进行边缘检测即可获取精确的目标轮廓,并可根据跟踪结果对模型进行更新。对于实验的图像序列,与目标实际中心相比较,抠像跟踪误差均值为0.9像素,传统均值漂移跟踪误差均值为5.2像素。实验结果表明,该方法跟踪结果能完整、清晰地表示目标轮廓,很好地解决了跟踪中的漂移问题,提升了跟踪精度     

基于深度学习的人物肖像全自动抠图算法

针对抠图任务中人物抠图完整度低、边缘不够精细化等繁琐问题,提出了一种基于深度学习 的人物肖像全自动抠图算法。算法采用三分支网络进行学习,语义分割分支(SSB)学习  图的语义信息,细节 分支(DB)学习  图的细节信息,混合分支(COM)将 2 个分支的学习结果汇总。首先算法的编码网络采用轻量 级卷积神经网络(CNN) MobileNetV2,以加速算法的特征提取过程;其次在 SSB 中加入注意力机制对图像特 征通道重要性进行加权,在 DB 加入空洞空间金字塔池化(ASPP)模块,对图像的不同感受野所提取的特征进 行多尺度融合;然后解码网络的 2 个分支通过跳级连接融合不同阶段编码网络提取到的特征进行解码;最后 将 2 个分支学习的特征融合在一起得到图像的  图。实验结果表明,该算法在公开的数据集上抠图效果优于 所对比的基于深度学习的半自动和全自动抠图算法,在实时流视频抠图的效果优于 Modnet。     

融合多线索信息的数字图像抠图方法研究

针对自然图像抠图方法中存在对先验知识过度依赖和交互输入繁琐的问题,为了扩展自然图像抠图方法的使用范围,提升自然图像抠图方法的自动化程度,提出一种融合多线索信息的数字图像抠图方法。利用原始自然图像所对应的深度信息和视觉显著度信息进行感兴趣区域粗分割;利用形态学的膨胀与腐蚀算法对感兴趣区域的分割结果进行粗分割区域膨胀和粗分割区域腐蚀操作,从而得到抠图过程所需的三分元素图;利用彩色纹理图像和三分元素图,并结合使用相似性传递抠图方法获得精细的前景目标抠图结果。实验结果表明,该方法不仅能够得到较为理想的抠图效果,而且大大提升了自然图像抠图方法的自动化程度。     

Deep infrared pedestrian classification based on automatic image matting

Infrared pedestrian classification plays an important role in advanced driver assistance systems. However, it encounters great difficulties when the pedestrian images are superimposed on a cluttered background. Many researchers design very deep neural networks to classify pedestrian from cluttered background. However, a very deep neural network associated with a high computational cost. The suppression of cluttered background can boost the performance of deep neural networks without increasing their depth, while it has received little attention in the past. This study presents an automatic image matting approach for infrared pedestrians that suppresses the cluttered background and provides consistent input to deep learning. The domain expertise in pedestrian classification is applied to automatically and softly extract foreground objects from images with cluttered backgrounds. This study generates trimaps, which must be generated manually in conventional approaches, according to the estimated positions of pedestrian’s head and upper body without the need for any user interaction. We implement image matting by adopting the global matting approach and taking the generated trimap as an input. The representation of pedestrian is discovered by a deep learning approach from the resulting alpha mattes in which cluttered background is suppressed, and foreground is enhanced. The experimental results show that the proposed approach improves the infrared pedestrian classification performance of the state-of-the-art deep learning approaches at a negligible computational cost.     

基于信息融合的分布式时间同步算法

时间同步算法作为无线传感器网络的支撑技术,成为近些年研究的一个热点。其中集中式时间同步算法一直以来被广泛研究,它依靠参考节点通过广播、泛洪或者多跳的方式达到全网时间同步,取得了良好的同步精度,但同时鲁棒性和可扩展性差。提出了一种分布式时间同步算法,通过融合全网节点的时间信息来达到时间同步,这种算法消除了网络拓扑变化和节点密度变化对集中式算法的影响。实验结果表明,针对典型的网络拓扑,分布式时间同步算法实现了全网时间同步,并且对于网络变化和节点数目变化具有鲁棒性。     

基于模糊估计融合显著性检测的自动抠图算法

提出了一种新的自动抠图算法框架。首先,估计输入图像各个区域的模糊程度;其次,对图像进行显著性的计算;然后融合模糊度和显著性信息,大致分割出前景和背景,从而自动生成标注前景、背景、未知区域的三色图;最后,采用基于采样的抠图算法就可以准确地完成前景目标物体的自动抠图。该算法无须人工辅助或附加信息。在标准数据集和实拍图像上的实验结果证明了该算法的准确性和实用性,可广泛应用于图像和视频的编辑合成。     

基于时间对抗的网络报警深度信息融合方法

针对目前网络报警信息融合方法仅以单时间点为处理单元,无法适应网络攻击逐渐呈现出的隐蔽性强、持续时间长等特点,提出一种基于时间对抗的网络报警深度信息融合方法。面对多源异构报警数据流,首先采集并保存当前一个较长时间窗口内的报警信息,然后利用基于滑动窗口的流聚类算法对报警信息进行聚类,最后引入窗口衰减因子对聚类后的报警进行深度融合。真实数据的实验结果显示,与基本DS证据理论(Basic-DS)和指数加权DS证据理论(EWDS)融合方法方法相比,该方法有较高的检测率和较低的误检率,但因为采用了更长的时间窗口,精简率上略低;实际测试与性能分析也表明,该算法的时延较小,能更加有效地检测网络攻击,且能完成实时处理。