RGB-D图像中的分步超像素聚合和多模态融合目标检测

目的 受光照变化、拍摄角度、物体数量和物体尺寸等因素的影响,室内场景下多目标检测容易出现准确性和实时性较低的问题。为解决此类问题,本文基于物体的彩色和深度图像组,提出了分步超像素聚合和多模态信息融合的目标识别检测方法。方法 在似物性采样（object proposal）阶段,依据人眼对显著性物体观察时先注意其色彩后判断其空间深度信息的理论,首先对图像进行超像素分割,然后结合颜色信息和深度信息对分割后的像素块分步进行多阈值尺度自适应超像素聚合,得到具有颜色和空间一致性的似物性区域;在物体识别阶段,为实现物体不同信息的充分表达,利用多核学习方法融合所提取的物体颜色、纹理、轮廓、深度多模态特征,将特征融合核输入支持向量机多分类机制中进行学习和分类检测。结果 实验在基于华盛顿大学标准RGB-D数据集和真实场景集上将本文方法与当前主流算法进行对比,得出本文方法整体的检测精度较当前主流算法提升4.7%,运行时间有了大幅度提升。其中分步超像素聚合方法在物体定位性能上优于当前主流似物性采样方法,并且在相同召回率下采样窗口数量约为其他算法的1/4;多信息融合在目标识别阶段优于单个特征和简单的颜色、深度特征融合方法。结论 结果表明在基于多特征的目标检测过程中本文方法能够有效利用物体彩色和深度信息进行目标定位和识别,对提高物体检测精度和检测效率具有重要作用。     

低光照下的无人机异物检测与定位

为解决无人机在低光照环境下的巡检过程中, 不能对场景中的异物进行识别与定位, 导致后续智能算法无法获得环境语义信息的问题. 本文提出一种将ORB-SLAM2算法与适用于低光照目标检测改进的YOLOv5模型进行信息融合的方法. 首先, 通过RGB-D相机自采集低光照数据集进行深度学习训练及融合算法验证. 然后, 结合关键帧信息、目标检测模块的输出结果以及相机的固有信息完成目标像素坐标提取. 最后, 通过关键帧信息和像素坐标完成目标物体相对世界坐标系的位置解算. 本文实现了低光照环境下目标物体较为准确的识别和目标物体在世界坐标系中分米级的定位, 为低光照环境下无人机智能巡检提供了一种有效的解决方案.     

城镇森林交界域视频烟雾检测算法

针对城镇森林交界域火灾烟雾视频检测准确率低问题,提出一种融合多项图像特征和深度学习的视频烟雾检测算法。通过Vi Be方法提取前景变化区域,根据烟雾模糊特征和角点信息排除部分纹理细节较明显的区域。在此基础上,以颜色特征为判据进一步缩小检测范围,使用累积帧差法排除运动刚体的干扰,利用深度学习模型识别目标是否为烟雾。采用级联分类器的方式设计整体算法,并使用并行计算技术进行实现。实验结果和工程案例表明,该算法能够实现城镇森林交界域火灾早期烟雾的精准识别。     

基于深度学习的工业分拣机器人快速视觉识别与定位算法

针对工业分拣机器人识别复杂工件慢、精确度低以及定位不准等问题,提出一种基于深度学习的快速识别定位算法.通过工业高精度相机获取目标图像信息,经过图像灰度化、图像滤波、Otsu二值化处理,再经边界像素检测算法定位并分割目标图像.运用已训练的深度卷积神经网络(CNN)对目标进行识别,得到目标所在的位置坐标以及所属类别,实现工业机器人分拣.实验测试中以纹路复杂的象棋为例进行定位识别,结果表明定位算法误差小于0.8 mm,最快识别速度达0.049秒/个,在实验环境中识别精度能保持在98%以上,表明算法具备良好的准确性和稳定性.     

面向消防演练应用的姿势识别和目标定位

针对传统消防演练中指导员的主观判断存在局限性的问题,本文提出了一种应用于消防演练的姿势识别和目标定位的方法。首先,利用双目相机获取图像并提取人体骨架信息,选取合适的关节点特征构建人体姿势识别算法;其次,针对具有低纹理区域目标定位问题,提出一种融合点-线特征的立体匹配算法实现对目标的精确定位;进一步地,设计了基于距离自适应的线特征描述改进方法降低了立体匹配的计算复杂度。实验结果表明,该系统消防动作平均识别率为94%,对灭火器定位平均误差在1.3cm以内,可以为消防演练提供有效的辅助信息。     

基于改进YOLOv5m的弱小目标识别方法

针对空对地观测弱小目标识别与跟踪技术需求,提出了一种改进型YOLOv5m网络的多目标识别检测方法,以提升对所占像素个数小于10*10弱小目标的识别能力;分析了网络结构输入端Mosaic数据增强、Anchor计算、Focus模块及SPP模块对弱小目标的影响;在深度学习网络Prediction层引入距离交并比非极大值抑制（DIoU-NMS）代替传统非极大值抑制（NMS）,引入距离交并比损失函数（DIoU_Loss）代替广义化交并比损失函数（GIoU_Loss),加快边界框回归速率,提高定位精度,消除重叠检测,并在网络中引入4*4以上像素的目标识别层,提升对遮挡重叠弱小目标识别的准确率;实验结果表明,改进的深度学习网络算法与经典的YOLOv5m网络相比,目标识别的均值平均精度mAP指标达到89.7%,对比原网络提高了4.1%,实现了对图像像素个数小于10*10的弱小目标高精度识别,有效提升了深度学习网络对弱小目标的适应性和应用价值。     

基于二维Gabor滤波器的胶带撕裂检测

现有的基于机器视觉技术的胶带撕裂检测方法处理背景纹理复杂的图像时易将撕裂痕迹相对背景纹理不明显的缺陷区域误判为无缺陷,且检测结果噪点较多,不易识别。针对上述问题,提出了一种基于二维Gabor滤波器的胶带撕裂检测方法。该方法采用Gabor滤波对胶带图像进行处理,得到多幅Gabor滤波处理图;通过Gabor优化选择方法,以变异系数为基础构建新的代价函数,选取最优滤波通道,突出撕裂区域纹理特征;利用Sobel算子分别提取水平和垂直方向的撕裂区域纹理特征,得到2个方向的梯度图,对所得梯度图进行自乘归一化操作,增强纹理信息,采用像素加权平均法融合2幅图像;将得到的融合图像通过自适应阈值二值化的方法进行阈值分割,并利用形态学技术对待检测图像进行胶带撕裂检测。检测结果表明,改进后的Gabor优化选择方法比原Gabor优化选择方法和基于Sobel算子的纵向撕裂检测方法漏检率更低,可以检测出背景纹理复杂的胶带缺陷图像中的所有缺陷,并且检测结果清晰,撕裂区域轮廓特征保留较为完好。     

基于视觉识别定位的苹果采摘系统研究

针对果实振荡、重叠影响采摘机器人采摘精度和效率的问题,研制了一种在农田 环境下利用视觉检测技术和机器人定位抓取技术的苹果采摘系统。首先利用图像处理技术对初 始图像进行图像预处理;其次根据图像角点提取算法检测图像曲率,通过计算曲线段上的多个 像素平均角方向之间的差值对曲率进行平滑处理,获取图像曲率集中峰值点;最后对图像曲率 峰值点进行像素坐标标定,并将该点像素坐标转化为物理坐标作为机器人的定位抓取目标点, 机器人根据定位目标点的位置信息调整运动姿态对果实进行实时追踪和识别,实现果实的精确 定位、抓取和采摘。试验证明,该系统下的机器人抓取果实的成功率高达九成以上,基本能够 满足实际生产中的果实采摘需求,可为苹果等球状果实精准识别、定位抓取提供参考。     

适用于小样本问题的有监督边界检测方法

针对自然图像纹理复杂的特点,提出了一种多种信息融合的有监督边界检测方法。首先,该方法在小样本的情况下,通过快速生成纹理基元特征来引入纹理信息;然后,根据图像中每个像素邻域内的灰度分布和纹理基元分布的差异来计算灰度梯度和纹理梯度,并在此基础上构造出二维的梯度特征向量;接着,用有监督的分类器进行分类,自适应地检测出初始的边缘点;最后,设计一个边界定位函数确定最终的边缘点,实现边界检测。实验结果表明,该算法运算速度较快,所检测的边界效果好。     

基于逐像素概率预测的图像隐写定位研究

为进一步增强图像隐写分析的实用性,对内容自适应隐写术和非内容自适应LSB matching的隐写像素定位问题展开研究,提出一种端到端的图像隐写定位网络PSL_NET,在输入端输入一张图像,输出端定位出图像的隐写像素的位置。在预处理层中,利用空域富模型的高通滤波器提取残噪图像;在深度残差层中,通过深度残差学习增强隐写特征的表达能力;在像素预测层中,利用标记出隐写像素实际位置的掩码图像进行有监督地学习,增强网络对局部隐写像素的感知能力,无区别对待平滑或者纹理区域的像素,逐一预测图像每位像素是真实位或是隐写位,最终预测出图像的隐写像素位;从目标函数层面解决正负样本的不均衡问题,提升检测精度。在基于BOSSbase v1.01数据源展开的实验中,该网络对经自适应隐写术S-UNIWARD在负载为0.4?BPP嵌入的隐写图像的像素检测准确度为0.981?74,实验验证该网络同时适用于对经非内容自适应隐写术LSB matching嵌入后的隐写图像进行隐写像素定位。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

基于深度学习的遥感影像目标检测系统设计

遥感影像目标检测虽然是一种极为有效的地表变化监测手段,但极易受到自然环境复杂性的影响,从而造成遥感影像中存在混合的杂质像素,导致目标检测准确性较差;为解决此问题,设计基于深度学习的遥感影像目标检测系统;建立深度学习框架,分层次连接遥感影像输入模块、图像帧预处理模块与目标检测算法模块,再借助影像目标输出结构单元,对已获得的遥感影像像素数据进行整合,实现系统硬件设计;在此基础上,提取遥感影像的多特征条件,完善现有的目标检测系统设计方案;通过分割多级目标节点的方式,得到遥感影像特征的小波分解结果,利用计算求得的边缘纹理系数,实现融合深度学习理论的遥感影像目标变化能力检测;实验结果表明,所设计遥感影像目标检测系统的有效像素的占比量较大,杂质像素节点的占比量较小,且二者之间的对比情况极为明显,能够有效剔除杂质像素量,更能适应复杂多变的自然环境,获得更为准确的地表变化监测结果.     

一种新型的空域SAR图像相干斑抑制方法

为了有效抑制SAR强度图像中的相干斑噪声,提出一种改进Sigma滤波并结合Gamma MAP滤波的空域相干斑抑制方法。首先利用阈值判断法判断并保留强点目标,然后结合SAR图像分布模型和MMSE准则判断Sigma区间,其中可以根据图像局部统计特性自适应调整窗口尺寸,最后选择Sigma区间内像素进行Gamma MAP滤波。实验结果表明:对于星载和机载SAR图像,在相干斑噪声抑制和边缘纹理细节信息保持方面,该方法较其他常用的空域相干斑抑制方法具有明显的优越性,能极大地提高SAR图像判读和目标识别能力。     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知...     

基于局部梯度和局部熵的红外小目标融合检测

提出了一种基于局部梯度强度和局部熵的红外小目标融合检测的方法。小目标检测是整个自动目标识别系统的一个非常重要的子系统，可以说，检测子系统的性能在很大程度上决定了自动目标识别系统的性能。由于弱小目标的存在会引起其所在区域的内部细节和局部纹理与背景相比发生较大的变化，而局部梯度强度和局部熵非常好地刻画这种变化。文中通过提取序列图像中每帧的局部梯度强度和局部熵的特征图像，进行自适应的融合。为了充分利用目标的运动信息，连续多帧图像的融合特征图像进行能量累积，达到进一步提高检测概率，降低虚警率。实验结果证明了方法的有效性。     

结合分数阶微分和图像局部信息的CV模型

目的 由于CV模型仅利用了图像的全局信息,其对灰度不均匀图像的分割效果不理想,同时在分割弱边缘和弱纹理图像时,优化易陷入局部最优从而导致分割效率低下,且对初始位置的选择较为敏感。针对这些问题,提出一种结合分数阶微分和图像局部信息的CV模型。方法 首先将分数阶梯度信息融入图像的局部信息中,用来替代CV模型的整数阶全局信息,并建立自适应计算分数阶最佳阶次的数学模型,然后在模型中加入符号距离的约束项。结果 一方面,用局部信息代替全局信息,可以在一定程度上解决CV模型对灰度不均匀图像分割效果不理想的问题。另一方面,将Grünwald-Letnikov分数阶梯度信息融合到局部信息中,当分数阶阶次0 < α < 1时,增加了图像灰度不均匀、弱边缘、弱纹理区域的梯度信息,从而增加了演化驱动力避免演化曲线陷入局部最优,有效地解决了图像因灰度变化不大导致演化曲线驱动力小的问题,在一定程度上解决了模型对初始轮廓位置选择和对噪声敏感的问题。同时为了解决人工选取最佳分数阶阶次费时费力的问题,根据图像的梯度模值和信息熵建立计算分数阶最佳阶次的数学模型,将此自适应分数阶模型应用到算法之中,以自适应确定最佳分数阶阶次。此外,为了避免模型的重新初始化,在模型中加入符号距离的约束项,从而提高了曲线的演化效率。结论 理论分析和实验结果均表明,该算法能够较好地分割灰度不均匀、弱边缘和弱纹理区域的图像,并能根据图像特征自适应确定最佳分数阶阶次,提高了分割精度和分割效率,且对初始轮廓位置选择及噪声均具有一定的鲁棒性。     

基于深度学习的卫星遥感图像边缘检测方法

为解决卫星遥感图像边缘模糊噪点过多,导致图像清晰度过低的问题,提出基于深度学习的卫星遥感图像边缘检测方法。利用Softmax分类器结构,提取边缘图像节点处的数据信息参量,遵循深度学习算法,完成对图像信息的卷积与池化处理,实现基于深度学习的卫星遥感图像识别。根据尺度空间定义原则,确定边缘检测特征点所处位置,再联合梯度信息熵计算结果,完成对卫星遥感图像的拼接处理。分别计算一阶微分边缘算子、二阶微分边缘算子的具体数值,确定梯度幅值的取值区间,总结已知数值参量,建立完整的双阈值表达式,完成基于深度学习的卫星遥感图像边缘检测方法的设计。实验结果表明,应用所提方法后卫星遥感图像边缘节点处信噪比指标增大,可有效控制模糊噪点对图像清晰度的影响,在卫星遥感图像边缘精准检测方面具有较强的实用性。     

一种基于注意力机制的小目标检测深度学习模型

小目标检测用来识别图像中小像素尺寸目标.传统目标识别算法泛化性差,而通用的深度卷积神经网络算法容易丢失小目标的特征,对小目标识别的效果不甚理想.针对以上问题,提出了一种基于注意力机制的小目标检测深度学习模型AM-R-CNN,该模型在ResNet101主干网络和候选区域生成网络中使用了通道域注意力和空间域注意力,通道域注...     

改进的多光谱双边滤波图像融合

针对低照度或夜晚条件下彩色图像信噪比低、图像细节不够清晰;而近红外相机在该条件下能够得到纹理、边缘等细节信息丰富的图像,但缺乏色彩信息的问题,提出一种改进的双边滤波图像融合算法,实现在低照度条件下得到成像清晰的彩色图像。算法对双边滤波的核函数重新设计,用幂函数取代指数函数,取消人为设计参数;在像素相似度项选择上,采用不同源图像中像素间差异大的差值作为相似度项,避免了融合图像的纹理、边缘被平滑掉。应用本文算法及其他几种典型的融合算法对低照度下采集的彩色图像及近红外图像进行测试,实验结果表明,该算法同其他融合算法相比得到的彩色图像清晰度更高,颜色更贴近源图像,且运算速度要比Eric等人提出的双边滤波融合算法快6倍多。     

航空遥感图像深度学习目标检测技术研究进展

航空遥感图像目标检测旨在定位和识别遥感图像中感兴趣的目标,是航空遥感图像智能解译的关键技术,在情报侦察、灾害救援和资源勘探等领域具有重要应用价值。然而由于航空遥感图像具有尺寸大、目标小且密集、目标呈任意角度分布、目标易被遮挡、目标类别不均衡以及背景复杂等诸多特点,航空遥感图像目标检测目前仍然是极具挑战的任务。基于深度卷积神经网络的航空遥感图像目标检测方法因具有精度高、处理速度快等优点,受到了越来越多的关注。为推进基于深度学习的航空遥感图像目标检测技术的发展,本文对当前主流遥感图像目标检测方法,特别是2020—2022年提出的检测方法,进行了系统梳理和总结。首先梳理了基于深度学习目标检测方法的研究发展演化过程,然后对基于卷积神经网络和基于Transformer目标检测方法中的代表性算法进行分析总结,再后针对不同遥感图象应用场景的改进方法思路进行归纳,分析了典型算法的思路和特点,介绍了现有的公开航空遥感图像目标检测数据集,给出了典型算法的实验比较结果,最后给出现阶段航空遥感图像目标检测研究中所存在的问题,并对未来研究及发展趋势进行了展望。