基于卷积神经网络的光学遥感图像检索

提出了一种基于深度卷积神经网络的光学遥感图像检索方法。首先,通过多层卷积神经网络对遥感图像进行卷积和池化处理,得到每幅图像的特征图,抽取高层特征构建图像特征库;在此过程中使用特征图完成网络模型参数和Softmax分类器的训练。然后,借助Softmax分类器在图像检索阶段对查询图像引入类别反馈,提高图像检索准确度,并根据查询图像特征和图像特征库中特征向量之间的距离,按相似程度由大到小进行排序,得到最终的检索结果。在高分辨率遥感图像数据库中进行了实验,结果显示:针对水体、植被、建筑、农田、裸地等5类图像的平均检索准确度约98.4%,增加飞机、舰船后7类遥感图像的平均检索准确度约95.9%;类别信息的引入有效提高了遥感图像的检索速度和准确度,检索时间减少了约17.6%;与颜色、纹理、词袋模型的对比实验表明,利用深度卷积神经网络抽取的高层信息能够更好地描述图像内容。实验表明该方法能够有效提高光学遥感图像的检索速度和准确度。     

基于多路径网络的权值调整图像语义分割算法

为提高图像语义分割准确程度,针对场景解析中类别边缘分辨清晰度,提出了一种基于多路径网络的权值调整图像语义分割算法。通过引入多路径网络和权值调整并对图像场景中的物体类别具有的特征进行分析,提高图像的语义分割的准确程度;通过采用ADE20K数据集进行训练,提高边缘信息的分割效果,使模型具有更好的泛化能力。此算法加快了网络收敛速度。     

基于多任务学习的视频异常检测方法

针对异常事件位于图像前景的某个局部区域,且背景区域对于异常检测存在干扰的问题,提出了一种多任务异常检测双流模型,模型架构包含未来帧预测网络和光流重构网络。首先利用前景检测算法获取自然图像和光流图像的目标区域,再将选取的区域送入到编码-解码网络完成未来帧预测和运动重构,对运动特征和表观特征进行提取,最后,使用深度概率网络给出的概率值作为判断异常的决策,并与重构损失及预测损失相结合来判断视频的异常性。本文针对大型场景的3个视频监控数据集(UCSD行人数据集、Avenue、Shanghai Tech)对本文提出的模型进行了异常性评估,所提出的方法在3个数据集上的AUC值分别为97.4%,86.4%,73.4%。与现有工作相比,本文的模型架构简洁且易于训练,异常检测结果更加准确。     

基于YOLOv5神经网络检测模型的动态局部地图构建

在移动机器人自主移动过程中，人的活动会对路径规划结果产生重要的影响。传统SLAM对动态物体的识别和跟踪能力相对有限，动态物体上的特征点容易丢失，且在动态物体占据图像较大范围时，容易造成目标函数的优化方向错误。考虑单个单目相机对行人的位置信息进行检测的场景，通过单目相机获取图像信息，结合YOLOv5目标识别网络来检测图像中人物所占据的像素高度，再通过针孔相机模型还原出图像人物在相机坐标系下的三维坐标。基于YOLOv5网络模型检测出道路区域，运用Canny边缘检测算法计算出道路的边缘轨迹，找到两条轨迹在相机图像上的交汇点。最后根据相机的平面图像结合人物的三维坐标，以及道路轨迹的交汇点和道路宽度信息对图像进行重投影。通过公开数据集测试得到包含行人实时运动情况和道路边界在内的平面地图，可完成150 m深度内的行人位置定位，为快速计算图像的行人的位置深度提供了一种可行方案。     

基于YOLO模型的柔索并联机器人移动构件快速定位方法

针对柔索并联机器人移动构件实时定位问题,提出一种基于YOLO目标检测模型的柔索并联机器人移动构件快速定位方法。首先根据YOLO目标检测模型设计深度卷积神经网络结构,根据PASCAL VOC数据格式构建自己的数据集,并在该数据集上训练及测试模型,然后将工业摄像机采集得到的图像数据输入模型中进行标靶检测,记录标靶的类别和位置。分析标靶的颜色特征,并将标靶图像进行二值化,进一步计算出柔索并联机器人的精确位置。试验表明该方法能对图像中的目标进行准确分类和定位,定位误差在1°以内,图片处理帧率可达33帧,满足实时性要求,同时算法具有良好的准确性和有效性。     

基于无监督深度估计的带雾图像生成方法（英文）

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳。为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法。首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像。然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像。最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测。实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6%,在Faster R-CNN网络下mAP值提升了5.0%,从而有效提升了雾霾环境下卷积神经网络的目标识别能力。     

基于类物体采样方法的多类别物体识别

提出一种基于类物体区域检测的BoW(Bag of Words)框架物体识别方法,采用改进的BING(Binarized Normed Gradients)算子检测分割出图像中的可能物体区域后,利用RootSIFT算子提取特征,送入后续BoW框架进行物体类别识别.将该方法应用于PASCAL VOC2007图像集,试验结果表明:相较于整幅图像的特征计算,将特征提取与匹配限定在固定的可能物体区域的做法可以提高计算速度和识别效率.此外,该方法在VOC2007图像集上达到了平均33.45%的识别准确率,优于相关文献算法.     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

结合多尺度上下文信息的唐卡小样本目标检测

通过对图像中感兴趣的对象进行分类与定位,能够帮助人们理解唐卡图像丰富的语义信息,促进文化传承。针对唐卡图像样本较少,背景复杂,检测目标存在遮挡,检测精度不高等问题,本文提出了一种结合多尺度上下文信息和双注意力引导的唐卡小样本目标检测算法。首先,构建了一个新的多尺度特征金字塔,学习唐卡图像的多层级特征和上下文信息,提高模型对多尺度目标的判别能力。其次,在特征金字塔末端加入双注意力引导模块,提升模型对关键特征的表征能力,同时降低噪声的影响。最后利用Rank&Sort Loss替换交叉熵分类损失,简化模型训练的复杂度并提升检测精度。实验结果表明,所提出的方法在唐卡数据集和COCO数据集上的10-shot实验中,平均检测精度分别达到了19.7%和11.2%。     

基于Faster R-CNN的工件螺纹孔目标检测

为了提高螺纹孔目标检测的准确率,结合双相机视觉系统与Hough变换圆检测算法,提出了一种基于Faster R-CNN的螺纹孔目标检测方法。首先建立了由双相机组成的图像获取系统,通过安置在高处的工业相机采集工件整体图像,利用Hough变换圆检测算法初步筛选出工件上的疑似螺纹孔的位置,并驱动第二个工业相机逐个在近处采集经Hough变换检测出的疑似螺纹孔的局部精确图像。然后,在自建的螺纹孔数据集上训练以ResNet50为基础网络的Faster R-CNN目标检测模型。最后,将螺纹孔处局部图像输入训练好的Faster R-CNN目标检测模型进一步识别并进行定位。实验结果表明,该方法能有效地避免螺纹孔小目标检测,相对于单独使用Hough变换方法或者Faster R-CNN目标检测方法检测螺纹孔,具有更高的识别和定位精度。     

窗口融合特征对比度的光学遥感目标检测

提出了一种基于窗口融合特征对比度的光学遥感目标检测方法。首先,在训练图像上生成大量不同尺寸的滑动窗,计算了各窗口的多尺度显著度、仿射协变区域对比度、边缘密度对比度以及超像素完整度4项特征分值,在确认集上基于窗口重合度和后验概率最大化学习各个特征的阈值参数。然后,采用Naive Bayes框架进行特征融合,并训练分类器。在目标检测阶段首先计算测试图像中各窗口的多尺度显著度分值,初步筛选出显著度高且符合待检测目标尺寸比例的部分窗口。然后计算初选窗口集的其余3项特征,再根据训练好的分类模型计算各个窗口的后验概率。最后,挑选出局部高分值的候选区域并进行判断合并,得到最终目标检测结果。针对飞机、油罐、舰船等3类遥感目标的检测结果显示:4类特征在单独描述3类目标时表现出的性能各有差异,最高检测准确率为74.21%~80.32%,而融合方案能够综合考虑目标自身特点,准确率提高至80.78~87.30%。与固定数量滑动窗方法相比,准确率从约80%提高到约85%,虚警率从20%左右降低为3%左右。最终高分值区域数降低约90%,测试时间减少约25%。得到的结果显示该方法大大提高了目标检测精度和算法效率。     

视觉显著目标的自适应分割

基于视觉注意模型和最大熵分割算法,提出了一种自适应显著目标分割方法来分离目标和复杂背景,以便快速准确地从场景图像中检测出显著目标。首先,通过颜色、强度、方向和局部能量4个特征通道获取图像的显著图;通过引入局部能量通道来更好地描述了显著目标的轮廓。然后,根据显著图中像素灰度的强弱构建不同的目标检测蒙板,将每个蒙板作用于原图像作为预分割的结果,再计算每个预分割图像的熵。最后,利用最大熵准则估计图像目标熵,根据预分割图像的熵和目标熵判断选取最优显著目标分割图像。实验结果表明：本文算法检测的显著目标更为完整,分割性能F-measure达到0.56,查全率和查准率分别为0.69和0.41,相对于传统方法更为有效准确,实现了在复杂背景下对显著目标的有效准确检测。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于Faster R-CNN的无人机航拍图像小目标检测

为了解决复杂图像背景下无人机航拍图像小目标检测问题,提出了一种基于Faster R-CNN的多尺度小目标检测方法。以高压塔上的鸟巢为检测对象,首先通过改进卷积神经网络ResNet101对目标进行特征提取,然后采用多尺度滑动窗口方式在不同分辨率卷积特征图上获取目标初始建议区域,最后在选取的分辨率较高的卷积特征图上增加一个反卷积操作进一步对特征图的分辨率进行提升,并作为建议窗口的特征映射层传入目标检测子网络中。通过对无人机实际航拍图像中鸟巢的检测结果表明,所提出的算法可以实现对航拍图像中小目标的精确检测。     

Water meter pointer reading recognition method based on target-key point detection

With the rapid development of video image technology and fifth-generation mobile network technology, the automatic verification of mechanical water meters has become an increasingly important topic in smart cities. Although much research has been done on this subject, the efficiency and accuracy of existing water meter pointer reading technology can still be improved. This paper proposes a new water meter pointer reading recognition method based on target-key point detection. Our method consists of a target detection module and a key point detection module. The target detection module uses a modified YOLOv4-Tiny network to detect and classify the areas where the dials and pointers are located in water meter images with distinct characteristics. The key point detection module is used to detect the key point of the pointer image. In this module, the structure of the RFB-Net network is improved to introduce multiple layers of low-level feature information, therefore, it can make full use of the information between multi-scale feature layers for key point detection. In addition to, aiming at the problem of dial rotation, a method of establishing a right-angle coordinate system based on key point is proposed to realize pointer reading. The whole method proposed in this paper is compared to the Hough transform feature matching algorithm and traditional machine learning algorithms through experiments which test the detection and recognition of the water meter dial, pointer and key points. The experiment results show that the missed detection rate of the model in this paper is 1.88% and 1.07% for the dial region and the pointer region, respectively. And the accuracy rate reaches 98.68%, the average processing time per image is 0.37 s. This implies that the water meter inspection task is completed quickly and accurately with strong robustness. Thanks to the lightweight algorithm of our approach, the model can also be fully automated and easily deployed on mobile devices.     

基于局部和全局特征融合的图像检索

提出了一种综合全局统计特征和局部二值位图特征的图像检索算法。首先,分别计算图像R、G、B三通道的均值和方差,获取图像全局统计特征。然后根据块截断编码思想,将图像划分成4×4的图像子块,同样计算其均值,若块均值大于图像全局均值,则该块设为“1”,否则,设为“0”,由此得到图像的二值位图特征。最后,对归一化的特征进行有机融合获取最佳相似匹配函数进行检索。实验结果证明：综合两种特征的效果比使用单一特征的效果好;和同类算法相比,其算法鲁棒性好,检索准确率更高。     

基于改进多尺度分形特征的红外图像弱小目标检测

为提高红外图像弱小目标检测的准确率和实时性,在分析用于红外图像增强的分形参数K相关的多尺度分形特征(MFFK)基础上,提出了一种基于改进多尺度分形特征(IMFFK)的红外图像弱小目标检测算法。首先,将基于地毯覆盖法的分形维数计算公式代入MFFK计算公式,提出了一种改进多尺度分形特征(IMFFK)用于图像增强。其次,对IMFFK特征计算进行简化,采用自适应阈值分割得到感兴趣目标区域,提出了一种具有较高计算效率的红外图像弱小目标检测算法。最后,通过仿真图像分析了主要参数对图像增强和算法耗时的影响,采用红外真实图像进行了算法检测性能测试,并与当前基于局部对比度测度的目标检测算法进行了对比。实验结果表明,提出的算法虽然在一些检测场景具有较多虚警,但能同时适用于弱小目标和较大目标检测,且无论目标为亮目标或暗目标。提出算法对于低分辨率红外图像(320×240)检测接近30 frame/s。提出算法具有较强的适用性,能够检测出红外图像中具有较高局部对比度的目标。