基于跨模态相似度学习的端到端不规则文本检索方法

场景文本检索是指从场景中搜索并定位与给定文本相同或相似的文本实例。通过计算机视觉方法实现文本检索可以辅助用户在指定场景中自动找到感兴趣文本，因此被广泛应用于图像安全性审核、图书检索等领域。然而，在某些场景中文本时常呈现弯曲、压缩和拉伸等不规则形态，文本区域提取与匹配面临极大挑战。为了解决这一问题，建立了一个端到端网络模型，将不规则文本提取和跨模态相似度学习统一到一个框架内，利用学习到的相似度对检测的文本实例排序，从而实现对不规则文本的检索。在SVT,STR和CTR三个数据集的实验结果表明，与现有文本检索方法相比，提出的框架在推理速度保持3.7帧/秒的情况下平均准确率比现有最好方法提升1%～3%。为了进一步验证所提方法对于不规则文本检索的有效性，建立了一个新的不规则文本数据集AIDATA,并与STR-TDSL方法进行对比实验，结果表明，在推理速度降低不到20%的情况下可以将平均准确率提升25%以上。     

基于端到端网络机制跨域稀疏SAR与光学图像精准匹配方法

由于合成孔径雷达(SAR)和光学图像两种模态之间存在显著的几何和辐射差异,传统方法难以实现SAR与光学图像的精准匹配。文中提出了一种基于端到端网络机制的跨域稀疏SAR与光学图像精准匹配方法。该方法首先预测每幅图像中最适合匹配的区域,然后通过多尺度特征空间互相关运算生成匹配热图,最后将匹配热图分为正匹配和负匹配来消除异常值,实现SAR与光学图像匹配的精确匹配。实验结果表明,所提方法性能指标优于已往SAR与光学图像匹配方法,可用于大规模场景的精确匹配,利于提升光学卫星图像的地理定位精度。     

基于SIFT算法改进的图像匹配算法研究与设计

图像匹配是指将2个不同场景的目标或者背景进行匹配的一个过程,是实现复杂的智能图像处理的基础,图像匹配算法的准确性及效率直接关系到整个图像处理系统的性能.特征点提取作为图像匹配的一个关键,是实现图像精准快速匹配的前提,本文以目前应用最为广泛的,鲁棒性最好的SIFT特征点提取算法为基础,对其进行了改进,结合Harris算法有效地降低了图像匹配过程中的特征点提取时间,通过实验验证,该方法可以有效地提升图像匹配的准确性和效率.     

基于改进PointPillars的激光点云三维目标检测

针对复杂场景下三维目标检测算法对小目标物体识别精度不高、容易出现错检漏检问题,提出一种基于改进PointPillars的三维目标检测算法,利用锥形点云获取物体的边界信息,抑制环境噪声造成的干扰;设计一种空间自注意力模块,捕获点云支柱间的全局上下文信息和空间信息,扩大点云特征感知范围,提升小目标物体识别在复杂场景下的鲁棒性;改进主干网络的下采样模块,采用ConvNeXt v2模块增强网络的特征提取能力。在KITTI数据集上的测试结果表明,相比PointPillars原始网络,改进算法在汽车、行人、骑行者类别上的平均检测精度分别提升了3.73%、5.89%、5.7%,证明了所提出方法的有效性。     

基于计算机视觉的钢铁行业车牌识别算法

针对重新训练模型数据收集成本较高、模型鲁棒性较低等难点,在PP-OCRv3模型的基础上,对后处理方法进行优化改进,并提出了适用于钢铁行业场景的车牌模型训练方法。在中国城市停车数据集及钢厂场景数据集中进行实验,实验结果证明提出的车牌识别算法部署在边缘设备上时能够保证推理时间小于200 ms的同时取得99.6%的识别精度,足以满足钢铁行业场景中车牌识别的精度和性能需求。     

基于单目视频和无监督学习的轻轨定位方法

基于视觉信息的场景识别定位模块被广泛应用于车辆安全系统。针对目前场景逐帧匹配算法训练数据量大、匹配处理计算复杂度高以及跟踪精度低导致难以实际应用的问题,该文提出一种新的基于局部关键区域与关键帧的场景识别方法,在保证匹配精度的同时满足系统实时性的要求。首先,该方法仅使用单目摄像机捕获的单一序列作为参考序列,采用无监督方式提取序列的显著性区域作为关键区域,并计算关键区域中低相关性的二值化特征,提高了场景匹配的精确度并大幅减少了实时场景匹配过程中特征生成与匹配的计算复杂度。其次,该方法以显著性分数为依据提取参考序列中的关键帧,缩小了跟踪模块的检索范围并提高了检索效率。该文使用香港轻轨系统数据集以及公开测试数据集进行方法测试。实验结果表明,该文方法在实现快速匹配的同时,其匹配正确率较基于全局特征匹配方法SeqSLAM提高了9.8%。     

基于高斯滤波和AKAZE-LATCH的图像匹配算法

针对图像匹配中AKAZE(Accelerated-KAZE)算法匹配精度较低以及计算复杂等问题,提出了一种基于高斯滤波和AKAZE-LATCH(AKAZE-Learned Arrangements of Three Patch Codes)算法相融合的图像匹配算法。首先,对输入图像进行高斯滤波预处理,去除高斯噪声等连续性噪声,并且保留图像的边缘信息。然后通过LATCH算法为AKAZE算法构建高效的二进制描述子,再通过KNN(K Nearest Neighbors)算法得到对应的匹配对。最后结合USAC(Universal RANSAC)去除误匹配对方法进行再次筛选,得到最终的匹配结果。经实验对比,所设计的算法相较于AKAZE算法匹配精度更高,且具有良好的鲁棒性和可靠性,可用于多数复杂场景下的图像匹配。     

改进的ASIFT算法在图像配准中的应用

SIFT算法具有良好的图像匹配性能,是图像匹配的经典算法之一。针对传统SIFT算法在仿射变换情况下匹配效果不佳、鲁棒性弱的不足,给出一种改进的图像配准方法。首先对图像进行中值滤波处理,去除噪声。然后对图像做仿射变换,提取图像的SIFT特征点进行匹配。最后通过随机抽样一致性方法消除匹配后初始匹配点中的错误匹配点,提高匹配精度。实验结果表明,与SIFT算法相比,提出的方法具有更好的仿射不变性,在平移、旋转、仿射变换情况下均能得到较高的匹配精度,并且有较好的鲁棒性。     

基于改进AKAZE算法的快速图像配准方法

针对无人机影像匹配容易出现匹配速率低、鲁棒性差的问题，提出一种改进AKAZE(accelerate-KAZE)算法的快速图像匹配方法。首先，在特征提取阶段，使用AKAZE算法对非线性尺度空间进行构建，采用fast retina keypoint(FREAK)描述符对特征点进行有效描述；之后，利用基于网格的运动估计（GMS）方法对所获得特征点进行预匹配，并进行鲁棒性优良的区分；最后，在随机抽样一致性（RANSAC）算法的基础上对匹配结果进行进一步筛选。为了验证所提方法的有效性，使用Oxford标准图像数据集和RSSCN7遥感图像数据集进行实验，对所提方法与改进AKAZE、ORB、KAZE、SIFT+FREAK算法进行对比，确保所提方法在保持较高准确率的同时能够实现快速的图像配准。在图像光照变化、模糊变换及压缩变换下，所提方法能够保持较好的鲁棒性，可以满足无人机影像实时匹配的需求。     

一种改进的图像匹配技术

图像匹配技术具有广泛应用,寻求高效率、高精度、健壮性好以及复杂度低的图像匹配算法是当下计算机视觉中的研究重点之一.本文对各种特征点提取和匹配算法进行了对比分析,在此之上提出了一种改进的特征提取以及图像匹配算法,提高了匹配算法的鲁棒性.     

一种新的粒子群优化的图像匹配算法

针对粒子群算法在图像匹配中易陷入局部最优、搜索速度慢以及匹配精度不高的问题,提出一种新的粒子群优化的图像匹配算法。首先,以改进的非线性惯性权重对粒子群算法进行优化,以此来平衡粒子在全局和局部的搜索能力;其次,提出添加动态扰动项对速度进行扰动,避免粒子在算法后期速度停滞为零而陷入局部最优。仿真结果表明,该算法提高了粒子的全局搜索能力和收敛精度,有效防止早熟现象,与基于标准的PSO图像匹配算法相比,所提算法具有收敛速度快、鲁棒性好以及匹配精度高的特点。     

基于循环生成对抗策略的遥感图像匹配算法北大核心CSCD

针对异源遥感影像成像模式、时相、分辨率等不同导致的图像匹配困难问题,提出了一种基于循环生成对抗策略的遥感图像匹配算法。构建了跨数据域图像特征迁移的循环生成对抗网络(generative adversarial network,GAN),设计SmoothL损失函数对网络进行优化,提高遥感图像特征提取精度,并基于图像特征迁移结果,建立三元组距离排序损失函数(trioplet margin ranking loss,TMRL)降低遥感图像的误匹配点数,实现异源遥感图像的准确匹配。实验结果表明,本文方法将异源遥感图像匹配平均准确率提升了33.51%,与CMM-Net(cross modlity matching net)方法相比,具有更好的遥感图像匹配效果。此外,本文方法不需要目标域图像的标注信息,匹配时间缩短了0.073s,能快速准确实现异源遥感图像匹配。     

基于主成分分析的图像匹配方法研究

景像匹配和相关跟踪系统中,由于所面临的都是变化的场景,实时获取的图像与预存的基准图之间存在差异。传统的基于图像空间的匹配方法不能很好地克服这些差异给图像匹配定位带来的影响,使得完全按图像灰度特征的相关匹配应用受到限制。文中将主成分分析方法引入了图像匹配和相关跟踪过程中,提出一种能抗御一定图像畸变的基于主成分分析的图像匹配算法,并应用该方法进行了初步实验,证明该算法具有较高的匹配跟踪鲁棒性。     

基于改进YOLOv5s的复杂环境行人检测模型

针对行人检测在复杂环境下存在的高误检率和丢失率问题,提出了一种基于YOLOv5s的改进模型YOLOv5s-RFDH。该模型在保留YOLOv5s基线网络的基础上,在特征提取和检测部分进行了优化改进,以提高行人检测在复杂场景中的准确性和鲁棒性。针对CrowdHuman数据集和WiderPerson数据集进行行人目标检测。以上数据集行人密集且存在大量遮挡,因此,采用了K-Means++聚类算法来重新聚类数据集以获取适合数据的锚框;引入感受野模块（Receptive Field Block, RFB）来进行特征提取,在不同分支中使用空洞卷积增加感受野从而提取更深层次的特征信息,并最终将这些特征融合在一起,提升了小目标行人的检测精度;解耦头可以解决目标检测中的尺度不变性问题,引入解耦检测头将分类和回归任务分离,从而能够更加准确地检测到不同尺度和大小的目标。在CrowdHuman数据集和WiderPerson数据集划分出的测试集上进行对比实验,结果表明,改进后的模型在检测准确率上得到提升,丢失率有所下降,在以上两个不同数据集上检测准确率分别提升1.4%和1.2%,丢失率分别降低2.0%和1.7%。     

基于残差伪孪生卷积互相关网络的异源遥感图像匹配算法

合成孔径雷达（SAR）成像和可见光成像是遥感卫星的常用成像方式。由于两者在成像信息上具有高度互补性,SAR和可见光的图像数据融合已成为了遥感的一个重要研究领域。异源数据匹配算法的性能直接影响获取地面控制点的精度,匹配算法分为二阶段法和一阶段法,现有的二阶段法难以适应地形复杂的遥感图像,且在速度上无法满足实际的工程需求,而速度满足要求的一阶段法在精度上仍有所欠缺。为解决这个问题,提出了一个可端到端的高精度的基于残差伪孪生卷积互相关网络的异源遥感图像匹配算法。所提算法通过构建基于残差层的伪孪生网络,对提取的SAR和可见光图像的特征进行卷积互相关操作从而实现异源遥感图像匹配。实验结果表明,该算法在保持较高的速度下,较大提升了SAR与可见光图像的匹配精度,为深度学习方法在大规模异源遥感图像匹配任务中的工程应用奠定了基础。     

面向嵌入式系统的轻量级目标检测算法

由于嵌入式设备的内存和计算能力有限,在无人机平台上运行基于深度学习的目标检测算法进行实时解析具有很大的挑战性,同时,算法在小目标、高密度、多类别的场景下,检测精度有待提高。在此前提下,构建NCWS-YOLO轻量级算法,以YOLOv5算法为基础,基于非极大值抑制方法,融合加权框融合算法,提出了NCW方法,重构了预测端目标框筛选网络,使检测精度提升了3.9%。并且利用通道剪枝技术,对批归一化层进行通道稀疏化训练,选择不包括shortcut的层进行修剪,使参数量减少了74%,模型大小缩减了72.2%,浮点数运算降低了37.6%,将算法部署于嵌入式设备上实现了对无人机数据集的目标检测任务。所提方法在无人机数据集上测试精度(Pr)和平均精度(mAP@0.5)分别达到了0.941和0.969,在Nvidia Jetson TX2上推理速度提升了49.6%。实验数据表明,该网络能够在低功耗、算力低的嵌入式设备上进行实时检测。     

基于双边滤波和AGAST-BEBLID的图像匹配算法

针对传统AGAST特征匹配算法存在精度差、鲁棒性低等问题，提出一种基于双边滤波和AGAST-BEBLID的图像匹配算法。首先使用双边滤波进行去噪和增强图像边缘细节效果。其次使用BEBLID算法在特征提取阶段创建高效二进制描述子，来产生更好的局部特征描述。然后使用GMS算法结合汉明距离来筛选KNN匹配后的图像，达到特征粗匹配。最后使用GC-RANSAC算法在误匹配剔除阶段进行局部最优模型拟合，得到图像特征精匹配。实验结果显示：改进后的算法在复杂环境下的总体平均准确率较AKAZE,BRISK和SIFT分别提高了10.57%,17.20%和19.45%。     

基于深度学习的室内视觉位置识别技术

视觉位置识别技术通过将地点图像与数据库中的图像集进行匹配,根据配对图像标签中的位置信息得到定位结果。现有的视觉位置识别网络都是为了应对室外场景而构建和训练的,在室内场景中的识别性能较差。文中提出了一种基于深度学习的室内视觉位置识别卷积神经网络架构,并在室内场景识别数据集上对网络进行了训练,然后在本地室内数据集上对网络参数进行进一步的微调,较好地解决了室内环境中的位置识别问题。和现有的其它视觉位置识别网络相比,文中训练的网络在实际室内环境测试中最大有30%的识别精度提升。     

基于金字塔块匹配的双目场景流估计

针对现有双目场景流计算方法在大位移、运动遮挡及光照变化等复杂场景下场景流估计的准确性与鲁棒性问题,提出一种基于金字塔块匹配的双目场景流计算方法 .首先对双目图像序列进行超像素分割和视差估计,得到图像初始分割结果和视差信息,然后建立基于金字塔块匹配的运动模型并采用Ransac随机一致性算法拟合刚性运动模型和最小化重投影算法估计对象运动参数.最后,本文将金字塔块匹配结果作为约束项,联合对象运动参数和超像素平面参数构建基于金字塔块匹配的双目场景流估计能量函数模型,通过最小化能量函数得到最终场景流.实验分别采用KITTI2015(Karlsruhe Institute of Technology and Toyota technological Institute 2015)和MPI-Sintel(Max-Planck Institute and Sintel)数据集测试图像对本文方法和具有代表性场景流算法进行综合对比分析,结果表明本文方法相对于其他对比方法有效提高大位移、运动遮挡以及光照变化情况下场景流估计精度和鲁棒性.     

遥感图像匹配算法比较研究及实验仿真

文中简要介绍了遥感图像的匹配原理,然后分别介绍了基于灰度和特征的图像匹配算法在遥感图像匹配不同场景中的应用。最后,用C++实现了4种遥感数字图像匹配算法的仿真实验,并进行了对比研究,综合评价得出,基于序贯性相似检测匹配(SSDA)的改进方法是一种适合广泛应用的方法。