动态船舶行驶场景下的实时单目测距算法研究

为了利用单目视觉实时监测船舶行驶过程中与周围船舶之间的距离,首先分析单目视觉测距现状及其成功应用实例,基于小孔成像原理建立单目相机模型,通过几何推导,得到世界坐标系、相机坐标系、图像坐标系及像素坐标系之间三层坐标转换关系.随后通过实验验证pitch俯仰角与yaw水平角对单目视觉测距的影响程度,从而分析出动态船舶行驶场景...     

基于多尺度分析的红外图像边缘特征融合算法

针对红外图像特点 采用基于正交小波变换的多尺度边缘检测方法,利用小波变换天生的多尺度特性,检测出不同尺度、不同精度下的边缘特征,融合形成图像边缘。     

基于多尺度特征融合Hessian稀疏编码的图像分类算法

针对传统稀疏编码图像分类算法提取单一类型特征,忽略图像的空间结构信息,特征编码时无法充分利用特征拓扑结构信息的问题,提出了基于多尺度特征融合Hessian稀疏编码的图像分类算法（HSC）。首先,对图像进行空间金字塔多尺度划分;其次,在各个子空间层将方向梯度直方图（HOG）和尺度不变特征转换（SIFT）进行有效的融合;然后,为了充分利用特征的拓扑结构信息,在传统稀疏编码目标函数中引入二阶Hessian能量函数作为正则项;最后,利用支持向量机（SVM）进行分类。在Scene15数据集上的实验结果表明,HSC的准确率比局部约束线性编码（LLC）高了3~5个百分点,比支持区别性字典学习（SDDL）等对比方法高了1~3个百分点;在Caltech101数据集上的耗时实验结果表明,HSC的用时比多核学习稀疏编码（MKLSC）少40%左右。所提HSC可以有效提高图像分类准确率,算法的效率也优于对比算法。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

自适应多尺度特征融合的单目图像深度估计

在基于深度学习的单目图像深度估计方法中, 卷积神经网络在下采样过程中会出现图像深度信息丢失的情况, 导致物体边缘深度估计效果不佳. 提出一种多尺度特征融合的方法, 并采用自适应融合的策略, 根据特征数据动态调整不同尺度特征图的融合比例, 实现对多尺度特征信息的充分利用. 由于空洞空间金字塔池化(ASPP)在单目深度估计任务中, 会丢失图像中的像素点信息, 影响小物体的预测结果. 通过在对深层特征图使用ASPP时融合浅层特征图的丰富特征信息, 提高深度估计结果. 在NYU-DepthV2室内场景数据集的实验结果表明, 本文所提方法在物体边缘处有更准确的预测, 并且对小物体的预测有明显的提升, 均方根误差(RMSE)达到0.389, 准确率(δ <1.25)达到0.897, 验证了方法的有效性.     

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像,修复后图像存在局部色差、边界伪影和细节缺陷等问题,提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块,有效融合深层和浅层的图像特征,实现了人脸图像的特征提取和融合。此外,构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数,用于训练多尺度修复网络,并通过与判别器网络的相互对抗,提高修复图像与真实图像的视觉一致性。实验结果表明,对于不同的掩膜率,采用该模型修复的图像具有合理的纹理结构和上下文语义信息,并在定性和定量比较上表现更好。     

融合优化特征提取结构的目标检测算法

针对DETR对小目标的检测精度低的问题,基于DETR提出一种优化特征提取结构的目标检测算法——CF?DETR。首先通过结合了优化跨阶段部分（CSP）网络的CSP?Darknet53对原始图进行特征提取并输出4种尺度的特征图;其次利用特征金字塔网络（FPN）对4种尺度特征图进行下采样和上采样后进行拼接融合,并输出52×52尺寸的特征图;最后将该特征图与位置编码信息结合输入Transformer后得到特征序列,输入到作为预测头的前向反馈网络后输出预测目标的类别与位置信息。在COCO2017数据集上,与DETR相比,CF?DETR的模型的超参数量减少了2×10⁶,在小目标上的平均检测精度提高2.1个百分点,在中、大尺寸目标上的平均检测精度提高了2.3个百分点。实验结果表明,优化特征提取结构能够在降低模型超参数量的同时有效提高DETR的检测精度。     

基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法

为了满足锂离子电池电极缺陷检测精度与实时性的需求,解决电极图像背景噪声复杂、缺陷微小且对比度低等问题,提出一种基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法.在YOLOv4的基础上,首先,将SE(squeeze-and-excitation)注意力模块嵌入特征提取主干网络中,区分feature map中不同通道的重要性,强化目标区域的关键特征,提高网络的检测精度;其次,加入融合空洞卷积的池化金字塔(ASPP)结构,增大网络感受野的同时最大程度地保留多尺度特征信息,提高算法对小目标的检测性能;然后,设计一种多尺度稠密特征金字塔,在三尺度特征图的基础上增加一个浅层特征,采用稠密连接的方式融合特征,提升浅层细节特征与高级语义信息的融合能力,增强对微小缺陷特征的提取;最后,采用$ K $-means++算法聚类先验框,引入focal loss损失函数增大小目标样本的损失权重,有效提高网络学习的收敛速度.实验结果表明,所提算法较原YOLOv4模型的mAP值提升6.42%,较其他常用算法综合性能上有着较大的优势,可较好地满足实际工业生产的实时监测需求.     

基于图像多尺度熵的红外图像匹配跟踪算法

在对图像熵进行分析的基础上,引入图像多尺度熵的概念,定义了图像的多尺度熵及多尺度熵矢量,提出了一种基于区域的匹配跟踪算法—–基于图像多尺度熵的红外图像匹配跟踪算法.首先计算图像的多尺度熵,得到图像多尺度熵矢量;然后利用多尺度熵矢量间的绝对距离(AD)进行匹配跟踪.实验表明,该算法不仅具有稳定、精确的匹配跟踪性能,而且能在目标发生旋转时,较好地匹配跟踪目标,并具有良好的抗几何失真能力.     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

基于单目视觉的矿井机车障碍物检测和测距方法

针对现有矿井机车障碍物检测和测距方法存在测距精度低、测量范围小及成本高等问题,提出了一种基于单目视觉的矿井机车障碍物检测与测距方法。该方法首先对CCD摄像机采集的图像进行预处理,然后根据障碍物的特点进行特征提取得到准确的障碍物区域,最后利用基于摄像机内部参数和几何关系的单目视觉测距方法得到机车与前方障碍物之间的距离。测试结果表明,该方法能有效检测机车前方障碍物,且测距精度在有效误差范围内。     

基于点线特征融合的低纹理单目视觉同时定位与地图构建算法

当图像因相机快速运动造成模糊或者处在低纹理场景时,仅使用点特征的同步定位与地图构建（SLAM）算法难以跟踪提取足够多的特征点,导致定位精度和匹配鲁棒性较差。而如果造成误匹配,甚至系统都无法工作。针对上述问题,提出了一种基于点线特征融合的低纹理单目SLAM算法。首先,加入了线特征来加强系统稳定性,并解决了点特征算法在低纹理场景中提取不足的问题;然后,对点、线特征提取数量的选择引入了加权的思想,根据场景的丰富程度,对点线特征的权重进行了合理分配。所提算法是在低纹理场景下运行的,因而设置以线特征为主、点特征为辅。在TUM室内数据集上的实验结果表明,与现有的点线特征算法相比,所提算法有效地提高了线特征的匹配精度,使得轨迹误差减小了大约9个百分点,也使得特征提取时间减少了30个百分点,使加入的线特征在低纹理场景中发挥出积极有效的作用,提高了数据整体的准确度和可信度。     

基于改进特征袋模型的奶牛识别算法

针对特征袋（BOF）模型中存在特征计算耗时、识别精度低的不足,提出一种新的改进BOF模型以提高其目标识别的精度和效率,并将其应用于奶牛个体识别。该算法首先引入优化方向梯度直方图（HOG）特征对图像进行特征提取和描述,然后利用空间金字塔匹配原理（SPM）生成图像基于视觉词典的直方图表示,最后自定义直方图交叉核作为分类器核函数。该算法在项目组自行拍摄的数据集（包含15类奶牛、共7500张奶牛头部图像）上的实验结果表明,使用基于SPM的BOF模型将算法的识别率平均提高2个百分点;使用直方图交叉核相比使用高斯核将算法的识别率平均提高2.5个百分点;使用优化HOG特征,相比使用传统HOG特征将算法识别率平均提高21.3个百分点,运算效率为其1.68倍;相比使用尺度不变特征变换（SIFT）特征,在保证平均识别精度达95.3%的基础上,运算效率为其7.10倍。分析结果可知,该算法在奶牛个体识别领域具有较好的鲁棒性和实用性。     

基于特征金字塔网络的肺结节检测

针对计算机断层扫描（CT）影像中肺结节尺寸变化较大、尺寸小且不规则等特点导致的检测敏感度较低的问题，提出了基于特征金字塔网络（FPN）的肺结节检测方法。首先，利用FPN提取结节的多尺度特征，并强化小目标及目标边界细节的特征；其次，在FPN的基础上设计语义分割网络（名为掩模特征金字塔网络（Mask FPN））用于快速准确地分割提取肺实质，作为目标候选区域定位图像；并且，在FPN顶层添加反卷积层，采用多尺度预测策略改进快速区域卷积神经网络（Faster R-CNN）以提高检测性能；最后，针对肺结节数据集的正负样本不平衡问题，在区域候选网络（RPN）模块采用焦点损失函数以提高结节的检出率。所提方法在公开数据集LUNA16上进行实验，结果表明，利用FPN和反卷积层改进的新网络对结节检测效果有一定的帮助，采用焦点损失函数也有一定效果。综合多种改进，当平均每个扫描件的候选结节数为46.7时，所提方法的肺结节检测敏感度指标为95.7%，与其他卷积神经网络方法如Faster R-CNN、UNet等相比，具有较高的敏感性。所提方法能够较好地提取不同尺度上的结节特征，提高CT图像肺结节检测的敏感度，同时对于较小的结节也能有效检测，能更有效地辅助肺癌的诊断治疗。     

基于特征的多层次红外与可见光图像融合方法*

目前基于融合的方法能够改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。对此做了进一步研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值为依据分层融合,并加入实时温度信息,可随时得到融合图像的温度数据,从而在细节上极大地改善了目标的视觉效果及信息含量,提高了效率;最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。     

一种基于YOLOv4-TIA的林业害虫实时检测方法

针对现有基于深度学习的林业昆虫图像检测方法存在检测精度低和检测速度慢的问题,提出一种结合改进PANet结构与三分支注意力机制的目标检测方法YOLOv4-TIA。通过对样本数量较少的昆虫类别进行数据增强,实现样本均衡分布。利用三分支注意力机制改进YOLOv4中的CSPDarkNet53骨干网络,同时通过旋转操作和残差变换建立维度间的依存关系,以提高有效的特征通道权重,在PANet结构上增加将跳跃连接与跨尺度连接相结合的特征融合方式,从而获取更丰富的语义信息和位置信息。在此基础上,采用Focal loss函数优化分类损失,解决正负样本不均衡的问题。实验结果表明,该方法的精确率和召回率分别达到85.9%和91.2%,相比SSD、Faster R-CNN、YOLOv4方法,其在保证检测速度的同时,能够有效提高检测精度,且实现对林业害虫的实时精确监测。     

基于特征金字塔网络的肺结节检测

针对计算机断层扫描（CT）影像中肺结节尺寸变化较大、尺寸小且不规则等特点导致的检测敏感度较低的问题,提出了基于特征金字塔网络（FPN）的肺结节检测方法。首先,利用FPN提取结节的多尺度特征,并强化小目标及目标边界细节的特征;其次,在FPN的基础上设计语义分割网络（名为掩模特征金字塔网络（Mask FPN））用于快速准确地分割提取肺实质,作为目标候选区域定位图像;并且,在FPN顶层添加反卷积层,采用多尺度预测策略改进快速区域卷积神经网络（Faster R-CNN）以提高检测性能;最后,针对肺结节数据集的正负样本不平衡问题,在区域候选网络（RPN）模块采用焦点损失函数以提高结节的检出率。所提方法在公开数据集LUNA16上进行实验,结果表明,利用FPN和反卷积层改进的新网络对结节检测效果有一定的帮助,采用焦点损失函数也有一定效果。综合多种改进,当平均每个扫描件的候选结节数为46.7时,所提方法的肺结节检测敏感度指标为95.7%,与其他卷积神经网络方法如Faster R-CNN、UNet等相比,具有较高的敏感性。所提方法能够较好地提取不同尺度上的结节特征,提高CT图像肺结节检测的敏感度,同时对于较小的结节也能有效检测,能更有效地辅助肺癌的诊断治疗。     

面向图像修复取证的U型特征金字塔网络

图像修复是一种常见的图像篡改手段,而基于深度学习的图像修复方法能生成更复杂的结构乃至新的对象,使得图像修复取证工作更具有挑战性。因此,提出一种端到端的面向图像修复取证的U型特征金字塔网络（FPN）。首先,通过自上而下的VGG16模块进行多尺度特征提取,并利用自下而上的特征金字塔架构对融合后的特征图进行上采样,整体流程形成U型结构;然后,结合全局和局部注意力机制凸显修复痕迹;最后,使用融合损失函数以提高修复区域的预测率。实验结果表明,所提方法在多种深度修复数据集上的平均F1分数和IoU值分别为0.791 9和0.747 2,与现有的基于扩散的数字图像修复定位（LDI）、基于图像块的深度修复取证方法（Patch-CNN）和基于高通全卷积神经网络（HP-FCN）方法相比,所提方法具有更好的泛化能力,且对JPEG压缩也具有较强的鲁棒性。     

基于Faster R-CNN的密集人群检测算法

为提高拥挤场景下的人群检测准确率,提出一种基于改进Faster R-CNN的密集人群检测算法。首先,在特征提取阶段添加空间与通道注意力机制,使用加强的双向特征金字塔网络（S-BiFPN）替代原网络中的多尺度特征金字塔（FPN）,使网络对重要特征进行自主学习并加强对图像深层特征的提取;其次,引入多实例预测（MIP）算法对实例进行预测,以避免模型对拥挤场景下的目标造成漏检;最后,对模型中的非极大值抑制（NMS）进行优化,并额外增设一个交并比（IoU）阈值,以对检测结果的干扰项进行精确抑制。在开源的密集人群检测数据集上进行测试的结果显示,相较于原Faster R-CNN算法,所提算法的平均精度（AP）提升5.6%,Jaccard指数值提升3.2%。所提算法具有较高检测精度和稳定性,可以满足密集场景人群检测的需求。