融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation,VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS (densely annotated video segmentation)2016和DAVIS 2017上取得了有竞争力的结果,区域相似度与轮廓精度之间的平均值J&F-mean (Jaccard and F-score mean)分别为83.2%和72.3%。结论 本文提出的算法可以有效地处理由遮挡、变形和视点变化等带来的干扰问题,实现高质量的视频目标分割。     

面向航拍图像中工程车辆检测与识别的改进胶囊网络

目的 利用无人机(unmanned aerial vehicle,UAV)巡检识别航拍图像中的工程车辆对于减少电力安全事故的发生具有重要意义。采用人工提取特征的经典模式识别方法或YOLOv5(you only look once v5)等深度学习算法识别无人机电力巡检航拍图像中的工程车辆,存在识别准确率低、模型参数规模大等问题。针对上述问题,提出一种改进的胶囊网络识别航拍图像中的工程车辆。方法 采用多层密集连接型方法改进原始胶囊网络结构,以提取图像中工程车辆更多的特征;改进了胶囊网络的动态路由方法,以提高胶囊网络的抗干扰能力;探索了网络层数和动态路由算法中关键参数对识别准确率的影响,以找到识别准确率最高时的参数。结果 实验结果表明：1)在所采用的算法模型中,本文方法的平均识别率(mean average precision,mAP)达到94.56%,明显高于其他方法。2)网络层数对识别准确率有很大影响,但二者之间并非单调线性关系。在本文的应用场景中,5层胶囊网络的识别准确率最高;此外,动态路由算法改进与否并不会影响识别准确率跟随网络层数的变化趋势。3)胶囊网络层数增加会降低识别效率,但是并不会明显增加参数规模,且参数规模与mAP无明显关联。结论 本文方法在获得较高识别准确率的同时具有参数规模较小的特点,为无人机在机载端识别目标物奠定了基础。     

全像素双核成像技术及应用研究综述

全像素双核(dual-pixel, DP)自动对焦(dual-pixel CMOS auto focus, DP CMOS AF)采用混合检测自动对焦,其在每个像素配备两个光电二极管,使每个像素既参与对焦又参与成像,克服了传统相位检测自动对焦和反差检测自动对焦技术的缺点。根据离焦视差估计图像合焦镜头所需移动的距离,DP自动对焦具有更快的对焦速度和更高的对焦精度,因此广泛应用在手持设备中(如手机相机、单反相机等)。由于全像素双核传感器将每个像素分成两半,该传感器一次拍摄即可得到两幅图像。这两幅图像(全像素双核图像对)可以看做一个具有相同曝光时间和严格校正的小基线立体图像对。该图像对的视差与图像模糊程度相对应,只在离焦区域存在视差。全像素双核传感器不仅用于自动对焦,而且可以用于深度估计、散焦去模糊和反射去除等方面。本文系统地综述了全像素双核传感器的自动对焦、成像原理及研究现状,并进一步展望其未来发展。1)对自动对焦技术进行介绍,对比了传统对焦与全像素双核对焦;2)详细分析了全像素双核传感器的成像原理、成像模型及特点;3)系统地介绍了全像素双核在计算机视觉领域应用的最新进展,从深度估计、反射去除和离焦模糊去除等方面进行全面阐述及分析; 4)适当的数据集是基于深度学习方法的基础,对目前的全像素双核数据集进行了介绍;5)分析了全像素双核在计算机视觉领域面临的挑战与机遇,对未来的全像素双核应用方向进行了讨论与展望。     

双重编—解码架构的肠胃镜图像息肉分割

目的 肠胃镜诊断一直被认为是检测及预防结直肠癌的金标准,但当前的临床检查中仍存在一定的漏诊概率,基于深度学习的肠胃内窥镜分割方法可以帮助医生准确评估癌前病变,对诊断和干预治疗都有积极作用。然而提高目标分割的准确性仍然是一项具有挑战性的工作,针对这一问题,本文提出一种基于双层编—解码结构的算法。方法 本文算法由上、下游网络构成,创新性地利用上游网络训练产生注意力权重图,对下游网络解码过程中的特征图产生注意力引导,使分割模型更加注重目标区域;提出子空间通道注意力结构,在跨越连接中提取多分辨率下的跨通道信息,可以有效细化分割边缘;最终输出添加残差结构防止网络退化。结果 在公共数据集CVC-ClinicDB(Colonoscopy Videos Challenge-ClinicDataBase)和Kvasir-Capsule上进行测试,采用Dice相似系数(Dice similariy coefficient,DSC)、均交并比(mean intersection over union,mIoU)、精确率(precision)以及召回率(recall)为评价指标,在两个数据集上的DSC分别达到了94.22%和96.02%。进一步将两个数据集混合,测试了算法在跨设备图像上的鲁棒性,其中DSC提升分别达到17%—20%,在没有后处理的情况下,相较其他先进模型(state-of-the-art,SOTA),如U-Net在DSC、mIoU以及recall上分别取得了1.64%、1.41%和2.54%的提升,与ResUNet++的对比中,在DSC以及recall指标上分别取得了2.23%和9.87%的提升,与SFA (selective feature aggregation network)、PraNet和TransFuse等算法相比,在上述评价指标上也均有显著提升。结论 本文算法可以有效提高医学图像分割效果,并且对小目标分割、边缘分割具有更高的准确率。     

Bayer阵列图像去马赛克算法综述

Bayer阵列图像去马赛克技术是对稀疏采样的Bayer阵列图像进行RGB信息重建,图像重建质量是成像设备评价的重要因素之一,同时也对其他计算机视觉任务(如图像分割、人脸识别)产生影响。随着深度学习方法的快速发展,图像去马赛克领域提出了多种高性能算法。为了便于研究者更全面了解图像去马赛克算法的原理和研究进展,本文对该领域的经典算法和深度学习算法进行综述。首先对Bayer采样阵列原理和图像去马赛克技术进行概述。然后将现有方法分为传统方法和基于深度学习方法两类进行总结,同时根据去马赛克任务是否具有独立性,将深度学习方法分为独立去马赛克任务和联合去马赛克任务两类,分析不同方法的原理和优缺点,重点阐述基于深度学习的去马赛克方法的网络结构和重建机理,介绍去马赛克领域常用的公共数据集和性能评价指标,并对图像去马赛克相关实验进行分析对比。最后,围绕网络深度、运算效率和实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来发展方向。目前,基于深度学习的图像去马赛克方法已成为主流发展方向,但仍然存在计算成本较高、实际应用性不强等问题。因此,如何开发出重建精度高、处理时间短以及实用性强的图像去马赛克方法,是该领域未来重要的研究方向。     

基于深度学习的人—物交互关系检测综述

人—物交互关系检测旨在通过精细化定位图像或视频中产生特定动作行为的人,以及与其产生交互关系的物体,并识别人和物体之间的动作关系来理解和分析人体的行为。人—物交互关系检测是一个非常具有实际应用意义和前瞻性的研究方向,是高层视觉理解的关键基石。随着深度学习的发展,基于深度学习的研究方法引领了近期人—物交互关系检测研究的进步。本文一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两个方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。其中,两阶段方法包括多流模型和图模型两种主要范式,而单阶段模型包括基于框的范式、基于关系点的范式和基于查询的范式。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。     

数据受限条件下的多模态处理技术综述

随着多媒体技术的发展,可获取的媒体数据在种类和量级上大幅提升。受人类感知方式的启发,多种媒体数据互相融合处理,促进了人工智能在计算机视觉领域的研究发展,在遥感图像解译、生物医学和深度估计等方面有广泛的应用。尽管多模态数据在描述事物特征时具有明显优势,但仍面临着较大的挑战。1）受到不同成像设备和传感器的限制,难以收集到大规模、高质量的多模态数据集;2）多模态数据需要匹配成对用于研究,任一模态的缺失都会造成可用数据的减少;3）图像、视频数据在处理和标注上需要耗费较多的时间和人力成本,这些问题使得目前本领域的技术尚待攻关。本文立足于数据受限条件下的多模态学习方法,根据样本数量、标注信息和样本质量等不同的维度,将计算机视觉领域中的多模态数据受限方法分为小样本学习、缺乏强监督标注信息、主动学习、数据去噪和数据增强5个方向,详细阐述了各类方法的样本特点和模型方法的最新进展。并介绍了数据受限前提下的多模态学习方法使用的数据集及其应用方向（包括人体姿态估计、行人重识别等）,对比分析了现有算法的优缺点以及未来的发展方向,对该领域的发展具有积极的意义。     

基于FMCW雷达的人体生命体征信号预测算法

将FMCW雷达检测到的人体生命体征信号,用于预测未来一段时间内人体生命体征信号是否异常,具有明显的应用价值。该方向当前研究主要针对如何进一步降低重构误差、提升生命体征信号的预测精度。为此,本文提出一种自适应变分模态分解?长短期记忆神经网络的生命体征信号预测方法。针对静止状态下的人体,通过雷达采集到的生命体征信号,采用粒子群算法优化变分模态分解VMD的模态分量个数K和惩罚系数α的值,实现自适应选取后用于VMD分解,再将分解后的模态分量进行叠加重构。采用粒子群算法优化长短期记忆网络模型中的网络层数、学习率、正则化系数等3个参数,自适应选取合适的参数组合,将重构后的信号通过优化后的LSTM网络进行预测。实验结果显示本文所提预测方法在10位志愿者的预测结果与原始数据的均方根误差平均值为0.017 188 9,平均绝对误差的平均值为0.007 158,相较于当前其他研究,预测精度上有明显提升。     

基于梯度范数的暂态稳定评估模型的不平衡修正方法

为了解决电力系统中样本数量和质量不平衡造成的暂态稳定评估偏差问题,从评估模型的训练过程出发,通过预训练模型获得样本对模型参数修正的梯度范数,引入梯度范数均值比量化样本的不平衡程度,相较于先验信息,梯度范数均值比综合考虑了样本数量与样本质量的不平衡,并提出基于代价敏感法的不平衡修正方法,利用该方法改善模型的评估倾向性,以实现较好的修正效果。IEEE 39节点系统和华东电网系统的仿真结果验证了所提方法的有效性。     

自升式钻井船桩脚插入深度计算

本文分析了多年来积累的海底土质调查资料和自升式钻井船桩脚实测插深资料,并在实测资料和理论计算对比分析的基础上,比较系统地介绍了桩脚在不同土质条件下的计算方法;推荐了适合于渤海土质特点的计算公式。同时,对选择适合于渤海作业的钻井船型提出了建议。