基于深度学习的人—物交互关系检测综述

人—物交互关系检测旨在通过精细化定位图像或视频中产生特定动作行为的人,以及与其产生交互关系的物体,并识别人和物体之间的动作关系来理解和分析人体的行为。人—物交互关系检测是一个非常具有实际应用意义和前瞻性的研究方向,是高层视觉理解的关键基石。随着深度学习的发展,基于深度学习的研究方法引领了近期人—物交互关系检测研究的进步。本文一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两个方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。其中,两阶段方法包括多流模型和图模型两种主要范式,而单阶段模型包括基于框的范式、基于关系点的范式和基于查询的范式。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。     

LSCN:一种用于动作识别的长短时序关注网络

相较于图像分析,如何分析时序信息是动作识别中的一个主要问题.大多数先前的方法,如3D卷积网络、双流卷积网络,仅使用包含全局时域信息的特征作为视频的表征,忽略了局部时序特征的重要性.考虑到这样的问题,本文提出一种基于时序交互感知模块的长短时序关注网络——Long and Short Sequence Concerned Networks（LSCN）,融合不同的时序信息,利用不同卷积层时序特征的交互加强对不同时序长度的动作实例的表示,兼顾长短动作实例对时序信息的需求.实验结果表明,基于3D ResNext101的LSCN在两个公共数据集（UCF101和HMDB51）上,相较于基础的网络分别有0.4%和2.9%的准确率提升.     

基于跨模态空间匹配的多模态肺部肿块分割网络

现有多模态分割方法通常先对图像进行配准,再对配准后的图像进行分割。对于成像特点差异较大的不同模态,两阶段的结构匹配与分割算法下的分割精度较低。针对该问题,该文提出一种基于跨模态空间匹配的多模态肺部肿块分割网络(MMSASegNet),其具有模型复杂度低和分割精度高的特点。该模型采用双路残差U型分割网络作为骨干分割网络,以充分提取不同模态输入特征,利用可学习的空间变换网络对其输出的多模态分割掩膜进行空间结构匹配;为实现空间匹配后的多模态特征图融合,形变掩膜和参考掩膜分别与各自模态相同分辨率的特征图进行矩阵相乘,并经特征融合模块,最终实现多模态肺部肿块分割。为提高端到端多模态分割网络的分割性能,采用深度监督学习策略,联合损失函数约束肿块分割、肿块空间匹配和特征融合模块,同时采用多阶段训练以提高不同功能模块的训练效率。实验数据采用T2权重(T2W)磁共振图像和扩散权重磁共振图像(DWI)肺部肿块分割数据集,该方法与其他多模态分割网络相比,DSC (Dice Similarity Coefficient)和HD (Hausdorff Distance)等评价指标均显著提高。     

基于拓扑链路识别的光网络流量数据合成算法

基于深度学习的光网络流量诊断与预测等场景中,由于保密等原因,光链路的流量数据采集和存储工作受限。针对数据量少而无法支撑深度学习的问题,文章提出了一种基于拓扑链路识别的光网络流量数据合成算法,其核心思想是在生成对抗网络框架下,联合基于光网络拓扑的条件生成模型和基于光网络流量的数据合成模型,以自监督的方式合成指定光链路的流量数据。仿真结果表明,所提算法合成的光网络流量数据在自相关系数指标上与真实数据接近且使得基于全连接神经网络的流量预测模型准确率达到95%以上。     

基于RPCA和LatLRR分解的红外与可见光的图像融合

红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用.为了得到融合效果更好的图像,提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法.首先,利用鲁棒性主成分分析对训练集图像进行去噪处理,利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵,并对源图像进行分解,重构形成低频图像和高频图像.然后...     

基于深度学习的区块链蜜罐陷阱合约检测

针对当前检测方法准确率不高以及模型泛化性较差的问题,提出了基于KOLSTM深度学习模型的蜜罐陷阱合约检测方法.首先,通过分析蜜罐陷阱合约的特点,提出了关键操作码的概念,并设计了可用于选取智能合约中关键操作码的关键词提取方法;其次,在传统的LSTM模型中加入关键操作码权重机制,构建了可以同时捕获蜜罐陷阱合约中隐藏的序列特...     

基于无人机影像的电网绝缘子自爆识别

电网因其在电能传输方面的关键性作用,在我国民生项目建设领域一直扮演着至关重要的角色。电网杆塔上的绝缘子一旦发生自爆(也称“缺陷”),绝缘子会自动剥落,输电线路就会产生安全隐患,严重时会降低输电线路的运行寿命,甚至会引发供电中断,发生大范围的停电事故,造成巨大的财产损失。目前,主流的巡检方法为人工巡检,该方法不仅耗时耗力,而且也存在一定主观出错率,已不适用于目前电路巡检的实际情况。本设计采用YOLO V5网络模型,对无人机航拍影像中绝缘子串及绝缘子自爆进行自动识别。首先通过平移、翻转、裁剪等,对航拍绝缘子影像数据集进行数据增广,并对增广后的数据集在LabelImg中进行标注,然后利用YOLO V5网络模型对绝缘子串及绝缘子自爆进行识别,最后采用PyQt5框架在PyCharm中设计了绝缘子自爆识别的系统界面,对模型进行调用,实现了绝缘子串及绝缘子自爆识别。本设计采用从网络上下载、国家电网提供、数据增广所得到的500张无人机航拍影像作为数据集,对所得数据集进行人工标注,再使用YOLO V5网络模型进行训练和测试,结果表明YOLO V5网络模型对绝缘子串具有较高的识别精度,最高识别精度为90.2%,对绝缘子自爆的最高检测精度为80.8%。这说明了YOLO V5网络模型在绝缘子串识别方面有较好的表现,但是由于训练集中绝缘子自爆的样本影像数量有限,所以该网络模型对绝缘子的自爆识别存在一定局限性,本实验能够部分代替人力实现电网绝缘子智能巡检,提高了检测效率。     

基于深度学习的ViSAR多运动目标检测

视频合成孔径雷达(ViSAR)在地面动目标检测和感兴趣区域(ROI)的动态监测方面具有巨大的潜力。对地面运动目标的检测与跟踪一直是ViSAR的研究热点。针对现有基于深度学习的ViSAR动目标检测方法存在的依赖预训练模型,模型迁移难等问题,本文提出了一种基于深度学习与多目标跟踪(MOT)算法的ViSAR动目标阴影检测方法。该方法首先设计了一种从零开始深度学习的网络模型,实现动目标阴影的单帧检测。为了提高检测性能的鲁棒性,采用了基于卡尔曼滤波和逐帧数据关联的多目标跟踪算法跟踪动目标。实测数据处理结果表明该方法具有良好的检测性能。     

双极RF功率管的深阱结终端

给出了双极 RF功率管新的深阱结终端结构 .模拟分析表明 ,具有优化宽度、优化深度且填充绝缘介质的深阱结终端结构能使雪崩击穿电压提高到理想值的 95 %以上 .实验结果表明 ,深阱结终端结构器件 DCT2 6 0的BVCBO为理想值的 94 % ,比传统终端结构器件高 14 % ;与传统结构相比 ,在不减小散热面积的情况下 ,该结构还减小集电结面积和漏电流 ,器件的截止频率提高 33% ,功率增益提高 1d B     

利用剪切波速对饱和砂土地震液化的判别

现行有关抗震规范的液化判别方法大多使用标贯试验方法,最大判别深度不超过20 m,而近些年来的地震灾害调查显示超过20 m的饱和砂土深层液化现象是客观存在的。为此,基于Kayne场地液化数据库和修正的双曲线模型,建立了临界剪切波速液化判别公式,其判别成功率可达到80%以上。以西藏某水利枢纽为例,结合现行规范中的判别方法,对比分析并评价了本文剪切波速液化判别方法的适用性。结果表明:(1)对于埋深20 m以内的饱和砂层,《水力发电工程地质勘察规范》(GB 50287—2016)中规定的标贯判别方法得到的液化判别结果最为安全;(2)《岩土工程勘察规范》(GB 50021—2001)中规定的剪切波速液化临界曲线,对埋深超过20 m的饱和砂层液化判别过于保守,在高地震烈度时可导致极其密实的砂土被判别为液化,但在Ⅶ度时,该法对埋深10 m以内的浅层砂土的液化判别结果偏不安全;(3)对于高地震烈度区或者埋深超过20 m的深层液化判别来说,本文剪切波速方法既能克服《岩土工程勘察规范》(GB 50021—2001)判别方法过于保守的弊端,又能得到相对合理的液化判别结果。当场地缺少标贯数据或者需要对埋深超过20 m的砂土进行液化判别时,本剪切波速判别液化方法具有较强的实用性。