基于自注意力机制的多阶段无监督单目深度估计网络

单幅图像的深度估计是场景几何理解过程中的一个重要步骤,但由于尺度模糊,也被计算机视觉领域普遍认为是一个典型的不适定问题。近年来,尽管监督学习方法在单目深度估计中取得了基本令人满意的效果,但需要对数据集进行大量真实深度值的标记,这是一项成本较高的工作。此外,由于物体的运动、遮挡、光照等常见问题,单目深度估计的表现并不尽如人意,尤其是在物体边缘和弱纹理区域。为了解决这些问题,本文提出了一种基于自注意力的多阶段无监督单目深度估计网络。该方法具有以下特点:1)多阶段网络结构对训练过程中的深度估计具有较强的约束和监督作用;2)通过掩模加权重构损失和左右视差一致性损失对网络进行优化;3)采用自注意力机制捕捉更多上下文信息,进而提升预测结果。实验结果表明,该方法在KITTI数据集上的深度估计效果达到甚至超过了已有方法。      

无监督机器翻译综述

由于缺乏高质量大规模的平行语料,低资源语言对上的机器翻译研究较为落后.无监督机器翻译方法利用大量的单语语料来实现机器翻译,不再依赖于大量的平行语料,适合低资源语言的翻译场景.首先,重点介绍无监督机器翻译发展历程中具有里程碑意义的研究工作,阐述无监督机器翻译中常用的技术;其次,论述无监督机器翻译面临的挑战;最后,展望无监...     

基于自监督深度学习的全景图像深度估计研究

深度估计在虚拟现实、场景重建、自动驾驶和目标检测等领域发挥着重要作用。全景图像包含全向视野信息,逐渐成为深度估计领域的研究热点。但是,全景图像存在图像畸变的问题,而且深度数据采集、标注较为困难。对此,提出采用自监督方式,利用自监督深度学习算法,引入通道优化多空间融合注意力机制,增强远距离特征提取,以获取全局和局部信息。同时,引入全景感受野块,扩充感受野以获取多尺度信息。     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。     

基于正样本对比与掩蔽重建的自监督语音表示学习

针对现有基于对比预测的自监督语音表示学习方法在训练时需要构建大量负样本,其学习效果依赖于大批次训练,需要耗费大量计算资源的问题,提出了一种仅使用正样本进行语音对比学习的方法,并将其与掩蔽重建任务相结合得到一种多任务自监督语音表示学习方法,在降低训练复杂度的同时提高语音表示学习的性能。其中,正样本对比学习任务,借鉴图像自监督表示学习中SimSiam方法的思想,采用孪生网络架构对原始语音信号进行两次数据增强,并使用相同的编码器进行处理,将一个分支经过一个前向网络,另一个分支使用梯度停止策略,调整模型参数以最大化2个分支输出的相似度。整个训练过程中不需要构造负样本,可采用小批次进行训练,大幅提高了学习效率。使用LibriSpeech语料库进行自监督表示学习,并在多种下游任务中进行微调测试,对比实验表明,所提方法得到的模型在多个任务中均达到或者超过了现有主流语音表示学习模型的性能。     

基于无监督学习的目标轨迹预测

针对情报与侦察监视领域中目标轨迹预测问题,提出了一种基于无监督学习的预测方法。首先,根据历史信息分析目标历史活动规律;其次,构建隐马尔科夫模型,通过无监督学习自动实现预测目标在栅格网中的运动方向;最后,根据学习得到的运动方向和目标运动速度信息,计算未来短期内的目标轨迹。数值仿真验证了该方法能够有效地预测目标在未来短时刻内（通常为5 min）的运动轨迹。     

基于深度学习的无监督红外图像与可见光图像融合算法

卷积神经网络(CNN)由于出色的性能,被逐渐应用于图像融合领域.对于红外图像和可见光图像的融合任务而言,由于没有标签数据,对其进行无监督的学习建模具有重要意义.针对这个问题,提出了一种无监督的端到端的深度融合算法,该算法可以由输入的红外源图像和可见光源图像,直接预测出包含源图像显著信息的融合图像.所提算法构建了一个自编...     

基于局部注意力和位姿迭代优化的自监督单目深度估计算法

自监督单目深度估计在自动驾驶、智能制造等领域有着广泛的应用。然而由于自监督训练存在大量训练噪声,其估计精度受到了极大限制。针对自监督单目深度估计算法中深度估计精度有限的问题,本文提出了一种基于局部注意力机制和迭代调优的自监督单目深度估计框架。首先,对于深度估计网络,基于局部像素间深度值的高度相关性,本文设计了一种局部注意力机制来融合高分辨率特征图的局部特征,提升深度估计的准确性;其次,对于位姿估计网络,本文设计了一种迭代调优的位姿估计结构,利用残差优化的方式降低位姿估计难度,提升位姿估计的准确性进而提升深度估计网络的性能。实验表明,本文提出的改进自监督单目深度估计算法有效提升了深度估计的精度。      

基于半监督学习的无参考图像质量评价算法

为了能够在图像质量评价领域实现自监督学习,提出一种基于半监督学习的双分支网络训练的无参考图像质量评价算法。它是具有两个分支的训练过程,其中在一个分支使用少量手工标记数据样本来进行有监督学习,在另一个分支进行自监督学习来辅助前者训练同一个特征提取器,自监督学习部分采用几种传统的全参考方法联合为训练样本打上软标签。在6个公开的图像数据库中进行大量实验,结果表明所提算法不仅在合成失真图像数据集上优于目前大多数方法,而且在真实失真图像数据集上具有良好的泛化性能,预测结果与人类主观感知表现一致。     

基于无监督级联的亚像素单应矩阵估计

为提高单应性估计的准确性和解决真实标注难获取的问题,提出一种具有修正功能的无监督单应性估计算法。该算法采用级联结构,其思想类似于迭代,其中每一级网络都保持相同的层数和参数量,下一级网络输出的单应性矩阵为真实矩阵与之前输出单应矩阵和的残差。考虑到模型复杂度和实时性的需求,文章采用两级网络级联。通过在COCO数据集中的5000张图片上进行验证,结果表明,相比传统方法和其他基于深度学习的方法,所设计的级联无监督算法具有更准确的估计能力,其在测试集中的平均像素误差为0.54,较传统方法下降95.38%,运行速度达到95 f/s。     

基于深度强化学习的蜂窝无人机网络中的轨迹设计

设计了一个蜂窝无人机网络,其中无人机采集到的感知数据可以通过直通通信的方式直接传输到移动设备端,或者通过传统的蜂窝方式传输到移动设备端。由于无人机的传输模式会影响到它们的轨迹,在考虑了传输模式的情况下,研究了无人机轨迹设计问题,以最大化系统的总效用。该问题是一个状态行动空间非常大的马尔科夫决策问题,基于此问题提出了一种基于深度强化学习的多无人机轨迹设计算法。仿真结果表明所提出的算法比单智能体算法性能更好。     

机载平台下基于深度检测网络的目标跟踪重捕算法

目标检测与跟踪是机载光电设备至关重要的功能模块,其检测跟踪的性能直接关系到目标感知的精度.近年来基于Siamese网络的改进跟踪算法在各种挑战性的数据集上取得了优异的效果,但大多数改进算法采用局部搜索策略,无法更新模板,且模板会引入背景干扰,最终因跟踪点漂移导致跟踪失败.为了解决这些问题,本文提出了一种结合目标边缘检测的改进全连接Siamese跟踪算法,该算法利用目标的轮廓模板代替边界框模板,减少了背景杂波的干扰;同时,在Siamese网络的基础上增加了一路改进tiny-YOLOv3目标检测网络,利用K均值聚类找到最合适的锚框(anchor box),引入了扩张模块层来扩展感受野,增加了系统的抗遮挡能力,提高机载光电设备的目标捕获概率.在基准测试数据集以及挂飞数据集基础上的仿真测试性能表明本文提出的改进模型特别适合机载光电设备在跟踪与重捕复杂环境下的运动目标,在长期跟踪中能够更好地适应目标的变形和遮挡,提升系统响应时间与适应性.     

基于Attention深度随机森林的社区演化事件预测

在网络结构不断变化的同时,社区结构也随之演化.社区结构在不同时间片的变化可定义为四种不同的演化事件：持续、分离、融合和消失.本文运用网络表示学习的方法,对网络进行图嵌入编码映射到低维向量空间中,研究动态社区演化事件的预测.特征方面,在传统的社区内部属性特征、时间片间属性特性变化和前段时间片的社区演化事件的特征维度的基础上,引入潜在结构特征表征四种演化事件,运用随机游走和Softmax思想获取潜在的结构特征;模型方面,引入深度随机森林的策略,同时采用attention机制、蒙特卡洛特征采样策略进行特征融合和特征训练,克服了已有算法仅获取局部结构特征的缺陷.实验在DBLP、FACEBOOK和Bitcoin数据集上,对比SVM、XGBOOST和RIDGE模型训练,证实了新提出的算法模型对最终预测准确率有很大的提升.     

基于自注意力深度网络的图像超分辨率重建方法

针对现有图像超分辨重建方法难以充分重建图像的细节信息且易出现重建的图像缺乏层次的问题,提出一种基于自注意力深度网络的图像超分辨重建方法。以深度神经网络为基础,通过提取低分辨率图像特征,建立低分辨率图像特征到高分辨率图像特征的非线性映射,重建高分辨率图像。在进行非线性映射时,引入自注意力机制,获取图像中全部像素间的依赖关系,利用图像的全局特征指导图像重建,增强图像层次。在训练深度神经网络时,使用图像像素级损失和感知损失作为损失函数,以强化网络对图像细节信息的重建能力。在3类数据集上的对比测试结果表明,所提方法能够提升图像超分辨重建结果的细节信息,且重建图像的视觉效果更好。     

A Hardware‐Based String Matching Using State Transition Compression for Deep Packet Inspection

This letter proposes a memory‐based parallel string matching engine using the compressed state transitions. In the finite‐state machines of each string matcher, the pointers for representing the existence of state transitions are compressed. In addition, the bit fields for storing state transitions can be shared. Therefore, the total memory requirement can be minimized by reducing the memory size for storing state transitions.     

融入注意力机制的深度学习动作识别

针对现有的深度学习方法在人体动作识别中易出现过拟合、易受到干扰信息影响、特征表达能力不足的问题,提出了一种融入注意力机制的深度学习动作识别方法.该方法在数据预处理中提出了视频数据增强算法,降低了模型过拟合的风险,然后在视频帧采样过程中对现有的采样算法进行了改进,有效抑制了干扰信息的影响,并在特征提取部分提出了融入注意力的残差网络,提高了模型的特征提取能力;之后,利用长短时记忆(Long Short-Term Memory,LSTM)网络解决了空间特征的时序关联问题;最后,通过Softmax完成了相应动作的分类.实验结果表明,在UCF YouTube、KTH和HMDB-51数据集上,所提方法的识别率分别为96.72％、98.06％和64.81％.     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

Optimizing Deep Learning Parameters Using Genetic Algorithm for Object Recognition and Robot Grasping

The performance of deep learning (DL) networks has been increased by elaborating the network structures. However, the DL netowrks have many parameters, which have a lot of influence on the performance of the network. We propose a genetic algorithm (GA) based deep belief neural network (DBNN) method for robot object recognition and grasping purpose. This method optimizes the parameters of the DBNN method, such as the number of hidden units, the number of epochs, and the learning rates, which would reduce the error rate and the network training time of object recognition. After recognizing objects, the robot performs the pick-and-place operations. We build a database of six objects for experimental purpose. Experimental results demonstrate that our method outperforms on the optimized robot object recognition and grasping tasks.     

深度学习光流计算技术研究进展

图像序列光流计算是图像处理与计算机视觉等领域的重要研究方向.随着深度学习技术的快速发展,以卷积神经网络为代表的深度学习理论与方法成为光流计算技术研究的热点.本文主要对深度学习光流计算技术研究进行综述,首先介绍了有监督学习、无监督学习和半监督学习的光流计算网络模型与训练策略,然后重点阐述并分析了不同网络模型优化方法.针对光流计算模型的评估问题,分别介绍了Middlebury、MPI-Sintel和KITTI等数据库及评价基准,并对不同类型深度学习和传统变分光流模型进行对比与分析.最后,总结了深度学习光流计算技术在模型复杂度与泛化性、光流估计鲁棒性、小样本训练准确性等方面的关键技术问题,并指出了可能的解决方案与研究思路.