基于深度学习的RGBD图像协同显著目标检测

本文旨在研究一种基于深度学习的RGBD图像协同显著目标检测模型。首先,本文构建了多分支的编码器结构,有效地提取RGBD图像的深层卷积特征;然后,使用多模态特征融合模块充分融合来自编码器的深层特征;最后,通过基于残差基本块的解码器来预测得到显著性图。此外,本文以深层次监督的方式对整个网络进行约束优化。在两个公开数据集上的测试结果表明,所提模型在预测精度上优于当前6种主流模型,这其中我们的显著性图呈现出更精确的边缘细节。      

基于多模态特征融合网络的空时分组码识别算法

针对现有算法在空时分组码（Space-Time Block Code,STBC）识别过程中存在的低信噪比下误判概率高、识别效率低等问题，本文提出了一种基于多模态特征融合网络（Multi-Modality Features Fusion Network,MMFFN）的空时分组码自动识别方法 .首先，在合并卷积层将STBC时域样本映射为一维特征向量的基础上，采用多扩张率下的扩张卷积提取非连续时间窗的STBC码内特征，实现多时延特征自提取；然后，构建多时序特征自提取模块以提取码间时序特征，进一步扩展映射特征类型；最后，将多时延拼接层获取的最大时延特征作为深层融合特征，并增加了带跨越连接的残差层以提升融合特征利用率，实现空时分组码识别.仿真实验结果表明，本文算法在-9dB下对6类STBC信号的识别准确率达到了90%以上，较现有识别算法的性能获得了显著提升，对低信噪比有较强的适应性.本文提出的STBC多时延特征提取和融合方法，为结合传统算法设计深度学习网络结构提供了新思路，其思想同样可应用于其他通信信号识别领域.     

融合多尺度特征和语义信息的单目深度估计

针对目前的无监督学习方法在单目图像深度估计中存在深度估计不准确、边缘模糊的问题,提出了一种融合多尺度特征信息和语义信息的无监督单目深度估计网络。该网络不仅引入了从编码器到解码器的跳层连接来实现不同尺度特征的提取和融合,还在编码器和解码器之间引入多个空洞卷积并行的语义层来增加感受野,使得结果更加准确。最后在KITTI数据集上进行了训练和测试,误差指标均低于目前的无监督学习方法,图像预测的准确率在3个比例阈值下分别达到了91%,96.8%和98.7%,超过了所有的监督和无监督的方法,使场景中各目标的边缘更清晰,层次也更分明。     

基于子孔径与全孔径特征学习的SAR多通道虚假目标鉴别

SAR多通道引起的虚假目标与散焦的船舶目标形状纹理特征非常相似,在全孔径SAR图像中难以区分。针对此类虚假目标造成的虚警问题,该文提出一种基于子孔径与全孔径特征学习的SAR多通道虚假目标鉴别方法。首先,对复数SAR图像进行幅值计算得到幅度图像,利用迁移学习方法提取幅度图像中的全孔径特征;接着,对复数SAR图像进行子孔径分解获得一系列子孔径图像,然后用栈式卷积自编码器(SCAE)提取子孔径图像中的子孔径特征;最后,将子孔径和全孔径特征进行串联并利用联合特征进行分类。在高分三号超精细条带模式SAR图像上的实验结果表明,该方法可以有效的鉴别船舶目标和多通道虚假目标,与仅使用全孔径特征学习的方法相比准确率提升了16.32%。      

基于多模态特征的无监督领域自适应多级对抗语义分割网络

为了解决领域自适应中存在领域间视觉、空间以及语义特征分布差异的问题,提出了基于多模态特征的无监督领域自适应多级对抗语义分割网络。首先,设计3层结构的注意力融合语义分割网络来分别从源域和目标域学习上述三类特征。然后,在单级对抗学习中引入联合分布置信度和语义置信度的自监督学习方法,从而在领域间所学特征的分布距离最小化过程中实现更多目标域像素的分布对齐。最后,通过基于多模态特征的多级对抗学习方法对3路对抗分支与3个自适应子网进行联合优化,从而能够有效学习各子网所提取特征的域间不变表示。实验结果表明,与当前先进方法相比,所提网络在GTA5到Cityscapes、SYNTHIA到Cityscapes和SUN-RGBD到NYUD-v2的数据集上分别取得最优的平均交并比62.2%、66.9%和59.7%。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示.然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks...     

基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

利用跨模态轻量级YOLOv5模型的PET/CT肺部肿瘤检测

多模态医学图像可在同一病灶处提供更多语义信息,针对跨模态语义相关性未充分考虑和模型复杂度过高的问题,该文提出基于跨模态轻量级YOLOv5(CL-YOLOv5)的肺部肿瘤检测模型。首先,提出学习正电子发射型断层显像(PET)、计算机断层扫描(CT)和PET/CT不同模态语义信息的3分支网络;然后,设计跨模态交互式增强块充分学习多模态语义相关性,余弦重加权计算Transformer高效学习全局特征关系,交互式增强网络提取病灶的能力;最后,提出双分支轻量块,激活函数簇(ACON)瓶颈结构降低参数同时增加网络深度和鲁棒性,另一分支为密集连接的递进重参卷积,特征传递达到最大化,递进空间交互高效地学习多模态特征。在肺部肿瘤PET/CT多模态数据集中,该文模型获得94.76%mAP最优性能和3 238 s最高效率,以及0.81 M参数量,较YOLOv5s和EfficientDet-d0降低7.7倍和5.3倍,多模态对比实验中总体上优于现有的先进方法,消融实验和热力图可视化进一步验证。     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

基于信噪比分类网络的调制信号分类识别算法

针对传统降噪算法损伤高信噪比(SNR)信号而造成信号识别准确率下降的问题,该文提出基于卷积神经网络的信噪比分类算法,该算法利用卷积神经网络对信号进行特征提取,用固定K均值(FK-means)算法对提取的特征进行聚类处理,准确分类高低信噪比信号。低信噪比信号采用改进的中值滤波算法降噪,改进的中值滤波算法在传统中值滤波的基础上增加了前后采样窗口的关联性机制,来改善传统中值滤波算法处理连续噪声效果不佳的问题。为充分提取信号的空间特征和时间特征,该文提出卷积神经网络和长短时记忆网络并联的卷积长短时(P-CL)网络,利用卷积神经网络和长短时记忆网络分别提取信号的空间特征与时间特征,并进行特征融合与分类。实验表明,该文提出的调制信号分类模型识别准确率为91%,相比于卷积长短时(CNN-LSTM)网络提高了6%。     

Research on EEG emotion recognition based on CNN+BiLSTM+self-attention model

<正>To address the problems of insufficient dimensionality of electroencephalogram(EEG) feature extraction, the tendency to ignore the importance of different sequential data segments, and the poor generalization ability of the model in EEG based emotion recognition, the model of convolutional neural network and bi-directional long short-term memory and self-attention(CNN+Bi LSTM+self-attention) is proposed. This model uses convolutional neural network(CNN) to extract more distinctive featu...     

基于改进深层网络的人脸识别算法

目前的人脸识别算法在其特征提取过程中采用手工设计（hand-crafted）特征或利用深度学习自动提取特征.本文提出一种基于改进深层网络自动提取特征的人脸识别算法,可以更准确地提取出目标的鉴别性特征.算法首先对图像进行ZCA（Zero-mean Component Analysis）白化等预处理,减小特征相关性,降低网络训练复杂度.然后,基于卷积、池化、多层稀疏自动编码器构建深层网络特征提取器.所使用的卷积核是通过单独的无监督学习获得的.此改进的深层网络通过预训练和微调,得到一个自动的深层特征提取器.最后,利用Softmax回归模型对提取的特征进行分类.本文算法在多个常用人脸库上进行了实验,表明了其在性能上比传统方法和普通深度学习方法都有所提高.     

一种欠完备自编码器调制识别技术

基于信号特征进行模式识别的调制识别方法需要先计算信号的高阶特征、高阶累积量再进行模式识别,整体设计复杂,特征不易计算。机器学习技术由于其强大的特征提取能力和分类能力,被广泛应用到模式识别领域中。针对调制识别问题,提出了一种基于欠完备自编码器的调制识别技术,使用欠完备自编码器进行调制信号的特征自动提取,再使用神经网络分类器进行分类识别。整体模型更为简洁,运算复杂度较低,有利于部署在硬件上进行实时识别。对常见的BPSK、QPSK、2ASK、2FSK、16QAM数字调制方式进行的识别实验表明,算法在信噪比10 dB时平均识别率高于0.97,并且在信噪比为0 dB时仍然有0.92以上的平均识别率。     

基于LSTM网络和特征融合的通信干扰识别

针对现有通信干扰信号识别方法识别效果不佳的问题,提出了一种基于长短时记忆网络(Long Short-Term Memory,LSTM)和特征融合的通信干扰识别方法.该方法利用LSTM网络提取干扰信号的特征,通过LSTM强大的序列特征提取能力提升干扰信号特征提取的性能;通过提取信号的时域和频域特征后进行特征融合,使用全连...     

结合LSTM与CNN的野外车辆声信号分类

针对野外环境下微声传感器采集的小型轮式车、大型轮式车和履带车3种车辆声信号受风噪影响严重、分类性能较低的问题,提出了一种长短时记忆网络(LSTM)与多尺度、多层次特征融合卷积神经网络(CNN)相结合的分类算法——野外车辆识别算法(FVNet).该算法先采用一层LSTM网络提取声信号的时序特征,充分利用声信号的长时依赖关...     

基于卡口上下文和深度置信网络的车辆轨迹预测模型研究

针对车辆轨迹预测中节点序列的时序特性和实际路网中的空间关联性,该文提出一种基于深度置信网络和SoftMax (DBN-SoftMax)轨迹预测方法.首先,考虑到轨迹在节点集合中的强稀疏性和一般特征学习方法对新特征的泛化能力不足,该文利用深度置信网络(DBN)较强的无监督特征学习能力,达到提取轨迹局部空间特性的目的;然后,针对轨迹的时序特性,该文采用逻辑回归的预测思路,用当前轨迹集在路网特征空间中的线性组合来预测轨迹;最后,结合自然语言处理领域中的词嵌入的思想,基于实际轨迹中节点存在的上下文关系,运用节点的向量集表征了节点间的交通时空关系.实验结果表明该模型不仅能够有效地提取轨迹特征,并且在拓扑结构复杂的路网中也能得到较好的预测结果.     

基于卡口上下文和深度置信网络的车辆轨迹预测模型研究

针对车辆轨迹预测中节点序列的时序特性和实际路网中的空间关联性,该文提出一种基于深度置信网络和SoftMax (DBN-SoftMax)轨迹预测方法。首先,考虑到轨迹在节点集合中的强稀疏性和一般特征学习方法对新特征的泛化能力不足,该文利用深度置信网络(DBN)较强的无监督特征学习能力,达到提取轨迹局部空间特性的目的;然后,针对轨迹的时序特性,该文采用逻辑回归的预测思路,用当前轨迹集在路网特征空间中的线性组合来预测轨迹;最后,结合自然语言处理领域中的词嵌入的思想,基于实际轨迹中节点存在的上下文关系,运用节点的向量集表征了节点间的交通时空关系。实验结果表明该模型不仅能够有效地提取轨迹特征,并且在拓扑结构复杂的路网中也能得到较好的预测结果。     

基于PCANet和SVM的谎言测试研究

主成分分析网络（Principal Component Analysis Network,PCANet）是基于深度学习理论的一种非监督式的特征提取方法,它克服了手工提取特征的缺点,目前其有效性仅仅在图像处理领域中得到了验证。本文针对当前谎言测试方法中脑电信号特征提取困难的缺点,首次将PCANet方法应用到一维信号的特征提取领域,并对测谎实验的原始脑电信号提取特征,然后使用支持向量机（Support Vector Machine,SVM）将说谎者和诚实者的两类信号进行分类识别,将实验结果和其它分类器及未使用特征提取的分类效果进行了比较。实验结果显示相对未抽取任何特征的方法,提出的方法PCANet－SVM可以获得更高的训练和测试准确率,表明了PCANet方法对于脑电信号特征提取的有效性,也为基于脑电信号的测谎提供了一种新的途径。     

Spatiotemporal emotion recognition based on 3D time-frequency domain feature matrix

The research of emotion recognition based on electroencephalogram (EEG) signals often ignores the relatedinformation between the brain electrode channels and the contextual emotional information existing in EEG signals,which may contain important characteristics related to emotional states. Aiming at the above defects, aspatiotemporal emotion recognition method based on a 3-dimensional (3D) time-frequency domain feature matrixwas proposed. Specifically, the extracted time-frequency domain EEG features are first expressed as a 3D matrixformat according to the actual position of the cerebral cortex. Then, the input 3D matrix is processed successivelyby multivariate convolutional neural network (MVCNN) and long short-term memory (LSTM) to classify theemotional state. Spatiotemporal emotion recognition method is evaluated on the DEAP data set, and achievedaccuracy of 87.58% and 88.50% on arousal and valence dimensions respectively in binary classification tasks, aswell as obtained accuracy of 84.58% in four class classification tasks. The experimental results show that 3D matrixrepresentation can represent emotional information more reasonably than two-dimensional (2D). In addition,MVCNN and LSTM can utilize the spatial information of the electrode channels and the temporal context information of the EEG signal respectively.