基于非局部3D残差网络的视频指纹算法

为了实现视频拷贝的快速准确检索,提出一种基于非局部3D残差网络的紧凑视频指纹。该算法以三胞胎网络架构为基础,采用非局部模块3D残差网络同时捕获视频的全局与局部时空信息,在特征提取部分末端加入量化编码层,实现了原始视频数据到离散指纹码的端到端映射;设计了由角度关系三元组损失和量化误差损失组成的网络目标函数。大量的实验结果表明,与对比算法相比,该算法在保持紧凑的同时鲁棒性与独特性均表现突出,查准率与查全率有明显提升。     

基于图像融合的表情识别研究

为提高表情识别精度,结合传统的深度卷积神经网络,提出一种基于深度度量融合算法的表情识别模型。首先通过DCNN(Dynamic Convolution Neural Network,深度卷积神经网络)模块对人脸图像特征进行学习,然后同步优化Softmax分类损失函数和三元组损失函数。在三元组损失函数优化方面,提出一种对称三元组损失函数Lw,以避免不完整判断问题,最后以CK+等作为数据来源,通过上述模型对表情进行识别。结果表明,本改进的表情识别方法,可有效辨识高兴、厌恶和藐视等表情,但对恐惧、生气等表情识别精度不高;与其他表情识别算法相比,本识别算法识别精度最高,达到97.86%,具有很大识别优势。     

多分支融合局部特征的行人重识别算法

大部分结合深度学习的行人重识别算法主要以单分支的网络结构为主,且大多利用图片的全局特征信息,这样易错失关键行人信息,导致度量学习效果、算法精度下降。因此,为使网络获取到更多的关键行人信息,减少对行人局部、细节信息的错失,加强网络对行人特征的学习。基于ResNet-50的骨干网络,采取多分支的网络结构设计,综合考虑训练难易、运算量,选择融合三个独立分支的结构设计：随机擦除分支、全局学习分支、局部学习分支,并在此基础上根据实验数据进行调整优化,最后再结合最小二乘法分配损失函数权重使模型更具鲁棒性,实验结果表明,三个分支具有互补性,使用融合分支特征做算法测试时,相比基础的单分支、多分支网络,该算法使得行人重识别精度提升。     

基于R(2+1)D三元孪生网络的短视频指纹提取

随着自媒体时代的兴起,网民自制的短视频数据在网络上广泛传播,视频版权保护已成为重中之重。视频指纹技术将数字视频内容映射为唯一的身份描述符,用于视频数据的智能化审核。如何充分挖掘短视频的时空信息和视频间的关联性形成有效的视觉特征表达,是决定短视频指纹质量的关键因素。因此,基于R(2+1)D三元孪生网络模型,提出一种短视频指纹提取方法。首先,使用R(2+1)D卷积神经网络模型提取短视频的时空特征;然后构建权重参数共享的三元组网络学习成组视频的关联性,映射为紧凑的哈希特征表示;最后通过哈希层编码为视频指纹。在CC_Web_Video和VCDB数据集进行了实验,结果表明该方法可以在保证短视频指纹紧凑性的前提下,取得优于其他算法的性能指标。     

优化三元组损失的深度距离度量学习方法

针对基于三元组损失的单一深度距离度量在多样化数据集环境下适应性差,且容易造成过拟合的问题,提出了一种优化三元组损失的深度距离度量学习方法。首先,对经过神经网络映射的三元组训练样本的相对距离进行阈值化处理,并使用线性分段函数作为相对距离的评价函数;然后,将评价函数作为一个弱分类器加入到Boosting算法中生成一个强分类器;最后,采用交替优化的方法来学习弱分类器和神经网络的参数。通过在图像检索任务中对各种深度距离度量学习方法进行评估,可以看到所提方法在CUB-200-2011、Cars-196和SOP数据集上的Recall@1值比之前最好的成绩分别提高了4.2、3.2和0.6。实验结果表明,所提方法的性能优于对比方法,同时在一定程度上避免了过拟合。     

基于深度度量学习的电机故障诊断

深度学习以其强大的自适应特征提取和分类能力在机械大数据处理方面取得了丰硕的成果，由于电机结构的复杂性，其信号表现出的非平稳、非线性和复杂多样等特点，使得传统分类方法中的Softmax分类器+交叉熵损失函数对电机故障诊断力不从心。根据电机信号非平稳、数据量大等特点，结合短时傅里叶变换(STFT)与深度学习中的卷积神经网络(CNN)算法和Triplet Loss三元组思想，提出了深度度量学习电机故障诊断方法。该方法能将电机故障信号转换成时频谱图，同时构建CNN，将预处理后的样本用于CNN的训练，采用Triplet Loss作为损失函数度量故障数据高维特征间的距离，并结合标签有监督地微调整个网络，从而实现准确的电机故障诊断。实验表明该方法在处理复杂数据时能够度量特征在高维空间中的距离，高效完成故障诊断任务，弥补了交叉熵函数的不足。     

基于最大相关熵准则的鲁棒度量学习算法

度量亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用来反映数据间存在的一些重要距离关系.而距离对于各种分类聚类问题影响很大,因此度量学习对于这类机器学习问题有重要影响.受到现实存在的各种噪声影响,已有的各种度量学习算法在处理各种分类问题时,往往出现分类准确率较低以及分类准确率波动大的问题.针对该问题,本文提出一种基于最大相关熵准则的鲁棒度量学习算法.最大相关熵准则的核心在于高斯核函数,本文将其引入到度量学习中,通过构建以高斯核函数为核心的损失函数,利用梯度下降法进行优化,反复测试调整参数,最后得到输出的度量矩阵.通过这样的方法学习到的度量矩阵将有更好的鲁棒性,在处理受噪声影响的各种分类问题时,将有效地提高分类准确率.本文将在一些常用机器学习数据集（UCI）还有人脸数据集上进行验证实验.     

基于改进三元组网络和K近邻算法的入侵检测

入侵检测一直以来被视作是保证网络安全的重要手段。针对网络入侵检测中检测准确率和计算效率难以兼顾的问题,借鉴深度度量学习思想,提出了改进三元组网络（imTN）结合K近邻（KNN）的网络入侵检测模型imTN-KNN。首先,设计了适用于解决入侵检测问题的三元组网络结构,以获取更有利于后续分类的距离特征;其次,为了应对移除传统模型中的批量归一化（BN）层造成过拟合进而影响检测精度的问题,引入了Dropout层和Sigmoid激活函数来替换BN层,从而提高模型性能;最后,用多重相似性损失函数替换传统三元组网络模型的损失函数。此外,将imTN的距离特征输出作为KNN算法的输入再次训练。在基准数据集IDS2018上的对比实验表明：与现有性能良好的基于深度神经网络的入侵检测系统（IDS-DNN）和基于卷积神经网络与长短期记忆（CNN-LSTM）的检测模型相比,在Sub_DS3子集上,imTN-KNN的检测准确率分别提高了2.76%和4.68%,计算效率分别提高了69.56%和74.31%。     

基于草图纹理和形状特征融合的草图识别

人类具有很强的草图识别能力. 然而, 由于草图具有稀疏性和缺少细节的特点, 目前的深度学习模型在草图分类任务上仍然面临挑战. 目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异. 提出一种端到端的手绘草图识别模型, 简称双模型融合网络, 它可以通过相互学习策略获取草图的纹理和形状信息. 具体地, 该模型由2个分支组成: 一个分支能够从图像表示(即原始草图)中自动提取纹理特征, 另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征. 此外, 提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性, 这样可以保证2个分支关注相同的判别性区域. 最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化. 在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验, 评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.     

基于多特征融合卷积的步态识别算法研究

针对GaitSet算法中主干网络学习能力和分类能力较弱,提出基于多特征融合卷积网络的步态识别算法(MFFC-GaitSet)。算法通过多特征融合卷积重建GaitSet网络增强网络学习能力,同时对三元组损失函数进行平滑优化;利用形态学处理对步态轮廓图进行修补。算法在Casia-B数据集上进行验证,步态识别精度达到85.811%,提高2.6%;模型权重仅增加6%。算法可以有效减少复杂环境对步态识别的负面影响,实现复杂环境下高精度的步态识别。实验结果表明,方法能够实现较为精确的步态识别,并具有较佳的鲁棒性和泛化能力。     

无人机视角下的多车辆跟踪算法研究

针对无人机视频中存在目标密集、运动噪声强而导致跟踪性能显著下降的问题,提出了一种改进YOLOv3的车辆检测算法及一种基于深度度量学习的多车辆跟踪算法。针对车辆检测的精度与实时性问题,采用深度可分离卷积网络MobileNetv3作为特征提取网络实现网络结构轻量化,同时采用CIoU Loss作为边框损失函数对网络进行训练。为了在多目标跟踪过程中提取到更具判别力的深度特征,提出了一种基于深度度量学习的多车辆跟踪算法,实验证明,本文提出的算法有效改善车辆ID跳变问题,速度上满足无人机交通视频下车辆跟踪的实时性要求,达到17 f/s。     

基于HOPE-CTC的端到端语音识别

为增强端到端语音识别模型的鲁棒性和特征提取的有效性,对瓶颈特征提取网络进行研究,提出采用基于联合优化正交投影和估计的端到端语音识别模型.通过连接时序分类损失函数训练瓶颈特征提取网络,摆脱对语言学和对齐信息的先验知识的依赖,在解码输出部分添加注意力机制,实现两种不同的端到端模型的融合.在中文数据集AISHELL-1上的实验结果表明,与传统识别模型相比,该改进端到端模型更适用于带噪语音的识别任务.     

基于深度学习的人体动作识别方法

针对人体动作深度视频的四维信息映射到二维空间后,动作分类容易发生混淆的问题,提出一种基于深度学习的人体动作识别方法。首先构建空间结构动态深度图,将深度视频的四维信息映射到二维空间,进行信息降维处理;然后提出基于联合代价函数的深度卷积神经网络,结合交叉熵损失函数与中心损失函数作为联合代价函数,指导卷积层学习到更具分辨力的深度特征,以进行更精确的分类。在MSRDailyActivity3D和SYSU 3D HOI两个数据集的实验结果表明,与现有方法相比,该方法识别率得到了较明显的提升,验证了其有效性和鲁棒性。该方法较好地解决了动作分类容易发生混淆的问题。     

面向三维模型视图特征提取的残差卷积网络优化

在已有残差卷积神经网络基础上,采用加权损失函数提高视图特征的可分性,提出面向三维模型视图特征提取的残差卷积网络优化算法.首先对三维模型进行多视图渲染得到二维视图;然后通过残差网络扩展模块加深网络深度;最后采用中心损失函数和交叉熵损失函数定义加权损失函数,解决交叉熵损失函数因为类内距离小于类间距离而导致的特征不可分问题.在ModelNet数据集上的实验结果表明,该算法提取到的特征在三维模型分类问题上性能表现优异.     

多方向分区网络结构的行人再识别

将全局特征与局部特征相结合是提高行人再识别(re-identification)任务识别能力的重要解决方案.以往主要借助姿态估计等外部信息来定位有相应语义的区域,从而挖掘局部信息,这种方法大多是非端到端的,训练过程复杂且缺乏鲁棒性.针对该问题,文中提出了一种能有效挖掘局部信息并且能结合全局信息与局部信息进行端到端特征学习的方法,即多方向分区网络(Multi-orientation Partitioned Network,MOPN),该网络有3个分支,一个用于提取全局特征,两个用于提取局部特征.该算法不依靠外部信息,而是在不同的局部分支分别将图像按水平方向和竖直方向切分为若干横条纹和竖条纹,从而得到不同的局部特征表示.在Market-1501、DukeMTMC-reID、CUHK03和跨模态素描数据集SketchRe-ID上的综合实验表明,该算法的整体性能优于其他对比算法,具备有效性和鲁棒性.     

融合三元卷积神经网络与关系网络的小样本食品图像识别

食品识别在食品健康和智能家居等领域获得了广泛关注。目前大部分的食品识别工作是基于大规模标记样本的深度神经网络,这些工作无法有效地识别只有少量样本的类别,因此小样本食品识别是一个亟待解决的问题。目前基于度量学习的小样本识别方法着重于探究样本之间的相似度信息,忽略了类内与类间更加细粒度的区分。学习类内与类间区分信息的主流方法是基于线性度量函数的三元卷积神经网络,然而对于食品图像而言,线性度量函数的鉴别能力不足。为此,引入可学习的关系网络作为三元卷积神经网络的非线性度量函数,进一步提出了一种基于非线性度量的三元神经网络用于小样本食品识别方法。该方法使用三元神经网络学习图像的特征嵌入表示,然后采用鉴别能力更强的关系网络作为非线性度量函数,基于端到端的训练方式来学习类内与类间更加细粒度的区分信息。此外,提出了一种可以使模型训练更加稳定的三元组样本在线采样方案。通过在Food-101,VIREO Food-172和ChineseFoodNet食品数据集上的实验结果可知,相比基于孪生网络的小样本学习方法,所提方法的性能平均提高了3.0%,相比基于线性度量函数的三元神经网络的方法,所提方法的性能平均提升了1.0%。文中还探究了损失函数的阈值、三元组采样的参数和初始化方式对实验性能的影响。     

基于深度残差概率随机森林的时间序列分类方法

时间序列数据广泛存在于工业、医疗等应用领域,由于其时序相关性强、特征空间维度大,使得传统的时间序列分类方法普遍存在精度不足和需要复杂特征工程等问题.充分考虑深度神经网络在处理复杂时序数据上的优越性以及决策树方法拟合数据能力强的优势,提出一种基于残差网络和概率决策树的端到端统一深度学习模型.该模型利用残差网络从原始时间序列中提取高级特征,为了更好地建立时序数据特征与类别标签间的映射关系,将概率决策树融入至残差网络的分类层.同时,设计随机子空间的集成策略,缓解由于残差网络的深层结构产生的过度拟合现象,并给出联合优化模型分裂参数和预测参数的迭代优化方案.在大量的基准数据集和工业案例上进行实验和分析,实验结果表明,所提出模型的分类性能优于传统方法与其他深度学习方法,且可有效提高残差网络的泛化能力.     

面向特征数据范围的泛化LVQ算法

欧氏距离度量向量相似性时忽视向量各特征取值范围的差异性,从而影响学习向量量化( LVQ)算法及其变种的分类精确度。针对此问题,文中提出一种面向特征取值范围的向量相似性度量函数,并基于该度量函数与泛化学习向量量化算法得出一种面向特征数据范围的泛化学习向量量化算法( GLVQ-Range)。使用UCI机器学习库中8组数据对比GLVQ-Range和传统其它LVQ变种算法,验证文中算法的分类准确性更高和运算速度更快。使用视频车型分类数据,验证GLVQ-Range在真实生产环境中的可用性。     

深度度量学习综述

深度度量学习已成为近年来机器学习最具吸引力的研究领域之一,如何有效的度量物体间的相似性成为问题的关键。现有的依赖成对或成三元组的损失函数,由于正负样本可组合的数量极多,因此一种合理的解决方案是仅对训练有意义的正负样本采样,也称为“难例挖掘”。为减轻挖掘有意义样本时的计算复杂度,代理损失设置了数量远远小于样本集合的代理点集。该综述按照时间顺序,总结了深度度量学习领域比较有代表性的算法,并探讨了其与softmax分类的联系,发现两条看似平行的研究思路,实则背后有着一致的思想。进而文章探索了许多致力于提升softmax判别性能的改进算法,并将其引入到度量学习中,从而进一步缩小类内距离、扩大类间距,提高算法的判别性能。     

基于改进深度度量学习算法的表面缺陷检测

为了解决小批量、多品种工业产品的表面质量检测问题,提出一种基于改进深度度量学习的缺陷检测算法。该算法对VGG16网络模型做改进,更有利于原始图像的隐空间映射。针对产品表面缺陷检测的任务,提出条件三元组损失函数以加强神经网络的拟合能力。同时,在隐空间中进行缺陷判定时,抛弃原始度量学习中基于KNN算法的归类方法,提出基于高斯分布概率的归类模型。在检测新类型产品时,在已训练好的网络模型的基础上,使用新产品的图像数据作为输入对网络进行微调。利用该算法在纽扣缺陷数据集上经K-Fold交叉验证,在只需50个无缺陷样本和50个有缺陷样本的小样本情况下,该算法在不同的查询集上的检测准确率均在90%以上,最高可达99.89%,与传统深度度量学习算法相比,检测准确率提升10%以上。实验结果表明,改进深度度量学习算法可以很好地解决小批量、多品种工业产品的表面缺陷检测问题。