基于多类别Focal Loss损失函数的变电站场景图像语义分割研究北大核心

图像语义分割技术在变电站智能机器人抢险作业以及日常巡检中起重要作用。针对变电站场景中的类别不平衡问题,提出了一种用于训练多类别图像语义分割模型的多类别Focal Loss损失函数。多类别Focal Loss损失函数可以动态调整各类别的权值,对出现频率小的类别更加友好。基于深度学习和变电站场景图像,分别使用多类别Focal Loss损失函数和交叉熵损失函数训练基于FCN、SegNet和DeepLabV3网络的图像语义分割模型进行对比实验,并通过平均交并比和像素准确率等评价指标进行模型评价。实验结果表明基于多类别Focal Loss损失函数的图像语义分割模型具有良好效果,有助于缓解类别不平衡现象。     

基于能量模型的行人与车辆再识别方法

为了解决行人再识别以及车辆再识别算法中网络训练过程对计算资源的消耗过大且准确率较低的问题,提出基于能量模型的目标分类和度量学习方法. 利用样本特征空间中同类样本的低能量分布特性, 设计对比能量损失函数,形式上表达为训练样本在真实目标类别上的损失函数响应和非目标类别上的响应之差,可以更准确地增大目标响应,抑制非目标响应, 提高了分类准确率,使得同类样本特征更聚集、异类样本特征更远离. 在多个行人再识别和车辆再识别数据集上的测试结果显示, 相对于Soft-max和Triplet混合损失函数, 利用能量模型可以提升网络训练效率,提高目标再识别准确率.     

基于BERT-BiLSTM模型的短文本自动评分系统

针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型．使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分．实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于B...     

基于BERT语义分析和CNN的短文本分类研究

针对短文本数据量较小情况下CNN模型无法获得较好文本分类特征造成文本分类精度不高的问题,提出一种结合BERT语义分析和CNN的短文本分类模型,通过对BERT预训练模型进行微调获得文本向量表示,文本向量能够体现文本特征的全局语义关系,并将文本向量表示数据输入CNN模型进行分类模型训练,获得最终的文本分类特征实现分类。此方法能够实现短文本分类精度的有效提升。     

基于自监督任务的多源无监督域适应法

针对多源聚合下同时对齐域不变特征较困难而造成分类精度不高的问题, 提出基于自监督任务的多源无监督域适应法. 该方法引入旋转、水平翻转和位置预测3个自监督辅助任务, 通过伪标签性、语义信息的一致性对无标签数据进行自适应的对齐优化. 构建新的优化损失函数, 减少多域公共类别的分类差异. 针对类别不均衡的问题, 基于少样本大权重的原则, 定义动态权重参数, 提高模型的分类性能. 在公开的Office-31、Office-Caltech10 2种基准数据集上, 与现有的主流方法进行实验对比. 实验结果表明, 在类别均衡、不均衡2种情况下, 分类精度最高可以提高6.8%.     

基于反时限混沌郊狼优化算法的BP神经网络参数优化

针对传统方法采用先训练后测试两阶段学习机制极易导致的过拟合或欠拟合问题, 提出一种基于混合双层自组织径向基函数神经网络的优化学习(hybrid bilevel self-organizing radial basis function neural network optimization learning, Hb-SRBFNN-OL)算法。首先, 将训练过程和测试过程集成到一个统一的框架中, 规避过拟合或欠拟合问题。其次, 基于进化学习机制, 提出上下2层的交互式优化学习算法, 上层基于网络复杂度和测试误差自组织调整网络结构, 下层采用列文伯格-马夸尔特(Levenberg Marquardt, LM)算法作为优化器对自组织径向基函数神经网络(self-organizing radial basis function neural network, SO-RBFNN)的连接权值进行优化。最后, 利用来自多个子网络的综合信息生成模型的最终输出, 加速网络全局收敛。为验证所提方法的可行性, 分别在多个分类和预测任务中进行了测试实验。结果表明, 在与传统神经网络结构相似甚至更好的测试和分类精度下, 该方法不仅能实现更快的训练收敛, 而且能进化成更精简紧凑的径向基函数神经网络(radial basis function neural network, RBFNN)模型。尤其在污水处理过程中总磷的质量浓度预测实验中, 测试集中均方根误差(root mean squared error, RMSE)最高可降低48.90%, 实际场景实验结果验证了所提算法的精确性更佳且泛化能力更强。

     

基于BBNN的网络攻击文本自动化分类方法

基于描述文本的网络攻击自动化分类是实现APT攻击知识智能抽取的重要基础.针对网络攻击文本专业词汇多、难识别,语义上下文依赖强、难判断等问题提出一种基于上下文语义分析的文本词句特征自动抽取方法,通过构建BERT与BiLSTM的混合神经网络模型BBNN(BERT and BiLSTM Neural Network),计算得...     

大规模情感词典的构建及其在情感分类中的应用

为了有效获取短文本评论隐含的语义信息进行情感倾向性识别,提出一种基于CNN-LSTM模型的短文本情感分类方法.利用卷积神经网络（convolutional neural network,CNN）模型设置不同大小的卷积窗口,提取短文本的语义特征.引入长短时记忆（long short-term memory,LSTM）神经网络模型对短文本的情感倾向进行预测.在3种不同的中英文短文本评论数据集上进行验证取得较好的性能,其中,在NLPCC评测数据集上,正、负向情感识别的F₁值分别达到0.768 3和0.772 4（优于NLPCC评测的最优结果）.相较于传统的机器学习分类模型,t-test检验结果表明性能提升显著.

     

一种面向用户反馈的智能分析与服务设计方法

针对用户评论数据,提出了一种面向用户反馈的智能分析与服务设计方法。该方法选取了IOS平台多个App的用户评论数据,对其进行智能挖掘和分类,分析其中的潜在需求。首先,分析用户需求类别,将划分的10个需求进行具体定义。其次,对用户数据进行爬取、清洗和标注,形成软件分类数据集。通过实验检验TextCNN、BiLSTM＿Attention和BERT对用户评论数据智能分类的效果,将分类结果进行优先级排序。最后,将该方法封装成一种可重用的智能服务供使用者远程调用。实验结果表明：TextCNN模型综合效果最好,在单一指标Precision上,BERT模型效果最好;BERT模型利用并行计算优化训练过程,使其可拓展到大规模项目,在数据量大、精确性要求比较高的情况下,推荐BERT模型;反之,在应对数据小、时限紧的情况时,推荐TextCNN模型。     

基于自适应卷积核的改进CNN数值型数据分类算法

针对卷积神经网络(Convolutional neural network,CNN)模型在对工业数值型数据分类方面存在特征使用不充分、模型分类性能不佳等问题,提出了一种基于自适应卷积核的改进CNN(Improved CNN based on adaptive convolution kernel, ACK-ICNN)算法。该算法为了增加特征的重复使用率,构建了一种多尺度卷积核的模型结构,通过融合处理卷积核提取的不同特征来实现,增强了模型的适应能力;为了进一步提升该算法的性能,利用网格搜索算法自适应选取CNN中最优的卷积核大小,使得模型能够提取出最优的特征。采用TE过程的故障数据对其进行测试,并与支持向量机、极限学习机、最近邻等典型的数据驱动方法进行对比,测试结果表明,该算法能有效提升各类故障的分类精度。     

基于1D-CNN的齿轮3D振动信号故障诊断方法

为了解决从齿轮一维振动信号提取故障特征不全面的问题,提出一种基于一维卷积神经网络（one-dimensional convolutional neural network,1D-CNN）的齿轮3D振动信号故障诊断新方法。首先,提取原始三维振动信号各维的时域特征;其次,利用一维卷积神经网络（1D-CNN）模型进行特征选择;最后,将选择后的特征进行重组,重组特征作为1D-CNN故障诊断模型的输入实现故障分类操作。结果表明,利用提出的故障诊断方法,诊断准确率显著提高。模型的结构简单,训练速度快,能够快速实现故障诊断。     

基于BERT的复合网络模型的中文文本分类

针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。     

基于无负样本损失和自适应增强的图对比学习

针对图对比学习方法中对输入图进行随机增强和须利用负样本构造损失的问题，提出基于无负样本损失和自适应增强的图对比学习框架.该框架利用输入图中节点度的中心性进行自适应增强以生成2个视图，避免随机增强对重要的节点和边进行删除从而影响生成视图的质量，以提高框架的鲁棒性.利用相同权重编码器网络得到2个视图的嵌入矩阵，无须进行指定.利用基于互相关的损失函数指导框架学习，该损失函数不依赖于非对称神经网络架构，无须用负样本构造损失函数，从而避免在图的情况下难以定义的负样本变得更具有挑战性，以及负样本构造损失会增大计算和存储负担的问题.所提框架在3个引文数据集上进行节点分类实验，结果表明，其在分类准确性方面优于很多基线方法.     

一种RNN-DBN的网络购物风险评估方法

针对网络购物过程中的交易风险问题,提出一种利用深度学习技术中的循环神经网络(recurrent neural network,RNN)模型和深度置信网络(deep belief network,DBN)模型来进行网络购物风险评估的方法。该方法首先确定交易风险评估的多个影响因素,然后采用RNN模型对主观因素进行语义分析和情感分类,从而实现定性的主观评价到定量的客观评价的转化,最后采用DBN模型对所有客观影响因素进行交易风险综合评估。通过模拟实验验证,所提出的方法能够有效的解决交易风险评估问题,同时相比传统方法准确性更高,且评价结果更为科学。     

基于CNN-SVM的飞机EHA故障诊断算法研究

针对飞机电动静液作动器(electro-hydrostatic actuator, EHA)系统集成度高、工况复杂、故障种类多的特点,为了对其典型故障进行有效诊断,提出一种基于卷积神经网络(convolutional neural networks, CNN)和支持向量机(support vector machine, SVM)的故障诊断算法。使用CNN对故障数据进行自适应特征提取,再利用SVM对CNN全连接层输出进行分类。为提高SVM分类性能,使用带动态惯性权重的自适应粒子群优化算法(dynamic inertia weight adaptive particle swarm optimization, IWAPSO)实现对SVM参数的优化选择。引入Ramp损失函数降低SVM的噪声敏感性。结果表明：经过参数优化后的SVM准确率比标准SVM提升了12.6%,比传统CNN方法提升了17.3%;当使用含噪声信号的测试集时,基于Ramp损失函数的SVM表现出了更好的鲁棒性。     

基于LMD和PNN神经网络的列车辅助逆变器故障检测

针对列车辅助逆变器故障信号非平稳的特性,本文提出了一种基于局部均值分解方法和概率神经网络的地铁辅助逆变器的故障诊断方法。通过对采集到的列车故障信号进行局部均值分解,将非平稳信号分解成多个乘积函数(product function,PF)分量,并利用概率神经网络(probabilistic neural network,PNN)模型,将故障信号进行检测和分类,最后采用Matlab进行仿真实验。仿真结果表明,局部均值分解方法对非平稳信号的处理效果良好,特征向量输入到概率神经网络进行训练分析,PNN神经网络故障诊断正确率较高,30组测试样本输出结果对于逆变器故障检测结果均是正确的。该研究可以准确识别列车辅助逆变器的不同故障类型,能够满足对列车辅助逆变器的故障检测要求。     

基于组合损失函数的BP神经网络风力发电短期预测方法

为了改善风电大规模并网带来的电力系统功率平衡问题,提高系统的风电消纳能力,构建了基于组合损失函数的风电功率预测神经网络模型. 为了提高原始数据信息的利用率,在模型中将数据进行分类,提出以最小化组合损失函数为目标的BP神经网络风力发电短期预测模型,由均方差损失函数、交叉熵损失函数和排序损失函数按照不同的权重比构成组合损失函数. 基于实际风场数据,对基于组合损失函数的预测模型效果进行训练和仿真验证,结果表明相较于基于单一的均方差损失函数的预测方法,提出的组合损失函数可有效提高预测精度.     

基于BERT-BiLSTM-CRF模型的电子目标图谱实体抽取方法

针对电子目标情报数据种类繁多、关联关系复杂,电子目标图谱存在实体抽取混乱、语义容易发生歧义等问题,将BiLSTM-CRF模型和BERT模型相结合,提出了一种电子目标图谱实体抽取方法．该方法将BERT模型中训练的词向量传递给BiLSTM模型中做特征;然后在CRF模型中得到全局序列排列,实现电子目标图谱的实体抽取．实验结果表明,与Word2Vec和BERT不同字嵌入相比,BERT的字嵌入平均识别率提高3.22%;与BiLSTM、CRF、BiLSTM等不同模型层次相比,BERT-BiLSTM-CRF的平均识别率比其他3种模型最好的平均值还要高2.99%,说明该方法能够进一步提高电子目标相关命名实体识别的效果．     

融合句法依存与BERT-Att-BiLSTM的属性分类

针对细粒度情感分析属性分类准确率低的问题，提出了一种融合句法依存关系和基于转换器的双向编码器-注意力机制-双向长短期记忆网络(BERT-Att-BiLSTM)的属性分类模型。该模型首先构建基于句法依存关系的目标信息提取层，进行属性-观点对提取；其次，在词嵌入层，使用BERT模块实现结合上下文动态特征的词向量预训练；然后，在特征提取层，融入Att的BiLSTM模块进行特征空间降维处理；最后，在分类层，通过激活函数输出属性-观点对的属性类别。实验结果表明，所提模型的精准度、召回率和F1值分别为85.25%、72.38%和77.06%,均优于其他模型，证明了所提模型的有效性。     

类别语义信息对齐的无监督领域自适应网络

针对在目标应用场景中缺乏大量有标定训练数据的情况下难以获得有效的深度学习分类模型的问题,结合领域分布差异的方法与对抗学习方法的优势,提出以显式特征对齐与隐式领域对抗及类别对齐为基础的领域自适应框架.对于显式特征对齐模块,考虑到领域知识差异大带来的优化难题,采用渐进式协同优化策略,通过逐层减小不同语义层之间的领域差异,提升领域自适应性能.对于隐式类别对齐模块,为了增强目标特征的判别性,使用自训练方法获得伪标签,克服伪标签存在的标签噪声问题,并通过学习混淆矩阵优化伪标签的准确率,自动构造新的目标领域损失函数,从而在减小领域间差异的同时,提升源领域与目标领域相同类别的特征分布对齐的准确性.基于Office-31数据集的6个跨领域分类任务与基于Office-Home数据集的12组跨领域分类任务的实验结果表明,该方法在迁移学习任务上的平均分类准确率相较于基准方法分别提升11.9%和19.9%,所提出网络对于领域自适应任务是有效的.