基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题。采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度。该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征。基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1%,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5%,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4%, 4%和2.8%。     

融合注意力机制SimAM的CNN-MogrifierLSTM航班延误波及预测

连续航班中的延误波及往往会引起大规模的航班延误产生,提前对航班延误波及问题进行预测可以为民航部门提供有效参考,减少相关的经济损失。本文首先对航班数据进行清洗与数据融合,针对空管部门实际航班运行情况提出强空间航班链数据集与强时序航班链数据集两种不同的构造方法;然后根据航班延误波及传播的空时特性提出融合注意力机制SimAM的CNN-MogrifierLSTM网络模型,先使用卷积神经网络（Convolutional Neural Network,CNN）结合注意力机制SimAM模块对空间特征进行提取,再用形变的长短时记忆网络（Mogrifier Recurrent Neural Network,MogrifierLSTM）对时序信息进行学习;最后使用Softmax分类器对延误等级进行分类预测。本文提出的预测方法,在航班延误波及进行预测的实验中取得了93.16%的准确率,相比单独使用CNN或LSTM大有提升,加上SimAM注意力机制后相比CNN-MogrifierLSTM网络在不同数据集上准确率也提升了0.6%左右。     

基于CBAM-CondenseNet的航班延误波及预测模型

针对航班延误衍生的航班延误波及问题,该文提出一种基于CBAM-CondenseNet的航班延误波及预测模型。首先,通过分析航班延误在航空网络内产生的延误波及现象,确定会受前序延误航班影响的航班链;其次,对选定的航班链数据进行清洗,将航班信息与机场信息进行数据融合;最后,提出改进的CBAM-CondenseNet算法对融合后的数据进行特征提取,构建Softmax分类器对首班离港航班延误波及的后续离港航班延误等级进行预测。该文提出的CBAM-CondenseNet算法融合了CondenseNet和CBAM的优势,采用通道和空间注意力机制来加强网络结构深层信息的传递。实验结果表明,算法改进后有效提升网络性能,预测准确率可达97.55%。     

基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题.采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度.该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征.基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1％,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5％,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4％,?4％和2.8％.     

结合多任务迁移学习与知识蒸馏的人脸美丽预测研究

目前,人脸美丽预测存在数据样本少、评价指标不明确和人脸外观变化大等问题。多任务迁移学习能有效利用相关任务和源域任务额外的有用信息,知识蒸馏可将教师模型的部分知识蒸馏到学生模型,降低模型复杂性和大小。本文将多任务迁移学习与知识蒸馏相结合,用于人脸美丽预测,以大规模亚洲人脸美丽数据库(Large Scale Asia Facial Beauty Database, LSAFBD)中人脸美丽预测为主任务,以SCUT-FBP5500数据库中性别识别为辅任务。首先,构建多输入多任务的人脸美丽教师模型和学生模型;其次,训练多任务教师模型并计算其软目标;最后,结合多任务教师模型的软目标和学生模型的软、硬目标进行知识蒸馏。实验结果表明,多任务教师模型在人脸美丽预测任务中取得6823%的准确率,其结构较复杂,参数量达14793K;而多任务学生模型通过知识蒸馏后分类准确率为6739%,但其结构简单、参数量仅1366K。本方法多任务教师模型分类准确率比其他方法高,多任务学生模型分类准确率虽然略低一点,但其模型更简单、参数量更少,更有利于用更轻量的网络模型进行人脸美丽预测。      

基于轻量化网络MobileNetV2的航班延误预测模型

针对民航业中航班延误状况的日益凸显,传统算法存在准确率低、计算量以及参数量大的问题,且面对旅客主要使用移动设备查询的需求,传统算法难以直接部署在移动端,本文提出一种基于轻量化网络MobileNetV2的航班延误预测模型。模型首先对数据集做数据融合、编码等预处理;然后将其输入到网络中进行特征提取;最后利用Softmax分类器输出航班延误等级。应用于国内数据集,准确率最高为99.07%,模型参数量为1.31Million、计算量为40.58Million。本文模型在保障准确率的同时,尽可能降低模型的参数量和计算量,其性能优于传统网络,有助于在移动端实现航班延误预测。      

基于有序编码的核极限学习顺序回归模型

顺序回归是机器学习领域中介于分类和回归之间的有监督问题。在实际中,许多带有序关系标签的问题都可以被建模成顺序回归问题,因此顺序回归受到众多学者的关注。基于极限学习机(ELM)的算法能有效避免因迭代过程陷入的局部最优解,减少训练时间,但基于极限学习机的算法在顺序回归问题上的研究较少。该文将核极限学习机与纠错输出编码相结合,提出了一种基于有序编码的核极限学习顺序回归模型。该模型有效解决了如何在顺序回归中取得良好的特征映射以及如何避免传统极限学习机中隐层节点个数依赖于人工设置的问题。为验证提出模型的有效性,该文在多个顺序回归数据集上进行了测试,测试结果表明,相比于传统ELM模型,该文提出的模型在准确率上平均提升了10.8%,在数据集上预测表现最优,而且获得了最短的训练时间,从而验证了模型的有效性。     

Self-Att-BiLSTM:一种面向业务流程活动与时间的多任务预测方法

业务流程中事件日志的分析与预测可以为流程监控和管理提供决策信息,现有研究方法多针对特定单个任务预测,不同任务间预测方法的可迁移性不高。多任务预测可以共享多个任务间的信息,提升单个任务预测的精度,但现有研究对重复活动的多任务预测效果有待提高。针对以上问题,提出一种注意力机制与双向长短时记忆结合的深度神经网络模型,实现对业务流程中重复活动和时间的多任务预测。预测模型可以共享不同任务已经学到的特征表示,实现多任务并行训练。在多个数据集中对不同方法进行对比,结果表明,所提方法提高了预测效率和预测精度,尤其对重复活动的预测精度有较好提升。     

基于混合编码和长短时记忆网络的机场延误预测方法

为充分利用机场延误状态信息的时间相关性,提高机场延误预测精度,提出一种基于混合编码和长短时记忆网络（Long Sort Term Memory, LSTM）的机场延误预测方法。该方法首先将机场信息、航班信息和气象信息进行数据预处理,得到机场延误数据;然后,利用LSTM网络对机场延误数据进行特征提取;最后,构建Softmax分类器对机场延误分类预测。实验结果表明,本文基于机场延误数据在数据预处理阶段提出的混合编码方法,可使预测准确率提高约5%。同时,利用LSTM网络来提取数据的时间相关特征信息,网络模型的预测准确率最终可达94.01%。并且由不同机场数据对网络的普适性分析结果表明,该算法更适合于原始数据量大的中大型枢纽机场。      

基于线性回归的航班延误预测研究与系统开发

航班延误预测在航空领域有着广泛的应用,不仅可以减少航空公司在经济和信誉等方面的损失,而且可以给旅客提供更多的便利和更好的服务。利用线性回归方法设计一个Web服务,用来预测航班是否延误。用户输入航班号、出发时间、出发机场和到达机场,系统利用航班的历史记录和天气等信息预测航班到港时间。     

好奇号火星车ChemCam-LIBS 光谱数据的定量分析研究

传统的偏最小二乘法和支持向量机回归等方法在预测光谱对应的火星车地面标样成分元素含量时往往难以获得较高的精度,并难于进一步优化。针对上述问题,在研究中对高维度光谱信息进行三通道折叠以消除其基体效应,并引入在计算机视觉领域表现不俗的ResNet残差网络结构来提取光谱特征并预测对应主成分含量值。文中将ResNet网络结构中的全连接层去除以避免模型参数快速增长,并将网络最后的Softmax分类子层改为线性整流层以便于进行预测,同时添加了指数学习率衰减和Dropout机制以使模型预测结果具备更高的精度与泛化能力。模型各主要元素含量的预测均方根误差相对于线性支持向量机LinearSVR和深度可分离卷积网络Xception分别平均下降了30%和17%。实验结果表明:采用LIBS技术对ChemCam光谱数据进行主成分元素定量分析时,基于ResNet网络建立的回归模型表现出良好的预测特性。     

一种为地面节点充电的多UAV任务分配与路线规划方法

以多个无人机（UAV）为大面积分布的传感器节点无线充电为应用场景，提出了一种分布式快速拍卖算法（DFAMTA）用于为多个UAV分配任务及规划航线。利用该算法，不需集中控制器，每个UAV根据自己的续航能力和获知的节点位置及剩余电量信息，建立包含多个节点的任务集进行投标；中标者的确定在单个任务层面上独立并行进行，大大节省了任务分配的收敛时间。理论证明，DFAMTA算法在最差情况下也能获得最优分配算法50%的性能。仿真验证了算法在收敛时间上的优势以及在改善无线传感器网络系统平均覆盖率方面的优越性。     

基于差分星座轨迹图的多任务802.11b/g信号识别方法

针对802.11b/g无线信号的调制方式识别和辐射源个体识别问题,提出了一种基于差分星座轨迹图的多任务卷积神经网络识别方法。将调制识别和辐射源个体识别看作两个相互关联的学习任务,通过共享参数的深度网络提取差分星座轨迹图的特征,并由结构不同的两个分支网络进行分类识别,同时对这两个任务进行联合优化训练并相互促进学习。实验中使用6个不同的路由器进行验证,结果表明相比于单任务模型的识别方法,多任务模型所用的训练时长和模型所占内存均比两个单任务模型之和少,同时对辐射源个体、调制方式的识别率分别平均提高了1.17%和3%。     

Multi-task learning with deformable convolution

Multi-task learning aims to tackle various tasks with branched feature sharing architectures. Considering its diversity and complexity, discriminative feature representations need to be extracted for each individual task. Fixed geometric structures as a limitation of convolutional neural networks (CNNs) in building models, is also exists and poses a severe challenge in multi-task learning since the geometric variations will augment when we deal with multiple tasks. In this paper, we go beyond these limitations and propose a novel multi-task network by introducing the deformable convolution. Our design, the Deformable Multi-Task Network (DMTN), starts with a single shared network for constructing a shared feature pool. Then, we present task-specific deformable modules to extract discriminative features to be tailored for each task from the shared feature pool. The task-specific deformable modules utilize two new parts, deformable part and alignment part, to extract more discriminative task-specific features while greatly enhancing the transformation modeling capability. Experiments conducted on various multi-task learning types demonstrate the effectiveness of the proposed method. On multiple classification tasks, semantic segmentation and depth estimation tasks, our DMTN exceeds state-of-the-art approaches against strong baselines.     

基于GP-LVM和LS-SVM航班延误等级预测研究

针对气象条件导致航班延误难以准确预测的问题,文章提出基于GP-LVM和LS-SVM的航班延误等级预测算法。通过GP-LVM对经过预处理的气象数据非线性降维,得到影响航班延误的显著变量;对航班延误进行LS-SVM的延误等级预测。仿真结果表明,文章提出的组合预测方法相对于单一SVM模型,能够提高航班延误等级预测准确率。