基于深度学习的伺服系统状态预测算法

针对传统状态预测方法难以从伺服系统历史数据中有效提取特征的问题,提出一种基于深度学习的伺服系统状态预测算法。该算法利用长短时记忆网络LSTM(Long Short-Term Memory)从时序和特征参数两个维度在系统状态参数中提取数据特征。并在多任务学习MTL(Multi-task Learning)框架下将具有相同特征参数的预测任务整合到同一个模型当中,所有预测任务共享LSTM网络权重。在每一状态参数预测阶段,独立地引入注意力机制,以调节不同时刻、不同特征对所预测状态的影响。针对应用中预测参数的重要性不同,构建加权损失函数,以减小重要参数的预测误差。实验结果表明,该算法与传统LSTM模型、单任务模型STL-LSTM相比,预测误差平均降低40.9%、19.8%。     

基于Transformer的街道停车位数据补全和预测

随着城市汽车数量的持续增长,街道停车难已经成为一个热点问题。解决街道停车问题的关键在于准确预测街道未来的停车位信息。移动群智感知方式(CrowdSensing)通过在车辆上安装声呐以感知路边的停车位情况,是一种低成本、高效益的感知停车位的方式,然而这种方式感知的停车位数据在时间上存在高稀疏性问题,传统模型无法直接用于预测。针对此问题,提出了一种基于Transformer的停车位序列补全和预测网络,此网络通过编码器生成缺失停车位序列的记忆,进而解码器以自回归的方式补全停车位序列中缺失的部分,同时预测出未来的停车位信息。实验结果表明,所提方法在两个高缺失的街道停车位数据集上的补全和预测效果都优于传统的机器学习和深度学习方法。     

面向技术论坛的问题解答状态预测

当遭遇技术问题时,开发人员往往会在Stack Overflow等技术论坛上发布问题并等待回答.此类QA系统也是基于互联网的群智化软件开发的一个重要表现形式.但是论坛上提出的问题并不一定能够获得满意答案.因此,提出问题并被动地等待答案并不总是最佳策略.为此,提出了一种基于深度神经网络的方法以自动预测问题能否获得满意答案.提前预知问题能否及时获得有效答复,开发人员可以提前规划应对策略.该方法不仅充分利用了问题本身的文本信息,也将提问人员相关内容作为预测的主要依据.利用最新的深度学习技术,充分挖掘输入特征与问题解答状态之间的内在关联关系.在Stack Overflow提供的数据集上的实验结果表明：所提出的方法能够预测问题的解答情况,结果显示在预测问题是否有满意答案的查准率为58.87%、查全率为46.68%(随机猜测的查准率为38.77%,查全率为35.26%),并优于机器学习KNN和浅层神经网络FastText.     

一种基于时空Transformer的交通事故预测方法

为实现实时道路交通事故的精准预测,提出了基于时空Transformer的高速交通事故预测方法.在该方法中,首先对传统高速交通固定站点数据进行预处理,获得交通特征参数作为算法输入.然后将交通流的时空特征结合时空Transformer捕获交通流静态和动态的时空依赖性,并通过多次提取时交通流空依赖性结合卷积神经网络得到事故发...     

基于过程监督的序列多任务法律判决预测方法

法律判决预测是人工智能技术在法律领域的应用,因此对法律判决预测方法的研究对于实现智慧司法具有重要的理论价值和实际意义.传统的法律判决预测方法大都是只进行单一任务的预测或仅基于参数共享的多任务预测,并未考虑各子任务之间的序列依存关系,因此预测性能难以得到进一步的提升.文中提出了一个端到端的基于过程监督的序列多任务法律判决...     

基于深度信念网络的民航发动机状态监测

民航飞机发动机设备构造精密、复杂,其监测系统收集的数据中蕴含了丰富的故障信息;传统发动机状态诊断依靠数据统计分析和机器学习模型,但其在深入理解与归类信号特性方面的表现难以尽如人意;此外近年兴起了多层神经网络降维算法——深度学习理论,其通过模拟人脑分析过程建立由浅入深的算法模型,数据处理效果较好;将民航发动机自身特点与深度学习理论有机结合提出了基于深度信念网络发动机状态监测方法;其优势在于克服了传统方法人工提取数据特征的不确定性与状态分类陷入局部最优的缺陷,可对发动机参数进行自主学习与特征提取;实验结果表明该算法具有出色的特征提取能力与分类准确率,能够准确识别发动机的不同状态。     

基于BP神经网络的空气质量模型分类预测研究

随着工业社会的发展,空气质量问题已经成为环保任务的主要焦点。BP神经网络作为深度学习的一种,已经在大部分领域被广泛使用。为了让广大市民更好的了解空气质量情况,本文以云南省昆明市为例,收集当地近6年的空气质量数据,并基于Python语言,在Anaconda环境下的Numpy包建立了三层神经网络数学模型,对空气质量等级进行分类预测。通过训练样本对神经网络模型的训练以及相关参数的调试,得到较好的分类预测模型。将分类结果与实际结果进行比较,结果显示,本次的神经网络模型的分类预测准确率达到90%,能够较好的分析空气质量,达到预期需求。     

基于Transformer模型和Kalman滤波预测船舶航迹

针对日趋复杂的海上交通情况,船舶航迹的跟踪预测问题显得尤为重要,然而船舶航行轨迹的数据是具有长期特性的数列,而且易受到风浪、杂波和噪声等影响,致使其特征数据动态变化,航迹规律难以把握.基于上述问题,提出一种结合Transformer模型和Kalman滤波的航迹预测方法.利用宁波市渔船AIS(Automatic Iden...     

结合状态预测的深度强化学习交通信号控制

深度强化学习（deep reinforcement learning,DRL）可广泛应用于城市交通信号控制领域,但在现有研究中,绝大多数的DRL智能体仅使用当前的交通状态进行决策,在交通流变化较大的情况下控制效果有限。提出一种结合状态预测的DRL信号控制算法。首先,利用独热编码设计简洁且高效的交通状态;然后,使用长短期记忆网络（long short-term memory,LSTM）预测未来的交通状态;最后,智能体根据当前状态和预测状态进行最优决策。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口的多种交通流量条件下,与三种典型的信号控制算法相比,所提算法在平均等待时间、行驶时间、燃油消耗、CO2排放等指标上都具有最好的性能。     

基于卷积神经网络和Transformer的手写体英文文本识别

手写体文本识别技术可以将手写文档转录成可编辑的数字文档。但由于手写的书写风格迥异、文档结构千变万化和字符分割识别精度不高等问题,基于神经网络的手写体英文文本识别仍面临着许多挑战。针对上述问题,提出基于卷积神经网络（CNN）和Transformer的手写体英文文本识别模型。首先利用CNN从输入图像中提取特征,而后将特征输入到Transformer编码器中得到特征序列每一帧的预测,最后经过链接时序分类（CTC）解码器获得最终的预测结果。在公开的IAM（Institut für Angewandte Mathematik）手写体英文单词数据集上进行了大量的实验结果表明,该模型获得了3.60%的字符错误率（CER）和12.70%的单词错误率（WER）,验证了所提模型的可行性。     

基于分类DQN的建筑能耗预测

本文提出一种可用于建筑能耗预测的基于KNN分类器的DQN算法——K-DQN.其在利用马尔科夫决策过程对建筑能耗进行建模时,针对大规模动作空间问题,将原始动作空间缩减进而提高算法的预测精度及收敛速率.首先, K-DQN将原始动作空间平均划分为多个子动作空间,并将每个子动作空间对应的状态分为一类,以此构建KNN分类器.其次,利用KNN分类器,将不同类别相同次序动作进行统一表示,以实现动作空间的缩减.最后,K-DQN将状态类别概率与原始状态相结合,在构建新状态的同时,帮助确定缩减动作空间内每一动作的具体含义,从而确保算法的收敛性.实验结果表明,文章提出的K-DQN算法可以获得优于DDPG、DQN算法的能耗预测精度,且降低了网络训练时间.     

基于Transformer的图像分类网络MultiFormer

为解决目前ViT模型无法改变输入补丁大小且输入补丁都是单一尺度信息的缺点,提出了一种基于Transformer的图像分类网络MultiFormer。MultiFormer通过AWS（attention with scale）模块,将每阶段不同尺度输入小补丁嵌入为具有丰富语义信息的大补丁;通过GLA-P（global-local attention with patch）模块交替捕获局部和全局注意力,在嵌入时同时保留了细粒度和粗粒度特征。设计了MultiFormer-tiny、-small和-base三种不同变体的MultiFormer模型网络,在ImageNet图像分类实验中top-1精度分别达到81.1%、82.2%和83.2%,后两个模型对比同体量的卷积神经网络ResNet-50和ResNet-101提升了3.1%和3.4%;对比同样基于Transformer分类模型ViT,MultiFormer-base在参数和计算量远小于ViT-Base/16模型且无须大量数据预训练前提下提升2.1%。     

基于E-LSTM循环神经网络的制冷设备状态预测

制冷设备是高可靠性和高安全性的复杂系统,多年的设备运行产生了大量的时间序列数据。为了解决制冷设备运行状态难以准确预测等问题,提出使用改进型LSTM（Enhanced-LSTM）对制冷设备的状态进行预测。通过使用均值滤波的方法对原始数据进行预处理,填补空缺值,处理异常值。对特征进行相关性分析,选择与制冷设备状态关联系数较大的特征：PUE、冷源功率、冷冻二次泵作为研究对象,实现基于E-LSTM的网络结构的设计、训练和预测,最后对预测结果进行比较分析。通过与线性回归、SVR、GRU、RNN、LSTM等模型的对比实验,表明了所改进的E-LSTM神经网络对制冷设备的运行状态有更高的预测精度。对制冷设备里的重要参数进行预测,在理论研究方面为制冷设备检修风险评估分析提供科学、真实、有效的数据,保证数据中心正常工作。     

基于优化回声状态网络的溶解氧预测建模

溶解氧是水体质量的一个重要参数,合适的溶解氧浓度有利于水产品的生长发育,预测溶解氧变化对水产养殖环境预警有重要的意义。以准确快速预测溶解氧的变化为目标,设计了一种基于优化回声状态网络(ESN)的水产养殖中溶解氧的预测模型。将双向构造训练样本的方法和ESN模型相集成以构建溶解氧预测模型,解决了传统ESN模型存在的网络自由参数定值的问题,以及在储备池规模较大情况下模型泛化性能恶化的问题,很好地解决了在水产养殖中无法快速且准确地预测溶解氧变化的问题。测试对比结果表明,优化后的ESN模型具有良好的鲁棒性;同时在储备池较大规模的情况下,能有效减弱传统ESN出现的过拟合现象,增强了模型的泛化性能。     

基于可分离结构变换的轻量级Vision Transformer

由于视觉Transformer结构模型参数量大、浮点计算次数高,使得其难以部署到终端设备上。因为注意力矩阵存在低秩瓶颈,所以模型压缩算法和注意力机制加速算法不能很好地平衡模型参数量、模型推理速度和模型性能之间的关系。为了解决上述问题,本文设计一种轻量级的Vi T-SST模型用于图像分类任务。首先,通过将传统全连接层转换为可分离结构,大幅度降低模型参数量且提高了模型推理速度,保证了注意力矩阵不会因出现低秩而破坏模型表达能力;其次,提出一种基于SVD分解的克罗内克积近似分解法,可以将公开的Vi T-Base模型预训练参数转换至Vi T-Base-SST模型,略微缓解了Vi T模型的过拟合现象并提高了模型精度。在常见公开图片数据集CIFAR系列和Caltech系列上的实验验证了本文方法优于对比方法。     

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.     

基于多序列隐关系的时序事件预测

时序事件预测是指基于历史事件预测下一个事件,事件包括时间和类型两个属性。当前主要工作集中在单方面（事件时间或事件类型）的预测,但这无法回答“何时发生何事”这类更精细的问题。此类问题的挑战主要是事件类型非常多样,而行为往往高度稀疏,给预测带来极大困难;需要预测的事件时间和事件类型分属两个域,如何把这两个域的信息加以融合并形成互补也是一个挑战。针对上述挑战,从融合多序列隐信息的角度探索了一种解决方法。基于某些事件序列之间具有模式相似性这一观察,提出建模事件序列的隐关系图,利用邻居序列的信息解决行为稀疏性的问题;通过合理设计神经网络模块,将事件的时间域和类型域的信息映射到共同的抽象空间,解决事件时间和事件类型信息的融合建模问题。通过在多个真实数据集上进行了大量实验,实验结果印证了多序列深度时序模型优于现有的一系列基准模型。     

基于LSTM的机场跑道视程预测

跑道视程反映了飞行员的视程大小,是保障飞机起飞和着陆飞行安全的重要气象要素之一,提升跑道视程的预测准确率将有效提升飞机在低能见度和复杂天气条件下的起降能力和航空管制能力.跑道视程除了受自身观测仪器不足限制,雾、烟、沙尘、强降水等其他天气对其影响也十分显著.本文利用2012–2018年咸阳机场民航自动气象观测系统观测的风...