一种多标签统一域嵌入的推荐模型

协同过滤是一种简单的运用关联知识的推荐方法,但在数据稀疏度高的情况下效果不尽人意.因子分解机解决了数据稀疏情况下的特征组合问题,再结合深度神经网络对高阶特征的提取,一系列深度学习预估模型被提出并取得较好效果.但这类模型主要受益于大量知识标签组合以及高阶特征理解,当数据标签类别稀少时其性能严重退化.为解决稀疏数据且稀少标签类别情境下的推荐问题,本文提出一种多标签统一域嵌入方法,并进一步设计实现了统一域嵌入的推荐模型.特征标签首先以领域划分并通过嵌入层转化为特征向量,然后基于特征空间表达的映射层将特征向量由当前域嵌入到统一域,最后对统一域向量进行空间关联运算并预测评分.采用近年来优异的深度学习预估模型作为对比模型,在多个主流开放数据集上进行了预测.实验结果表明,多标签统一域嵌入模型在推荐精度及性能上优于其它模型,它能够克服神经网络训练中的瓶颈,为数据标签稀缺情境下的推荐系统提供可行的解决方案.     

基于注意力机制的数控机床热误差深度学习预测方法

为提高热误差预测精度和鲁棒性,提出一种基于注意力机制和深度学习网络的数控机床热误差预测模型。采用数据转化策略,将数控机床原始温度数据转化为温度图像,直接作为深度学习网络的输入;提出一种基于注意力机制的温度敏感点识别网络,根据温度测点与热误差关联程度,赋予各温度测点不同的权值,避免了温度测点的人为选取弊端;建立12层深度CNN学习预测网络,利用其强大的图像特征学习能力,挖掘温度图像与热误差的非线性映射关系,无需对温度关键点进行预选择,保留了更多的热误差与机床温度特征关系,显著提高了模型预测精度。为了提高热误差模型的精度与泛化能力,引入Dropout正则化方法和Adam优化算法,对深度卷积神经网络的结构与参数进行了优化。该方法在针对G460L型数控车床的热误差验证中表现出较高的预测精度。通过与BP神经网络和多元回归等传统热误差模型进行对比,深度卷积神经网络框架下的热误差模型在泛化性指标上表现更优。     

基于深度卷积神经网络的高光谱遥感图像分类

传统的高瀑布图像分类模型只考虑光谱特征信息,忽略了图像空间结构信息在分类中的重要作用。为提高高光谱遥感图像的分类精度,提出一种同时利用高瀑布图像的光谱信息和空间信息的深度卷积神经网络分类模型。通过对低层特征自动分层地学习来提取更加抽象的高层特征,提取的特征具有平移、缩放及其他形式扭曲等高度不变性;基于学习到的深度特征,用logistic回归分类器进行分类训练。高光谱数据实验结果表明,深度卷积神经网络模型能够提高高光谱遥感图像的分类精度,从而验证了深度卷积神经网络进行高瀑布图像分类的可行性和有效性。     

基于深度卷积神经网络的睡眠分期模型

针对现阶段数据和特征决定睡眠分期模型的分类精度上限的问题,提出深度卷积神经网络模型. 在模型主体构建方面,并行卷积网络可以自动学习原始信号的时域特征和频域特征,特征融合网络通过空洞卷积和残差连接进行多特征融合,分类网络基于融合后的特征进行睡眠分期. 利用生成少数类过采样技术（SMOTE）减少类别不平衡对分类效果的影响,结合两步训练法对模型进行优化. 实验使用Sleep-EDF数据集的原始单导脑电信号（Fpz-Cz通道）对模型进行20折交叉验证,得到总体精度和宏F₁分别为86.73%和81.70%. 提出的深度卷积模型在没有任何先验知识的情况下,对脑电信号进行端到端的学习,分类准确率优于传统的深度学习模型.     

基于C-LSTM的短期用电预测模型和应用

基于深度学习下的长短期记忆循环神经网络对家庭短期用电预测进行研究.本研究引入卷积神经网络(convolutional neural network,CNN)和长短期记忆(long short term memory,LSTM)模型结合的混合深度神经网络模型C-LSTM,并在此模型基础上提出多步预测策略.根据对5个真实家...     

基于CNN-Attention-BP的降水发生预测研究

在综合分析降水统计预测模型特点的基础上,提出一种基于Attention机制、卷积神经网络(CNN)和BP神经网络的CNN-Attention-BP组合模型,并对1961—2020年不同气候类型的长春站、白城站、延吉站夏季降水进行实证分析.首先,运用卷积神经网络对6—8月20—次日20时降水量、平均气压、平均风速、平均气温和平均相对湿度进行特征学习,利用Attention机制来确定气象影响因素对降水预测的权重;然后,使用BP神经网络进行降水发生预测,选用准确率、交叉熵损失函数和F1-score来综合评价CNN-Attention-BP组合模型的性能.最后,将单一的支持向量机、多层感知机和卷积神经网络模型与组合模型进行比较分析.结果表明,CNN-Attention-BP组合模型具有自主学习和关注更重要信息的特征,能够有效提高吉林省夏季降水发生模型的预测能力,在样本越均衡、降水频率越接近于0.5的站点,预测精度越高,准确率最高可达88.4%.CNN-Attention-BP组合模型的准确率相较于其他单一模型最高可以提高近17个百分点.     

基于混合深度学习模型的企业中央空调蒸汽预测

为解决企业生产车间多空调能耗与生产任务、气候环境匹配的精准供能问题,实现多台大型中央空调机组蒸汽消耗预测,提出一种基于GRU和3DConv-PredRNN++的混合深度学习预测模型. 针对多台空调机组动态联动关系,使用三维卷积和PredRNN++方法提取机组间蒸汽损耗关系作为空间因素特征参与模型预测; 为捕捉蒸汽消耗量序列的总体趋势和局部变化,数据集采用平滑过程模式、趋势性模式和周期性模式作为模型输入; 为提高模型预测性能,基于门控循环单元(GRU)耦合外部因素特征并捕捉时间因素特征; 最后通过参数矩阵融合方式来构建模型. 通过与多种预测模型的对比实验,证明混合深度学习模型预测精度的优越性和空间因素特征参与模型预测的必要性. 与现有模型相比,所提模型平均能耗折标(ASEC)降低了60.09%.     

基于深度神经网络的城市声音分类模型研究

为充分利用城市生态环境中各种声音包含的信息,提取Mel频率倒谱系数、Mel图谱、频谱质心、色度图谱(Chromagram)和光谱对比度等5种特征,通过深度神经网络模型进行城市环境声音的分类,该模型分类精度达88.6%,优于基于Mel频率倒谱系数的基本分类方法,并提出一种基于卷积神经网络的声音分类模型来评估连续小卷积核卷积神经网络在对短音频城市环境声音进行分类的潜力,与目前其他同类声音分类方法的结果进行对比。     

视觉特征深度融合的图像质量评价

针对当前视觉感知特性研究和图像特征评价算法的不足,通过构建视觉多通道神经网络融合预测模型,提出一种视觉特征深度融合的图像质量评价方法. 首先,结合人类视觉系统特性设计直方图统计和奇异值分解2个互补视觉评价算法,进一步对图像各视觉通道的稀疏化梯度信息进行深度处理. 其次,构建BP神经网络融合模型,对各层视觉特征的多通道评价融合分别进行预测. 最后,对3层视觉特征评价从内层到外层逐层地进行深度自适应融合. 实验结果表明,所构建的融合模型有效提高了各种评价算法的指标水平,所提方法优于已有方法.     

深度学习在电力负荷预测中的应用综述

在综合能源系统和能源互联网的高速发展中,电力负荷预测对电力系统的经济安全运行具有重要的作用.传统的负荷预测模型方法已在电力系统中取得了广泛应用,传统方法的简单计算模型对于高随机性、大数据背景下的动态负荷预测精度无法保证.近年来,在计算工具不断升级和训练数据量大规模提升的背景下,深度学习方法在电力负荷预测领域的应用得到了广泛重视.对多种深度学习方法在负荷预测领域中的应用进行了叙述分析,回顾了循环神经网络(RNN)、长短期记忆网络(LSTM)、深度置信网络(DBN)、卷积神经网络(CNN)等不同深度学习方法预测模型.对比于传统的负荷预测方法,深度学习方法具有更高的预测精度,对于各种外部影响因素具有更好的鲁棒性.     

基于样本均衡与特征交互的通信网络故障预测方法

通信网络故障预测数据集样本不均衡,影响故障预测的准确性,对此,提出了基于样本均衡与特征交互的通信网络故障预测方法. 首先,将基于Wasserstein距离的梯度惩罚生成对抗网络(WGAN-GP)用于生成新的少数类样本,解决了告警数据集中存在的样本不均衡问题,并提出了嵌入记忆向量的特征生成卷积神经网络(M-FGCNN)模型. 利用多层感知器和卷积神经网络加强特征间的交互,将告警领域专家经验与因子分解机模型结合生成新的告警特征;在模型的嵌入矩阵中加入记忆向量并改进了模型的损失函数,增强了模型的记忆性. 在样本不均衡的公开数据集上进行实验的结果表明,引入WGAN-GP模型的方法比已有的样本均衡方法能生成质量更好的新数据. M-FGCNN模型比其他深度学习模型具有更好的通信网络故障预测性能.     

基于卷积字典学习网络的地震数据重建

地震数据重建是地震资料处理的重要步骤。经典的字典学习方法将地震数据分解为重叠的数据块,并独立地计算所有块的稀疏表示,忽略了块之间的相关性。基于卷积字典学习的方法使用线性滤波器替代字典,具有更好的自适应稀疏表示能力。但相应算法的优化涉及卷积运算,求解复杂度较高。另外,重建性能也依赖手动参数的选择。深度学习方法在大量缺失/完整的训练数据驱动下,可以智能、高效地实现缺失地震数据重建。本文结合卷积字典学习和深度学习的优点,提出基于卷积字典学习网络(Convolutional Dictionary Learning Network, CDLNet)的地震数据重建方法,将卷积字典学习方法嵌入到深度神经网络框架中。该方法不仅可以取得更准确、高效的重建结果,而且在卷积字典学习模型和迭代收缩阈值算法(Iterative Shrinkage Thresholding Algorithm, ISTA)的指导下,训练的网络也具有一定的意义。通过仿真和真实数据实验显示,和Unet深度学习方法相比,重建数据的信噪比提高了2～3 dB;和DDTF(Data-Driven Tight Frame, DDTF)字典学习...     

基于板块效应的深度学习股价走势预测方法

股票价格预测作为金融预测领域中一项重要的研究方向,准确预测股票价格的涨跌可以帮助投资者盈利或及时止损. 经研究发现,某些因素(如政策、社会突发事件等)会对同板块下的多只股票价格产生影响,导致同板块的多只股票在某个时间段内出现相似的走势,即板块效应. 因此,同板块下多只股票的价格走势对于股票预测具有参考作用. 针对这一现象,提出了一种基于板块效应的深度学习股价走势预测方法. 首先,使用皮尔森(Pearson)相关系数和XGBoost算法对同板块下多只股票的收盘价进行分析,以筛选出与预测股票相关性高的多只股票,并使用自编码器对这些股票的收盘价进行降维,以提取股票的价格走势; 其次,构建了一个基于卷积神经网络(convolutional neural networks,CNN)与长短期记忆(long short-term memory,LSTM)网络的混合深度学习预测模型,使用一维卷积神经网络提取输入数据的特征,使用LSTM网络对股票价格进行预测. 该模型使用银行、医药、酒业、娱乐传媒4个板块的股票作为实验数据集. 为了提高模型的预测效果,通过随机搜索对LSTM网络的神经元个数进行简单的分析,以选择较优的神经元个数. 最后,通过实验分析,基于同板块数据集的深度学习预测模型具有良好的预测效果.     

玉米籽粒完整性识别的深度学习方法

为满足正确识别玉米籽粒完整性的需要,提出一种基于深度卷积神经网络的智能识别方法。本网络结合池化和降采样操作,基于卷积原理进行构建。通过对直接输入的灰度图像进行卷积操作,逐层挖掘图像的深层特征,实现对单玉米籽粒图像的特征抽象和特征降维,再通过一个全连接网络,智能识别单玉米籽粒完整性特征。采用反向传播网络对相同的样本进行对照实验。实验结果表明,深度卷积神经网络能对籽粒图像进行有效地特征降维,使深度学习网络达到较高的识别准确率,满足准确识别玉米籽粒完整性特征的需要。     

基于滤波器裁剪的卷积神经网络加速算法

针对卷积神经网络（CNN）模型的压缩和加速问题,提出基于滤波器裁剪的新型卷积神经网络模型加速算法. 通过计算卷积层中滤波器的标准差值衡量该滤波器的重要程度,裁剪对神经网络准确率影响较小的滤波器及对应的特征图,可以有效地降低计算成本. 与裁剪权重不同,该算法不会导致网络稀疏连接,不需要应用特殊的稀疏矩阵计算库. 基于CIFAR-10数据集的实验结果表明,该滤波器裁剪算法能够对VGG-16和ResNet-110模型加速30%以上,通过微调继承的预训练参数可以使结果接近或达到原始模型的精度.     

基于双通路卷积融合网络的脑龄分布预测

采用深度学习对脑龄预测问题进行研究,提出并设计一种基于双通路卷积融合网络的脑龄分布预测模型,以有效预测被试的大脑年龄。将被试静息态功能磁共振成像(rest-state functional MRI, rs-fMRI)数据通过标记分布学习方法,将确定的脑龄标签转化为一组具有高斯分布的概率,设计一个双通路卷积融合网络,包含卷积、批量归一化、池化等步骤,可以同时学习rs-fMRI多类激活图的特征,通过一个低秩融合网络来融合这些特征,利用损失函数对网络更新优化;对预测模型的结果进行详细分析。该模型得到的绝对平均误差和相关系数的指标分别为5.735和0.592 4。试验结果表明,相较于其他模型,该模型取得的平均绝对误差更小,相关系数更高,显著提高了基于rs-fMRI图像的脑龄预测精度。     

基于多步电价预测的储能系统调度策略优化方法

针对增量配电网调度策略弱、效益低的问题,提出了一种高分辨率滚动周期调度策略和一种基于深度学习的长短周期比较多步电价预测模型.以某地区2012～2015年市场电价数据及各项供需输送关系数据为基础,结合滚动周期调度策略和空洞卷积神经网络建立增量配电网储能系统调度模型,对储能系统调度过程中电价走势及未来数据进行预测.结果表明...     

基于用户行为序列特征的位置预测模型

针对现有位置预测研究中忽略用户行为序列特性、预测精度提升受限的问题,提出了基于用户行为序列特征的位置预测模型.首先以人工提取的方式构建用户行为的序列特征,融合到位置预测模型中,构造了基于行为序列特征的循环神经网络模型（BCP-RNN）;借助RNN模型循环结构的特点,自动学习行为序列特征,并引入位置预测模型,构造了3层对称循环神经网络模型（TS-RNN）.实验结果证明,引入行为序列特征的BCP-RNN和TS-RNN模型,其预测性能均高于现有的位置预测模型,验证了行为序列特征对挖掘用户移动模式的重要性.相较于人工提取行为序列特征的BCP-RNN模型,TS-RNN不仅节省了人工特征提取的成本,还弥补了人工分析的片面性造成的偏差,具有更高的预测性能.     

基于特征提取的FA-BP短期光伏发电预测

为解决光伏发电受详细、复杂的天气数据所影响的问题,提出一种基于特征提取的萤火虫算法（FA）优化误差回传神经网络（BP神经网络）的FA-BP短期光伏发电预测模型。为提高收敛速度利用主成分分析法（PCA）对光伏发电历史数据以及历史天气数据进行降维与去噪,选取影响光伏发电的主要成分并构建PCA-BP预测模型。并利用FA对PCA-BP预测模型进行阈值和权值的优化,进而构建PCA-FA-BP的光伏发电预测模型。再将提出的PCA-FA-BP预测模型与BP神经网络预测模型、PCA-BP预测模型以及单一的FA-BP预测模型进行光伏发电预测效果对比与分析,通过仿真结果表明:PCA-FA-BP预测模型拥有更佳的训练效果以及预测精度。     

基于ReLU稀疏性的MAXOUT卷积神经网络的数据分类算法

卷积神经网络作为一种具有深度学习能力的人工学习网络,由于其具有权值数量少、网络模型复杂度低以及算法效率高等优点在很多领域被广泛应用,但是其表现在很大程度上依赖于激活函数的选取,而激活函数的选取又比较复杂,大都是依靠经验或者实验来选择,所以这个过程中会出现无先验知识可借鉴或者参数类型繁琐难以较快确定的情况。MAXOUT卷积神经网络的出现解决了激活函数难以选择的问题,在研究M AXOUT网络构架的基础上,针对其不稀疏的特性引入Re LU稀疏单元,提出了一种基于Re LU函数稀疏性的MAXOUT卷积神经网络,并在MINST和CIFAR 10两个数据集上分别进行了数据分类实验。实验结果表明,具有稀疏性的MAXOUT卷积神经网络的分类效果更加理想。