迁移学习引导的变源域长短时记忆网络建筑负荷预测

历史数据不足会严重影响到长短时记忆网络(long short-term memory,LSTM)预测建筑负荷的精度.迁移并利用源域中其他相似建筑的用能数据,可以提高LSTM处理目标域中建筑的预测精度,但现有方法没有考虑预测过程中数据增加所导致的源域匹配关系变化问题.鉴于此,提出迁移学习引导的变源域LSTM建筑负荷预测方法.在执行过程中,根据源域建筑负荷与目标建筑负荷在最新窗口的关联度,实时调整要选择的源域建筑及其能耗数据,以确保源域与目标域始终保持较高的相似程度.在多个典型实例上的应用表明,相比传统的定源域迁移学习方法,所提变源域LSTM负荷预测方法可以始终保持较高的预测精度.     

基于改进WGAN考虑特征分布相似性的小样本负荷预测方法

对于综合能源系统中新接入用户,其往往由于历史数据匮乏而难以建立精准的短期负荷预测模型.本文基于迁移学习理论,提出了一种基于改进Wasserstein生成对抗网络(WGAN)的小样本负荷预测方法.首先,本文采用最大信息系数法量化各影响特征与负荷的相关性强弱.接着,将源域特征序列进行分割,计算各分割子序列与目标域小样本的实序列编辑距离确定初始源域.然后,引入卷积神经网络和长短期记忆模型建立源域预测网络.通过WGAN对齐目标域和源域负荷特征的空间分布,并在最优传输代价函数中加入局部特征损失以提高训练的稳定性和快速性.最后,将对抗训练后网络用于目标域负荷预测.采用该方法对某地区小样本负荷进行实验,结果表明,本文所提算法与其他预测模型相比能达到更高精度.     

基于ResNet和迁移学习的古印章文本识别

古印章文本因图像退化与超多分类等特点导致识别难度大,部分字符的标注数据不足造成基于深度学习的模型识别准确率不高,泛化能力差.针对上述问题,提出基于深度残差网络(ResNet)和迁移学习的古印章文本识别方法.使用深度残差网络作为特征提取网络,利用人工合成字符样本作为源域进行预训练.将自建古印章文本识别数据集作为目标域,引...     

基于联邦学习和重要性加权的疾病得分预测

在考虑用户隐私的保护多源域数据背景下预测疾病得分的问题中,来自不同源域的数据分散存储无法合并,且可能服从不同的分布,因此传统的机器学习方法无法合理地利用源域数据的信息.本文结合联邦学习的思想和基于样本的迁移学习方法,提出了联邦重要性加权方法,通过将源域的样本重用于目标域的预测任务,而且不需要进行源域之间的数据共享,实现了在保护源域的数据隐私的情况下利用分布不同的多源域的信息提升目标域预测的精度.并且基于提出的方法,本文构造了一种加权模型并提供了一个简洁通用的算法用于求解目标域的预测模型.数值模拟以及实证结果表明,相对于未考虑分布迁移的传统方法,联邦重要性加权方法可以有效地利用多源域数据的信息,在目标域的预测精度上具有优势,以及在帕金森疾病数据中做出精准的疾病得分预测.     

基于K-Means和CNN的用户短期电力负荷预测

随着电力物联网的不断发展,用户级电力负荷预测在电力需求侧管理中呈现出日益重要的作用.为了提高用户级电力负荷预测的性能,本文提出一种基于K-means聚类与卷积神经网络特征提取的短期电力负荷预测模型.首先,利用K-means将用户聚为两类：对于日相关性强的用户,将相邻时刻和日周期的历史负荷作为输入,采用CNN模型提取特征进行预测;对于日相关性弱的用户,仅将相邻时刻的历史负荷输入到CNN模型进行预测.为了验证所提出算法的性能,我们在实际的用户负荷数据上做了实验,并与随机森林、支持向量回归机进行对比,结果表明本文所构建模型的预测平均绝对百分误差降低了20%以上.     

基于用户-项目交叉注意力机制的迁移推荐模型

随着互联网技术的发展,个性化的推荐系统得到了广泛应用.但用户数据稀疏与冷启动仍是推荐系统普遍面临的难题.将深度学习与注意力机制相结合,提出基于用户-项目交叉注意力机制的迁移推荐模型.该模型能够充分学习源域数据中用户、物品及评分间的潜在关系,然后初始化目标域神经网络,迁移应用到目标域.为验证算法模型的有效性,在公开数据集...     

边缘计算和深度学习的智能电网短期负荷预测研究

本研究以深度学习和边缘计算为基础,详细阐述了电力系统负荷预测的方法,并在此基础上分别建立了基于深度学习理论的电力短期负荷预测模型和基于边缘计算电力负荷预测模型,然后基于MATLAB平台分别对两种模型所选取的数据集进行仿真分析,并以N市某充电站为例,分析对比了两种模型对充电站电力负荷预测的准确性.研究结果表明,深度学习模...     

基于CNN_BiLSTM的长短期电力负荷预测方法

当前电力系统负荷预测中负荷数据受到多种因素影响且多步长预测时精度不高,因此电力负荷预测呈现出非线性、多因素、非平稳态等问题.提出一种基于CNN_BiLSTM混合深度学习网络的长短期电力负荷在线预测方法.首先根据卷积神经网络和双向长短期记忆网络的特点,建立了CNN_BiLSTM负荷预测模型,并将历史负荷与影响因素耦合形成...     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

基于XGBOOST-DNN的中期电力负荷预测

精准的负荷预测是电力工作者重要的工作之一,而负荷预测以预测周期的不同,一般可以划分为短期电力负荷预测与中长期电力负荷预测.其中中长期电力负荷预测相较短期电力负荷预测而言,该领域缺乏大量前沿工作者的探索.因此本文提出一种可应用于中期电力负荷预测领域且基于XGBoost-DNN的算法.该算法将树模型和深度神经网络相结合,并将短期电力负荷预测引入到了中期电力负荷预测的工作中,基于树模型自身特点,将数据特征加工成高阶的交叉特征,同时结合原有数据利用深度神经网络可学习到丰富的特征信息.这里是以2017全球能源预测竞赛的数据进行算法分析,其中实验表明,在中期电力负荷预测领域,该方法提出的XGBoost-DNN模型相较于DNN,LSTM而言,其具备更加精准的准确性.     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

基于TLBGA-GRU神经网络的短期负荷预测

短期负荷预测在电网调度安排和电力市场交易中发挥着重要作用,预测精度高,有利于提高发电设备的利用率和经济调度的有效性。为充分挖掘负荷数据中时序性特征的联系,解决神经网络中由超参数的随机选取导致的预测精度下降问题,提出一种基于教与学的遗传算法（TLBGA）和门控循环单元（GRU）神经网络的短期负荷预测方法。利用灰色关联分析法对原始数据进行相关度分析,剔除冗余特征,使输入与输出保持较好的映射关系,在遗传算法中加入一种基于教与学优化的新型变异算子,用于防止其出现早熟收敛问题,从而提高解的质量。在此基础上,运用改进后的TLBGA算法对GRU神经网络模型进行超参数寻优,更新GRU的模型超参数并使其性能达到最佳状态,以提高负荷预测的精度。对欧洲某地区的电力负荷数据集和美国PJM电力市场公开负荷数据集进行预测,结果表明,该方法的预测精度分别达到了97.1%和97.2%,相比反向传播神经网络、循环神经网络及GRU神经网络模型,具有更高的预测精度。     

迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1）对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2）从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络（deep convolution neural network,DCNN）模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3）阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局限性及适用场景;4）给出迁移学习在医学图像分类应用中存在的问题并展望未来研究方向。     

基于深度学习的智能楼宇微网负荷预测方法研究

楼宇微网是智能电网的重要组成部分,提高智能楼宇微网负荷预测精度,有助于对楼宇能效系统进行优化控制和调度规划。针对智能楼宇微网用电负荷数据的特点,提出了基于深度学习的智能楼宇微网短期负荷预测模型。首先用无监督的贪心算法对原始数据进行负荷数据的特征学习,完成对智能楼宇微网负荷数据的特征提取;然后挖掘智能楼宇微网负荷数据间的相互关系;最后用反向传播算法微调整个模型的参数。实验结果表明,提出的预测模型与传统预测模型相比具有更高的预测精度,且具有很好的可行性和有效性。     

基于时空特征提取的空气污染物PM2.5预测

为了充分挖掘多因素数据间的时空特征信息，解决在多种因素相互影响下不能准确预测PM2.5值的问题，提出了一种融合了局部加权回归的周期趋势分解（Seasonal-Trend decomposition procedure based on Loess, STL）算法、卷积长短期记忆网络（Convolutional Long Short-Term Memory Network, ConvLSTM）和门控循环单元（Gated Recurrent Unit, GRU）的PM2.5预测方法。首先利用STL算法将PM2.5数据进行分解，将分解得到的序列分别与其他因素相融合；搭建ConvLSTM-GRU模型，并利用贝叶斯寻优算法进行超参数寻优；将融合数据传入ConvLSTM网络中进行时空特征提取，再将提取后的特征序列传入GRU网络中进行预测。通过与ConvLSTM-GRU模型、CNN-GRU模型以及GRU模型的预测结果进行比较实验，证明所提模型具有误差小、预测效果好等特点。     

基于GRU-LSTM组合模型的云计算资源负载预测研究

日益增多的应用部署在云端使得云数据中心的功耗波动剧烈,从而导致云数据中心资源利用率不平衡,高效的负载预测是解决该问题的关键技术。针对目前负载预测模型预测精度低、预测时间长的问题,建立一种基于门控循环单元（GRU）与长短期记忆（LSTM）网络的组合预测模型GRU-LSTM。该模型的网络结构包括3层,第一层采用GRU,利用GRU参数少、易收敛的特点减少模型训练时间,第二、第三层采用LSTM,结合LSTM参数多的优势提高模型的预测精度。在此基础上,对数据集作缺失值处理和标准化处理,使用随机森林算法对原始序列进行特征选择后得到一组新的序列值,将该序列值作为GRU-LSTM组合预测模型的输入,以对云计算资源进行高效预测。在集群公开数据集Cluster-trace-v2018上进行实验,结果表明,与传统的单一预测模型ARIMA、LSTM、GRU以及现有的组合预测模型ARIMA-LSTM、Refined LSTM等相比,GRU-LSTM模型预测结果的均方误差减少6~9,预测时间平均缩短约10%。     

强化数据预处理的BLSTNet-CBAM短期电力负荷预测

针对负荷数据复杂性、非平稳性以及负荷预测误差较大等问题,提出一种综合特征构建和模型优化的短期电力负荷预测新方法.首先采用最大信息系数(MIC)分析特征变量的相关性,选取与电力负荷序列相关的特征变量,同时,考虑变分模态分解(VMD)方法容易受主观因素的影响,采用霜冰优化算法(RIME)优化VMD,完成原始电力负荷序列的分解.然后改进长短期时间序列网络(LSTNet)作为预测模型,将其递归层LSTM更新为BiLSTM,并引入卷积块注意力机制(CBAM)进行预测.通过对比实验和消融实验的结果表明:经RIME-VMD优化后,LSTM、GRU、LSTNet模型预测的均方根误差(RMSE)均降低20%以上,显著提高模型预测精度,且能够适应于不同预测模型.所提出的BLSTNet-CBAM模型与LSTM、GRU、LSTNet相比, RMSE分别降低了35.54%、6.78%、1.46%,提高了短期电力负荷预测的准确性.     

基于稀疏表示方法的短期风电功率预测

针对短期风电功率预测,提出一种基于稀疏表示特征提取的建模方法.为了构建预测模型,将历史风电功率数据构成具有时延的输入-输出数据对,将时延输入数据向量作为初始字典,由K-均值奇异值分解(K-SVD)算法将其进行稀疏分解与变换至稀疏域以得到学习后的字典,由正交匹配追踪(OMP)算法获取相应的稀疏编码向量,再将该向量作为极限学习机(ELM)或支持向量机(SVM)的输入来构建全局回归模型.为了验证所提出的方法的有效性,将所提出的方法用于短期风电功率预测中,在同等条件下与单一SVM、ELM方法和非字典学习的其他稀疏表示建模方法进行了比较.实验结果表明,不同的稀疏表示建模方法均能取得很好的预测效果,其中所提出的方法具有更好的预测效果,显示出其有效性.     

基于加权灰色关联投影的Bagging-Blending多模型融合短期电力负荷预测

针对短期电力负荷随时间变化呈现随机性和不确定性问题,提出了一种基于加权灰色关联投影算法Bagging-Blending的融合模型。首先,采用加权灰色关联投影算法对电力负荷中各影响因素(如天气、温度、湿度、日期类型等)进行分析,以选取历史负荷特征。在此基础上,分别将各单一模型SVR (support vector regression)、KNN (K-nearest neighbor)、GRU (gate recurrent unit)、XGBoost (eXtreme Gradient Boosting)、LightGBM (light gradient boosting machine)、CatBoost (Categorical features gradient Boosting)嵌入Bagging集成算法中以提升模型的稳定性和泛化能力。同时利用Pearson相关系数对各单一模型进行相关性分析。然后,依据模型对数据观测空间角度的不同,使用Blending模型对相关性小的模型进行融合。最后,通过新英格兰地区电力负荷数据ISO New England进行验证。所提融合模型与传统单模型(SVR、GRU)和其他融合模型(Bagging-XGBoost、最优加权的GRU-XGBoost)相比,具有较强的泛化能力和较高的稳定性与预测精度。