基于注意力机制和EMD-GRU模型的电力负荷预测

为提高非平稳性电力负荷的预测精度以及充分挖掘历史负荷数据的时序特征,本文提出了基于注意力(Attention)机制和经验模态分解(EMD)以及门控循环神经网络(GRU)组合的负荷预测方法.首先使用EMD对原始负荷数据进行EMD分解,继而得到有限个具有本征模态函数(IMF)的分量;然后考虑到各分量间的相关性,使用多层GRU网络对IMF分量进行多输入多输出预测,同时引入注意力机制,深入挖掘历史负荷数据的时序相关性特征;最后对多层神经网络输出的有限个分量预测结果进行重构得到最终的负荷预测值.算例分析采用贵州电网某地实际负荷数据,经过与不同模型进行预测误差分析和对比,本文所提方法能够有效提高预测精度.     

实测卫星频谱占用状态拟合与预测方法

由于在不同时间、不同空间卫星接收数据底噪是动态起伏的,传统建模固定门限的方法存在缺陷。本文在时间维度上对卫星频谱感知数据的频谱占用模型进行分析,利用自适应阈值法确定噪声门限,对卫星频谱数据进行预处理,得到卫星频谱占用长度序列。为对卫星频谱的态势进行有效的统计分析,利用泊松分布和指数分布方法对频谱占用时间长度序列的概率密度曲线进行拟合,得到了适用于卫星频谱占用时间序列的概率分布模型。基于所得的卫星频谱占用状态模型,通过两状态马尔可夫链计算出卫星信道某一频点的状态转移矩阵,从而预测出信道占用和空闲的概率。利用卫星频谱感知数据构建的数据集进行反向传播(BP)神经网络训练,预测某一频点的占用长度。通过计算BP神经网络与传统的长短期记忆(LSTM)神经网络预测法的均方根误差(RMSE),得到LSTM神经网络的RMSE为2.208 1,BP神经网络的RMSE为0.172 8。评估结果表明,BP神经网络准确度高。     

基于支持向量机的认知无线电频谱预测方法

频谱预测是认知无线电系统中的关键技术之一,利用该技术可以显著减少认知用户的能量损耗,同时提高系统的频谱利用率.针对现有基于BP神经网络的频谱预测方法预测精度低及失效率高等问题,将建立在统计学习理论和结构风险最小原则上的支持向量机引入认知无线电频谱预测中,利用其对小样本及非线性数据优越的预测性能对信道进行预测.实验结果表明,该方法通过避免无效检测,提高了频谱感知系统的性能,并且比基于BP神经网络算法的模型的预测精度更高,具有良好的实用性与灵活性.     

基于不同神经网络模型预测体测成绩

为更加准确地反应当前学生的身体素质情况,基于多个不同的神经网络模型构建体测成绩预测模型,为降低体测成绩中各项目数据之间的相关性,使用主成分分析法对数据集进行处理。使用BP神经网络结合脉冲神经网络构建一个预测模型,加强模型处理分析数据集的能力,提高预测的准确性。在长短期记忆神经网络中加入注意力机制构建另一个预测模型,使模型更加关注数据集中的关键信息。通过实验,预测模型输出的预测值与实际值的重合率高达90%以上,预测准确率整体在95%以上。     

基于CNN的毫米波无蜂窝大规模MIMO信道估计

针对小区间干扰导致蜂窝边缘无法满足不断增长的数据速率需求问题,毫米波无蜂窝大规模多输入多输出(Multiple-Input Multiple-Output, MIMO)系统被认为是一种很有前途的解决方案。然而,毫米波的高频率、大带宽以及接入点配置的大量天线给信道估计带来了较大挑战。将毫米波大规模MIMO信道矩阵视为二维图像,结合图像去噪方法提出一种基于改进去噪卷积神经网络(Improved-Denoising Convolutional Neural Network, I-DnCNN)的信道估计算法。通过具有注意力机制的压缩与激励(Squeeze-and-Excitation, SE)模块,自适应调整提取的全局特征以增强对信道噪声特征的学习,根据接收信号估计出噪声等级图且增添为输入,提升对噪声的鲁棒性。最后,采用残差学习的方式获得估计信道矩阵。利用理论信道模型和基于波束追踪的信道数据集进行的仿真实验结果表明,与去噪卷积神经网络(Denoising Convolutional Neural Network, DnCNN)算法相比,所提算法在两个数据集下的信道估计精度可分别平均提升2.27...     

基于增量学习的时变信道预测方法

基于自回归模型(Autoregressive Model, AR)的传统信道预测方法在高速移动中，信道具有较大的时变性，导致信道发生了非线性的改变。基于反向传播(Back Propagation, BP)网络的信道预测方法通过适当地调整权重可使模型更加稳健，但是算法效率较低。提出一种新的模型，设计长短期记忆(Long Short-Term Memory, LSTM)网络和增量学习相结合的在线信道预测模型，实现时变信道的在线预测。模型应用LSTM神经网络学习长时间序列的特性来处理时间相关通信系统中的信道状态信息，增量学习(Incremental Learning, IL)在运行期间不断预测系统状态，同时更新LSTM神经网络的现有权重，交替执行训练和预测过程，模型可以很好地适应无线信道的动态变化。实验结果表明，提出的模型能有效地改善时变信道的预测准确率。     

基于全注意力机制的多步网络流量预测

预测资源分配能有效利用无线网络的剩余资源服务非实时业务,其中的关键问题之一是剩余资源的预测,可转化为实时业务流量预测问题。本文把面向自然语言处理提出的全注意力机制引入到时间序列预测问题中,预测未来分钟级时间窗内秒级的流量,通过在每秒记录的实测流量数据集上进行训练和测试,与其他基于循环神经网络和线性、非线性预测模型的方法在复杂度（由训练和测试时间衡量）、预测精度（由平均相对百分比误差衡量）和预测误差统计特性（由预测误差的均值和标准差衡量）等方面进行比较。研究结果表明,与无注意力机制的循环神经网络相比,所设计的基于全注意力机制的方法计算复杂度低,由于多步预测的累积误差,在预测精度方面增益不明显。      

基于带有注意力机制的深度循环神经网络的语音情感识别

自从注意力机制在自然语言处理领域取得了巨大成功,其被引入了语音情感识别任务中,使各种语音情感识别模型的性能获得了提高。为了能在深度循环神经网络中更加高效地利用注意力机制,对传统的注意力机制进行了推广,提出了基于分段的注意力机制,并将其应用于深度循环神经网络中。在CASIA语音情感数据集上的实验结果证明,这一方法能够有效提高模型性能,并大幅提高模型训练速度。     

快变信道环境下基于支持向量回归的频谱预测

频谱预测是一种通过分析历史频谱数据获得频谱使用规律,从而预测未来频谱使用状态的技术。为了实现快变信道（本文指信道占用状态快速变化）环境下频谱状态的可靠预测,提出了一种基于支持向量回归的频谱预测算法。比较了在不同训练样本数时,该算法与一个典型的BP神经网络频谱预测算法的性能差异,结果表明所提算法在小样本学习时,预测效果更为理想。并在此基础上,加入正确检测概率和虚警概率,验证了当频谱检测不理想条件下,支持向量回归算法预测的可行性。      

基于超参数优化的电力负荷预测模型研究

电力负荷数据的多样性与复杂性,会导致负荷预测过程中出现超参数难以确定、拟合效果较差和预测精度不高等问题。针对以上问题,提出一种基于樽海鞘群算法的融入注意力机制的双向长短期记忆神经网络模型——SSA-AM-BiLSTM模型。该模型使用BiLSTM学习特征的内部变化规律,引入注意力机制为特征进行权重分配,并且利用樽海鞘群算法优化网络超参数。基于具体数据集进行的负荷预测仿真实验表明,相较于GRU、LSTM、AM-BiLSTM和PSO-AM-BiLSTM模型,所提出的SSA-AM-BiLSTM模型的MAPE分别减少了2.15%、1.93%、1.42%和0.45%,并且优化了拟合效果,显著提高了预测精度。     

云计算环境下基于深度学习的人群流量预测框架

随着云计算技术的深入应用，人群流量预测已然成为智慧城市建设中亟待解决的问题，大部分基于深度学习的模型未考虑偏远区域的空间相关性，或未将空间相关性以及时间依赖性综合考虑。针对上述问题，提出一种云计算环境下基于深度学习的人群流量预测框架(Deep Learning-based Crowd Flow Prediction Framework in Cloud Computing, DL-CFP)。DL-CFP模型借助邻近单元和扩张单元分别计算相邻区域和偏远区域的空间相关性，通过卷积长短期记忆(Convolutional Long Short-Term Memory, ConvLSTM)模型计算不同区域的时间依赖性。引入区域增强注意力机制，使模型能够捕获更完备的空间相关性。在滴滴出行和纽约出行真实数据集上进行大量对比实验，结果表明，DL-CFP模型预测准确性和稳定性均优于主流算法，平均预测准确率达到75.6%,相比其他算法平均提升27.1%。     

基于BP神经网络的认知无线电疑似跳转信道预测研究

为了在认知无线电环境中进行跟踪干扰,需要预测认知用户在遭受干扰后进行频谱切换的目标信道——疑似跳转信道,以便在这些疑似跳转信道上对其进行跟踪检测和干扰。提出了一种在多信道多用户条件下,认知用户在感知得到的空闲信道上智能决策并选择合适信道接入的频谱模型,并用基于BP神经网络的预测算法预测疑似跳转信道,为衡量预测效果,提出了预测切准率和预测精度两个参考标准,仿真结果验证了该算法的可行性。     

引入高阶注意力机制的人体行为识别

现有的视频行为识别方法在特征提取过程中,存在忽略各个特征之间相互作用关系的问题,对近似动作的区分效果不理想。因此,提出引入高阶注意力机制的人体行为识别方法。在深度卷积神经网络中引入高阶注意力模块,通过注意力机制建模和利用复杂和高阶的统计信息,对训练过程中特征图各个部分的权重进行重新分配,从而关注局部细粒度信息,产生有区别性的关注建议,捕获行为之间的细微差异。在UCF101和HMDB51这两个人体行为数据集上的实验结果表明,与现有方法相比,识别率得到了一定的提升,验证了所提出方法的有效性和鲁棒性,提高了对近似行为的辨别能力。      

基于复数网络与注意力机制的信号调制识别

通信信号调制识别作为管理、监测电磁频谱的重要手段,具有重要的研究价值和应用前景。本文利用调制信号的频域信息,提出一种基于复数神经网络的信号调制识别方法。首先将I、Q两路信号组合成复信号,经过快速傅里叶变换(FFT)后把得到的实部和虚部组合起来作为输入网络的数据集。其次,设计了一种复数神经网络结构,并引入了注意力机制对网络结构进行改良。仿真结果表明,本文提出的方法可以有效识别9种调制方式,在信噪比为6 dB时,平均正确识别率达到96.33%。     

多尺度特征融合U-Net的遥感影像黑臭水体智能检测

研究采用卫星遥感技术获取高分辨率遥感影像水体样本数据集,基于深度卷积神经网络从高分辨遥感影像中提取水体并进行黑臭水体智能监测,提出了一种改进U-Net的黑臭水体检测网络模型(IWDNet)。基于U-Net结构引入跳跃式多尺度特征融合,结合通道注意力机制、卷积注意力模块、通道与空间注意力机制生成不同多尺度特征融合注意力机制(MFFAM)模块进行对比,并引入空洞卷积扩大网络感受野,最终实现黑臭水体的识别检测。实验证明：基于跳跃式多尺度融合与CBAM注意力机制的黑臭水体检测网络(MFFCBAM-IWNet)模型有效提升了识别精度,在高分辨遥感影像水体样本数据集上表现最佳,总体精度达98.56%,Kappa系数达0.978 4。     

改进多图谱配准的三维医学图像分割算法

为提高海马体分割精度与时间效率，在多图谱分割(Multi-Atlas Segmentation, MAS)脑部图像的配准阶段提出可变形配准网络EDUNet。针对浮动图像与固定图像，进行数据预处理，使其受到外界的影响最小，在配准阶段，用ANTs代替传统“粗”配准，利用卷积神经网络(Convolutional Newral Nerwork, CNN)改进“精”配准，对配准场进行估计，并引入注意力机制及空洞卷积模块。注意力机制用于自动学习和优化注意力特征，加强特征表达能力；空洞卷积扩大感受野，获取多尺度信息；配准中使用端到端网络，减少配准时间、提高配准效率。算法在OASIS数据集与LBPA40数据集进行了验证，配准精度可达0.786 3,使用基于局部二元模式的特征提取方法进行标签融合后，最终分割精度较其他方法提升3%～10%,验证了算法的有效性和准确性。     

一种基于生成对抗网络的电波传播数据增强方法

电波传播模型是频谱管理、通信领域的关键研究内容。能否精准刻画电波传播模型，将直接影响传播损耗计算、频谱态势生成等实际效果。模型研究需电磁环境感知数据支撑，而现有电磁环境感知数据稀缺，采集困难，且往往只关注场强等表征信道特性的要素，因此研究了一种基于生成对抗网络的电波传播数据增强方法。该方法由经纬度获取测量点高程信息和卫星图像，并联合经纬度基于条件生成对抗网络对卫星图像增强，获得包含信道特性和地形变化的联合数据集。结果表明，在相同电波传播预测模型下，采用该方法生成的数据集预测精度提高2.7%，使得传播模型构建具备了更多的数据支撑。     

基于融合自注意力机制的GRU边坡预测算法研究

在对边坡进行准确性和可靠性评价时,传统的预测方法有效预测趋势时间短,且预测趋势与实际变化趋势差异较大。为提边坡形变监测中趋势预测值与实际变化趋势吻合度差的问题,文章提出了基于融合自注意机制的GRU边坡预测算法(Self-attention Gate Recurrent Unit, SA-GRU)。该算法：(1)对边坡监测历史数据进行预处理,从而降低数据集中的随机噪声,同时去除由设备问题产生的重复数据;(2)为了捕捉序列中的长期依赖关系,构建基于GRU的循环神经网络模型,并引入自注意机制以增强模型的关注能力。(3)将LSTM、GRU和SA-GRU 3种网络得到预测结果进行对比,发现融入了自注意力机制的GRU模型可以更好地理解序列中的时间关系,提高了预测的准确性。本算法对边坡形变趋势预测精度更高,在边坡稳定性的预测方面有更好的适用性。     

基于k最近邻回归的频谱占用度预测

认知无线电技术可以在授权用户和非授权用户间进行频谱分配,预测模型的建立可帮助非授权用户推断频谱空洞是否可用,不仅能提升频谱利用率而且还能降低冲突率。采用理论分析、监测实验、数学建模、数据实证等方法,对频谱占用度建模理论进行了研究。针对频谱的可预测性问题,通过对数据集的分析,使用k最近邻( kNN)回归模型预测频谱的信道-场强值。基于观测数据呈现出的周期性,提出了一种针对周期性数据进行优化的kNN模型,并用其进行预测。比较了原始kNN回归模型和优化后的周期性kNN模型在测试数据上的预测精度,结果表明优化后的模型比原始的kNN模型有着更好的预测精度。     

基于注意力机制的多视图三维重建

针对多视图三维重建的过程中，存在难以准确、完整重建的问题，提出了一种基于深度学习的自适应通道注意力三维重建方法，能够处理具有不同尺度及不同分辨率的图像数据。该方法通过卷积神经网络对图片进行特征提取，利用注意力机制优化三维代价体正则化过程，并对网络进行训练。在DTU数据集上的实验结果表明，此网络的三维重建结果在完整性(Comp)和整体质量(Overall)分别达到了0.379 mm、0.414 mm,高于传统方法和其他基于深度学习的方法，同时，点云模型的可视化结果也有了明显改善。此外，在BlendedMVS数据集上的实验结果表明，此网络的准确性(Acc)也较好。