基于扩张卷积的注意力机制视频描述模型

针对视频描述过程中视觉特征和词特征关联度不足、训练效率低、生成的自然语言出现错误和指标分数不高的问题,提出了一种基于扩张卷积的注意力机制视频描述模型。在模型的编码阶段,采用Inception-v4对视频特征进行编码,然后将编码后的视觉特征和词特征输入到基于扩张卷积的注意力机制中,最后通过长短期记忆网络进行解码,生成视频的自然描述语句。在视频描述公共数据集MSVD上进行对比实验,通过评价指标(BLEU、ROUGE_L、CIDEr、METEOR)对模型进行验证,实验结果表明,基于扩张卷积的注意力机制视频描述模型在各个指标上都有明显提升,对比基线模型SA-LSTM (Inception-V4),在BLEU_4、ROUGE_L、CIDEr和METEOR指标下分别提升了4.23%、4.73%、2.11%和2.45%。     

基于双阶段多尺度生成对抗网络的图像复原方法

针对人脸图像复原任务中对图像尺度信息利用不足和眼镜结构复原错误的问题,提出一种基于双阶段多尺度生成对 抗网络复原模型。该模型第1阶段引入改进损失的U-Net 粗重构网络,利用跳连接减少原始图像信息的丢失,融合3种不同 的损失函数提高生成器的重构能力,采用双判别器考虑全局信息和局部信息,并提出一种混合域注意力机制用于关注图像的 空间和通道信息。第2阶段的精修复网络构建了全新的特征增强模块,增强网络对细节信息的提取能力和对结构的表达能 力,引入相对判别器,用于关注生成样本与真实样本之间的相对真实性,提高了生成质量和训练稳定性。实验结果表明,该方 法能够复原各类图像缺失的情况,并能够有效复原佩戴眼镜的人脸图像,与其他方法相比,该方法的峰值信噪比、结构相似性 和感知相似度评估等指标分别提升了3.81%、2.65%和0.45%。     

一种基于CAEs-LSTM融合模型的窃电检测方法

为解决现有的智能电网电力盗窃行为检测方法中准确性不足、检测效率低下等问题,提出了一种由卷积自编码器网络(convolutional auto-encoders,?CAEs)和长短期记忆网络(long short term memory,?LSTM)相结合的CAEs-LSTM检测模型。该模型通过分析数据集的特点对电力数据进行二维转换,设计卷积自编码器结构,采用池化、下采样和上采样重构电力数据的二维空间特征,加入高斯噪声提高模型鲁棒性,并构建长短期记忆网络以学习全局时序特征。最后,对提取的时空特征进行融合从而检测能源窃贼,并进行了参数调优。在由国家电网公布的真实数据集上,通过将CAEs-LSTM模型与支持向量机、LSTM以及宽深度卷积神经网络进行对比,CAEs-LSTM模型的平均精度均值和曲线下面积值均最优。仿真实验表明,基于CAEs-LSTM模型的窃电检测方法具有更高的窃电检测效率和精度。     

基于卷积-双向长短期记忆网络的电池SOC预测

锂电池的预测性维护是电池应用的重点,实现它的关键是有效地预测锂电池的荷电状态(SOC)。随着信息技术和深度学习网络算法的发展,深度学习法在SOC预测方面显示出很好的潜力。提出了一种基于卷积-双向长短期记忆网络(CNN-BiLSTM)的SOC预测方法,利用卷积神经网络(CNN)模型提取局部特征,双向长短期记忆网络(BiLSTM)充分利用双向SOC的时间信息。在公共数据集上的对比实验表明,该模型提高了SOC预测的准确性。     

基于生成对抗网络的变电站工作人员行为预测的方法

提出了一种基于视频场景、利用生成对抗网络来整合全局和局部信息的变电站工作人员异常行为预测方法。在变电站中,此方法可以用来对运检人员在作业过程中可能触发危险的举动发出及时警告,从而为运检人员的生命安全提供重要保障。人类行为预测任务旨在基于给定的行为视频帧来预测未来的行为视频帧。考虑到人类行为视频中既包含相对稳定不变的场景信息,又包含时变复杂的人类行为信息,本方法首先使用全局生成对抗网络来生成视频场景以及粗糙的人体轮廓;然后再利用局部生成对抗网络来进一步优化视频中的人类行为细节。实验表明,与现有的仅利用单一模型来实现像素级别的行为预测的方法相比,本文所提出的全局和局部生成相结合的方法可以更好地捕获视频中人类的空间外观和时序动态。     

基于通道融合的Res-CNN-LSTM电网虚假数据注入攻击检测

针对电力系统的网络攻击事件越来越多,信息物理安全问题已经引发电力公司和学术界的高度关注。为了能够正确检测电网虚假数据注入攻击,本文提出一种基于残差神经网络（ResNet）结构的一维卷积神经网络（1DCNN）和长短期记忆（LSTM）网络多通道融合网络模型,简称通道融合的Res-CNN-LSTM网络模型。该神经网络算法利用1DCNN和LSTM对时间序列信息的高效提取能力,将不同通道上提取的信息进行融合,进一步加强了数据特征的提取效果,同时网络模型主体采用残差跳跃连接的结构来解决神经网络在训练过程中的过拟合问题;在IEEE-14和IEEE-118节点测试系统进行模型仿真实验,并对比其他神经网络模型,结果验证了本文所提方法的有效性和准确性。     

基于小波和长短期记忆混合神经网络的电力用户异常用电模式检测

为了约束输配电系统中存在的异常用电行为,文中提出一种基于小波和长短期记忆混合神经网络的电力用户异常用电模式检测模型。提出异常用电模拟算法用于生成异常用电数据序列;利用长短期记忆网络构建特征提取网络,从用电数据中提取出不同的序列特征;以小波神经网络为核心构建模式映射网络,实现序列特征到用电模式的映射,完成异常用电模式检测。通过CER Smart Metering Project数据集测试,文章提出的异常用电检测模型与传统网络模型相比,具有更高的检出率、更低的误检率和更高的贝叶斯检出率。     

宽卷积局部特征扩展的 Transformer 网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。     

基于Transformer与增强信息融合的双源情感识别

为解决当前多模态情感识别效果不佳的问题,提出了一种基于Transformer与增强信息融合的双源情感识别模型,模型由音视频编码分支网络和双源增强特征融合模块组成。其中,视频编码分支利用MobileViTv2提取每帧视频的空间特征,并通过在Transformer编码器结构中内嵌残差结构,强化各帧短期关联语义信息的提取能力。在音频特征提取部分构建了维度匹配器,避免了潜在异构鸿沟,提高了模型训练的鲁棒性。在音视频特征融合处引入低参数量跨模态注意力机制,从两个角度同时增强特征融合能力。通过对比和消融实验证明了方法在多模态情感识别任务中的有效性。     

基于多神经网络融合的短期负荷预测方法

为了利用不同深度神经网络的优势,提高深度学习算法对短期负荷的预测能力,提出一种基于多神经网络融合的短期负荷预测方法。以电力系统历史有功负荷、季节、日期类型和气象数据为输入特征,并行架构的深度神经网络和注意力机制网络为核心网络;以并行架构中的卷积神经网络通道提取静态特征,门控循环单元网络通道挖掘动态时序特征,采用注意力机制网络融合提取的特征并动态调整网络对不同特征的依赖程度;使用Maxout网络增强网络整体的非线性映射能力,通过全连接网络输出预测结果。与支持向量机、长短期记忆网络的算例结果对比表明,所提方法具有更高的预测平稳性和准确性。     

视听资料中的目标人物重识别方法

视频监控系统实时采集视频数据,可以作为有效的第三方目击者,为案件侦破提供有利线索与信息。但由于数据量巨大,检索工作量很高,给案件取证带来了不便。针对这一问题,本文以视听资料中的目标人物检索为目标,对现有的跨摄像头人体重识别方法进行改进,实现目标人物的快速重识别。首先对目标人物图像进行切分,获得分块特征图;其次引入局部融合模块,充分保留局部特征信息及局部关联信息;然后引入全局融合模块,在去除背景噪声的同时,全面表征图像全局特征;最后,综合交叉熵损失与三元组损失函数,加速模型收敛并有效防止过拟合。仿真实验结果表明,与现有人体重识别方法相比,本文方法的准确度更高;应用软件结果表明,本文方法可以实现跨摄像头目标人物快速定位,满足视听资料目标人物的快速检索需求。     

基于LSTMAttention网络的短期风电功率预测

提出一种基于LSTM-Attention网络的短期风电功率预测方法。首先,使用LSTM网络对数值天气预测(NWP)数据的特征信息进行提取,同时采用注意力机制有效分析了模型输入与输出的相关性,从而获取了更多重要时间的整体特征;其次,使用卷积神经网络(CNN)提取NWP数据的局部特征,并引入压缩和奖惩网络(SE)模块学习特征权重,利用特征重新标定方式提高网络表示能力;最后,将局部特征和整体特征进行特征融合,通过分类器输出分类结果。利用NOAA提供的美国加利福尼亚州某风电场的数据进行案例分析,证明了所提方法的有效性。试验结果表明,与BP神经网络、自回归积分滑动平均模型(ARIMA)模型和LSTM模型相比,LSTM-Attention模型具有更高的预测精度,证明了该方法的有效性。     

多视图融合和全局特征增强的车辆重识别网络

车辆重识别是智能交通领域重要应用之一,现有的车辆识别方法大多集中于预定义的局部区域特征或全局外观特征。然而,在复杂的交通环境下,传统的方法难以获取预定义的局部区域,同时很难捕捉有价值的车辆全局特征信息。因此,本文提出一种具有多视图融合的混合注意力机制和全局特征增强的端到端双分支网络。该网络旨在通过增强车辆的特征表达能力和特征质量来获得更完整、更多样的车辆特征。本文通过视图解析网络对车辆图片4个视角的视图进行分割,并通过视图拼接方法缓解分割不准确导致的信息丢失问题。为了更好地突出拼接视图中的显著性局部区域,本文提出一种由通道注意力机制和自注意力机制组成的混合注意力模块。通过该模块从车辆拼接视图中分别获取关键局部信息和局部信息之间的相关性,更好地凸显拼接视图中车辆局部的细节信息。除此之外,还提出了一个全局特征增强模块,通过池化和卷积获得全局特征的空间和通道关系。该模块不仅能提取到语义增强的车辆特征,而且还使车辆特征中包含完好的细节信息,解决获取的车辆图像受视角变化、光照条件变化等因素的影响。在Veri-776和VehicleID数据集上的大量实验表明,mAP、CMC@1和CMC@5分别达到...     

基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

通道可分离残差网络的图像超分辨率重建

针对现有图像超分辨率重建技术中存在的特征提取方式单一、中间层特征提取不充分等问题，提出了一种通道可分离残差网络。首先，利用多尺度卷积的思想设计出多分支卷积块，充分提取图像的低频信息；其次，利用通道压缩进行降维以精简特征信息，并引入坐标注意力机制对局部融合特征进行增强，通过长短跳跃连接，在加速收敛的同时使得主干网络专注于提取高频特征；最后通过上采样层重建出高分辨率图像。将本算法在Set5、Set14、BSD100和Urban100等4个超分辨率重建领域中公共数据集上进行对比分析，其中在2倍重建任务的Set5数据集上，与DBPN相比，参数量是它的2/5，PSNR和SSIM分别高出0.09 dB和0.001 6。实验结果表明，该算法对图像特征充分提取，以较少的参数量实现了与其他大型模型性能相近甚至更好的重建效果。     

利用全局与局部关联特征的行人重识别方法

针对因行人图像背景差异大、人体外观相似导致的行人再识别准确率低的问题,提出了一种利用特征融合与多尺度信 息的行人重识别方法。 首先,通过 ResNet50_IBN 提取人体图像全局特征图。 其次,设计分支结构,第 1 分支利用空间变换网络 对全局特征图进行自适应的空间特征对齐,水平切分全局特征图得到局部特征,采用全局特征与每个局部特征分别融合的方式 来挖掘特征之间的关联关系。 第 2 分支增加了 4 种不同尺度的卷积层提取全局图像的多尺度特征。 最后,在推理阶段将第 1 分支和第 2 分支的特征进行通道维度的串联,作为行人的对比特征。 通过在 Market-1501、DukeMTMC 数据集上的实验表明,所 提方法与 AlignedReID 和 EA-Net 等特征对齐和局部特征提取方法相比具备更强的性能,在 Market-1501 上,mAP 和 Rank-1 分别 达到了 86. 77%和 94. 83%。     

基于多层特征融合注意力网络的电能质量扰动识别方法

针对复杂电网环境下电能质量扰动特征冗余、分类精度低的问题,经过多层卷积神经网络逐层获取电能质量扰动信号低维到高维特征信息,引入特征注意力机制构建多特征融合层消除特征冗余,提升扰动信号关键特征关注度,并加强扰动信号的局部特征与全局特征的提取,提高模型泛化能力进而提高扰动分类精度,据此提出基于多特征融合注意力网络的电能质量扰动识别方法。仿真结果显示,所提方法不仅在单一扰动、复合扰动下能有效辨识电能质量扰动,而且能有效克服噪声干扰对模型的影响,相比主流扰动分类方法提取的特征辨识度更高、模型抗噪性更强。     

融合边缘检测和递归神经网络的视频表情识别

为有效解决传统视频人脸表情识别通常只关注单张视频帧的空间特征,而忽略了相邻帧之间隐藏的时间特征的问题,提出一种结合边缘检测和递归神经网络的视频表情识别方法,利用梯度边缘检测准确地提取输入图像的纹理信息,同时提出一种分片交叉LSTM结构,提取出图像序列中隐藏的时空特征。实验在CK+和MMI视频库上进行,在OCNN-RNN网络中分别取得88.4%和69.7%的识别率,在GCNN-RNN网络中分别取得89.8%和73.6%的识别率,最终使用提出的加权随机搜索方法融合GCNN-RNN和OCNN-RNN两个网络之后,分别取得了94.6%和79.9%的识别率,均优于单流网络算法,证明了所提算法的有效性。     

基于多残差和多重特征融合的去雾算法

针对目前大多数图像去雾算法由于细节丢失导致去雾后的图像颜色失真,雾霾残留以及纹理细节模糊等问题,提出 一种基于多残差和多重特征融合端到端的去雾算法。首先通过设计浅层特征提取模块,为深层网络提高丰富信息的特征图; 其次设计多残差级联模块,提取多层次特征,帮助模型学习更加复杂的特征表示;然后设计局部-全局特征融合模块,捕获从最 细微到最广泛的特征;最后设计结合残差注意力的跨层特征融合模块,避免上下采样后的细节缺失,更好地提取图像中的局 部与全局信息特征。实验结果表明,所提算法在 SOTS 室内、室外测试集上峰值信噪比(PSNR) 分别取得了33.12、31.07 dB, 结构相似性(SSIM) 分别取得0.986、0.983,与当前大多数主流算法相比得到了明显的提升,且在合成雾图像和真实雾霾图像 均取得了不错的去雾效果,复原图像细节更加清晰,更符合人类视觉感知。