基于增强全局-局部特征融合的视频描述生成方法

现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在MSVD与MSR-VTT数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。     

基于时空一致性约束视频目标车辆的 检测与跟踪算法研究

复杂场景中的目标感知是深度学习在计算机视觉中最重要的研究领域之一,而复杂交通场景中的车辆检测与跟踪是当今众多学者研究的热点问题。在视频目标检测过程中由于运动物体的时间维度特征信息利用不充分,导致在长序列之间的时间特征极其容易被忽略,本文提出一种时空一致性的视频车辆的检测跟踪算法。该算法由双分支网络结构组成：分支一是由基于空间相关性的Transformer网络模块组成,该分支网络主要用于判断前后帧的相关性、感知相邻帧之间的一致性,预测目标车辆时空一致性的关联度;另一网络分支是由基于交叉特征金字塔融合的网络模块组成,该模块主要是提取检测对象的局部信息结合浅层的空间边缘信息和深层的语义特征信息,提取对象空间位置的特征信息。该网络结构将Transformer机制和交叉特征金字塔模块相结合,利用Transformer对长序列之间时间关联性敏感和特征金字塔网络模块对边缘信息敏感的特性,对视频帧对象进行检测和跟踪,确保相邻帧的长程相关性以及边缘和深层的特征信息深度融合。实验结果表明,本文设计的双分支网络结构在视频目标跟踪和检测中取得更好精度和更快的收敛速度;同时在显著性视频目标检测中,实验表明算法的...     

基于生成对抗网络和深度残差神经网络的变电站异物检测

变电站电力巡检能够保证变电设备安全运行,及时发现潜在危险和隐患。传统方法主要依靠人工完成,需要较多的人力物力,并且由于变电站异物入侵的偶然性和突发性,传统方法很难预测发生的时间和地点。针对该问题,提出了基于生成对抗网络和深度残差神经网络的变电站异物检测技术。利用深度残差神经网络提出图片的特征,结合区域推荐网络和池化分类器实现目标的分类和定位。利用生成对抗网络生成样本扩充训练数据库,提升了网络的学习能力。最后利用真实变电站的图片数据进行测试,提出的方法具有较高的异物识别准确度,并且比较了不同种类不同数目的训练集,验证了通过生成对抗网络扩充样本的有效性和可行性。     

基于深度学习的电网安防视频分析技术

以变电站监控视频为出发点,利用帧间差分法发现视频序列中存在目标的帧,然后在分析电网监控场景的基础上,基于Faster R CNN深度学习框架训练目标检测模型来检测视频中的目标,实时记录目标检测结果并将结果存入数据库中。从试验结果可看出,深度学习具有较高的检测准确率,可加强智能电网的电力安防建设。     

基于深度学习考虑出行模式的电动汽车充电负荷场景生成

随着电动汽车的快速普及,交通网与电网的耦合进一步加深,交通网出行模式将对电动汽车充电负荷产生显著影响。传统的充电负荷模拟方法依赖于对交通路网和电动汽车个体建模并有较强的假设。文中提出了一种基于数据驱动的卷积自编码器和条件对抗生成网络的电动汽车充电负荷场景生成方法。该方法首先采用基于无监督学习的卷积自编码器对交通网出行预测数据降维并自适应地抽取出特征信息。其次,设计了一种适用于日前交通网充电负荷场景生成的条件生成对抗网络,并利用卷积自编码器抽取出的特征信息,隐式地学习得到不同交通网出行模式对应的电动汽车充电负荷条件概率分布,从而实现日前的电动汽车充电负荷场景生成,为电网运行与充电站运营提供了支撑。最后,以实际城市路网为例验证了所提出充电负荷场景生成方法的有效性。     

基于深度学习的行为识别及在电力系统的应用

变电站在电力系统中发挥着重要的作用,随着智能监控系统的快速发展,无人值守变电站已经成为一种普遍的变电站管理模式。针对监控视频中的人体行为进行识别和分析对于电力系统有着重要的研究意义和广阔的应用前景。采用长效递归卷积网络(Long-term Recurrent Convolutional Networks,LRCN)模型结合视频中的外观信息和动态信息实现对视频中的人体行为进行识别。通过实验验证了LRCN模型在标准数据集上表现了良好的鲁棒性和泛化能力;并针对变电站及电力施工相关场景下的监控视频进行了测试,验证了LRCN模型能够用于电力系统智能监控中进行行为的识别;最后将LRCN行为识别模型移植到嵌入式GPU模块上实现可移动的智能视频处理系统,使行为识别技术更好地应用到电力系统相关场景中。     

AR增强现实技术在变电站二次设备运检中的应用

为了解决传统电力二次设备的运检工作中存在的重复性强、人员效率低且易出错等不足,采用AR增强现实技术,构建了包含标准化作业指导库和运检资源库的二次设备运维系统。引入A-KAZE特征提取算法,结合聚类分析和点集验证的算法,通过OpenCV源码的实现来发挥其在图像辨识、虚实影像叠加、智能纠错判断、手势语音交互等方面的技术优势。AR智能终端设备捕捉被检查设备的信息后,通过与后台信息数据库的比对可实现自动排查设备异常等功能,并可实时记录现场的运检数据。在变电站二次设备运检中的应用结果表明,所构建的系统,规范了运检操作流程,实现了无纸化操作,提高了变电站二次设备巡检工作效率和识别准确率。     

基于改进FAST特征匹配的电子稳像算法

针对机载摄像机视频抖动问题,提出了基于改进FAST的特征匹配方法,去除视频序列的帧间抖动,实现视频序列的电子稳像。提出了尺度空间的FAST特征提取方法,结合了优化的SURF描述算子,利用相邻帧的特征点进行匹配,消除视频的帧间旋转量,得到帧间的局部运动矢量,然后通过RANSAC算法求解出全局运动矢量,最后利用二次线性插值算法逐帧补偿。实验结果表明,稳像后的视频帧间PSNR提高5 dB,提出的稳像算法去除了视频帧间复杂抖动,且快速准确并具有一定的鲁棒性。     

基于条件生成对抗网络的可再生能源日前场景生成方法

随着可再生能源渗透率的不断提高,如何有效地描述其出力不确定性是电力系统日前调度所面临的巨大挑战。针对该问题,该文提出一种基于条件生成对抗网络的可再生能源日前场景生成方法,该方法采用Wasserstein距离作为判别器损失函数,并设计适用于可再生能源日前场景生成的网络结构,通过生成对抗网络的博弈训练使生成器学习到预测条件下噪声分布与日前场景集之间的映射关系。该文使用实际风电数据(包括预测和实测数据)对所提方法进行测试,并与传统Markov链场景生成方法进行对比验证,结果表明所提模型能更精确地描述日前风电不确定性。     

基于条件生成对抗网络的多区域风电短期出力场景生成方法

基于预测功率结果,构建风电出力场景集是电力系统随机优化调度的重要基础。现有多区域风电出力场景生成方法主要是时空相关性系数约束的随机抽样方法。由于风电时空相关性特征的时变非线性,生成的场景集与风电实际出力差异较大。提出一种基于条件生成对抗网络的多区域风电出力场景生成方法。该方法采用三维卷积网络设计适用于多区域风电出力场景生成的网络结构,通过对条件生成对抗网络进行博弈训练,学习到多个区域风电实际出力数据的特征以及输入数据与输出数据之间的映射关系。以我国西北地区5个风电区域为例对所提方法进行分析,并与传统的以相关性系数为约束的拉丁超立方抽样方法进行对比;结果表明,所提方法生成的多区域出力场景集更符合风电出力特征。     

基于Kinect体感交互技术的电力仿真培训研究

采用有限状态机技术将电力操作规范描述为操作模板集,再利用动态时间规整算法将Kinect所获的动作信息与模板集作匹配,从而识别出培训人员的动作行为,同时使培训人员与三维场景中的虚拟人动作同步来控制虚拟人在变电站三维场景中的漫游速度,通过调整Unity可视化对象的属性来控制虚拟人操作电力设备时的碰撞效果,由此使培训人员沉浸在变电站三维场景中,加深培训效果。     

利用判别采样的视频人脸亲属关系验证

针对人脸视频数据中包含大量低质量数据和冗余信息的问题,提出了一种利用深度强化学习实现人脸视频的关键帧和 困难负样本的判别采样,实现了视频人脸亲属关系的验证。 设计了 3 个深度网络来实现特征的学习与关键帧的采样,其中基于 残差网络(Resnet)训练的亲属关系验证网络(KVN)用于验证亲属分类;通过深度强化学习方法分别设计了两个采样网络:关键 帧采样网络(KSN)和负样本采样网络(NESN),用于实现视频关键帧的选取以及负样本的筛选。 实验结果表明,相比于现有的 主流人脸亲属关系验证算法,方法有效提高了亲属关系验证识别率。     

基于生成对抗网络的综合能源负荷场景生成方法

综合能源负荷场景生成是研究能源计量、规划运行等领域问题的基础,具有重要意义。但由于数据采集困难、综合能源负荷多能耦合等因素的限制,综合能源负荷场景的多样化生成仍是一大难题。提出了一种基于生成对抗网络(generative adversarial networks, GAN)的综合能源负荷场景生成方法。首先建立梯度惩罚优化的Wasserstein生成对抗网络模型,解决综合能源负荷的高随机性可能带来的不收敛或模式崩溃问题。其次,基于深度长短期记忆(long short-term memory, LSTM)的循环神经网络构建生成对抗网络的生成器和判别器,使模型更适用于复杂综合能源负荷数据生成。算例结果表明,所提模型的生成负荷场景在概率分布、曲线标志性特征和冷热电负荷之间相关性等方面相较于蒙特卡洛法和原始生成对抗网络均获得了较好结果,可以在不同模式下生成具有多样性且逼真的负荷场景。     

基于局部细化多分支与全局特征共享的 无监督行人重识别方法

无监督行人重识别因其在真实监控场景中具备良好的可扩展性而备受关注。现有的无监督行人重识别方法主要通过基础骨干网络获取粗略的全局特征来训练网络,很少利用局部细化分支与全局特征共享来形成更具有鉴别性的特征描述符。本文提出一种基于局部细化多分支与全局特征共享的特征提取网络,该网络融合了粗略的全局特征和局部细化分支中的细腻特征来获取行人多样化的特征表达。另外,为了提升分支网络对潜在关键区域信息的捕获能力,在分支操作前放置通道细化信息融合的注意力块来增强网络对行人特征的关注力度,执行细化特征的专注学习。通过在Market-1501、DukeMTMC-reID和MSMT17数据集上的实验结果验证了所提方法的有效性,平均精度(mAP)分别提升了4.4%、3.2%、6.4%,其中在Market-1501数据集上的平均精度达到了83.3%。     

基于机器学习算法的变电站内视频监控场景异常感知

为解决变电站内视频监控场景异常感知能力弱的问题,开展基于机器学习算法的变电站内视频监控场景异常感知方法研究.通过建立变电站内视频监控场景异常映射集,基于机器学习算法,训练提取视频监控场景异常特征,感知变电站内监控视频场景异常,实现自动报警能力.实验结果表明设计方法能满足变电站安全监控的自动场景异常识别功能需求,可提供更智能化的安全监控解决方案.     

基于鲁棒多标签生成对抗的风电场日前出力区间预测

风力发电不确定性强、波动性大,日前预测精度有待改善。为提高风电日前区间预测效果,提出一种基于鲁棒多标签生成对抗的风电场日前出力区间预测方法。首先,采用皮尔逊相关系数分析风电出力与多种气象因素、历史风电出力间的相关性,构建含数值天气预报气象特征与风电出力的原始数据集。然后,在原始数据集中去除待预测日风电功率,得到聚类数据集开展k-means聚类,获得带簇标签的原始数据集。之后,基于鲁棒性辅助分类生成对抗网络,生成海量带标签场景。最后,根据已知的历史风电出力和数值天气预报获得的特征,确定待预测日的簇标签,在生成场景中按对应簇标签筛选与待预测日风电功率特征相似度高的多个场景,组成相似场景集。基于相似场景集的待预测日风电功率均值及上下限,分别获得待预测日（次日）24个时段的风电功率点预测及区间预测结果。以中国东北某地区实际风电场数据为例验证了所提方法的优越性。     

基于隐式最大似然估计的风电出力场景生成

随着风电渗透率的日益提高,如何有效地描述风电出力的不确定性成为了配电网运行和规划所面临的巨大挑战,为此,提出一种基于隐式最大似然估计的风电出力场景生成方法。针对风电出力曲线的数据特征,设计适用于风电出力场景生成的损失函数和网络结构。通过无监督训练使得场景生成器能够学习到高斯噪声与风电出力场景之间的映射关系。仅需调节模型中相关的参数,采用所提方法就能够生成不同时间尺度的风电出力场景。仿真结果表明,所提方法的预测区间平均宽度和预测区间覆盖率均优于现有的生成对抗网络,且所提方法对于不同的风电场具有一定的普适性。     

H.264帧内预测模式的研究

H.264帧内预测技术是提高视频压缩比的关键,一方面,可以提高I帧的压缩效果,有利于视频码流速率的控制,这在实际的网络传输中具有重要的意义;另一方面,当帧间预测找不到匹配块的时候,可用帧内预测来达到好的压缩效果.介绍了H.264帧内预测模式,分析了采用RDO技术下帧内模式选择过程,并详细研究了X264开源代码的帧内预测...     

基于H．264算法的网络视频传输系统实现

本文介绍了基于H.264算法的网络视频传输系统的实现方案。该方案采用目前最新的视频压缩标准——H.264作为视频编解码算法,i．MX27作为系统的中心处理器,嵌入式Linux作为操作系统,RTP／UDP作为网络传输协议,实现了视频实时的在网络上传输。系统运行结果表明：该系统可以在Internet上实现视频的实时传输,显示帧率为10帧／秒以上（CIF格式）。除此之外,为了保证视频信息在传输过程中的安全性,在压缩视频的过程中,给信息提供了加密功能。本课题研究的基于H264视频编码算法的网络视频传输系统可以实现30帧／秒的视频信息传输效果。     

一种视频对象分割技术的研究与实现

本文提出一种可以从复杂场景中分割出视频对象的方法.首先对视频图像进行全局运动估计和补偿校正,并将相邻两帧进行差分检测.然后利用Neyman-Pearson准则从差分图像中提取运动区域,根据提取的运动区域研究了一种在序列图像差分域中进行区域生长的算法,获得了视频对象的二值化分割模板.最后利用运动检测算法剔除由于噪声导致的标记块.实验结果表明,本文所述方法能够有效的分割出视频对象.