基于Lorentz函数的稀疏约束RBM模型的算法研究

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种有效的特征提取算法,受视觉皮层稀疏表示的启发,人们试图将稀疏这一概念引入到RBM中,以期学习到原始数据的稀疏表示,提高其特征提取性能。将Lorentz函数引入到RBM中,作为RBM的稀疏约束正则项,构建基于Lorentz函数的稀疏约束RBM模型,将其称之为LRBM模型。对该模型的特征提取性能进行了可视化评价,同时对稀疏度和分类率进行了实验分析;最后将多个LRBM叠加,构造基于LRBM的深度置信网模型并分析该深度网络的性能。实验表明,LRBM模型有效地提取了数据集中的特征信息,在分类效果上较RBM平均提高了2%左右,增强了目标分类的可靠性。     

RBM学习方法对比

随着深度学习在模型、算法与理论上的突破性进展,以玻尔兹曼机为基础的各类深度模型近年来在目标识别与自然语言处理等诸多领域得到广泛应用。概述了玻尔兹曼机的相关概念,分析了受限玻尔兹曼机模型所具有的优势。对RBM中的学习方法进行了详细的描述,对应用最为广泛的受限玻尔兹曼机的几种典型学习算法进行了对比,并指出学习算法的研究在未来仍将是深度学习中的一项核心问题。     

基于Gabor小波与深度信念网络的人脸识别方法

特征提取与模式分类是人脸识别的两个关键问题。针对人脸识别中的高维和小样本问题,从人脸特征的提取与降维算法入手,提出基于受限玻尔兹曼机(RBM)的二次特征提取及降维算法模型。首先把图像均匀分成若干局部图像块并进行量化,再对图像进行Gabor小波变换,通过RBM对得到的Gabor人脸特征进行编码,学习数据更本质的特征,从而达到对高维人脸特征降维的目的;并以此为基础提出基于深度信念网络(DBN)的多通道人脸识别算法。在ORL、UMIST和FERET人脸库上对不同样本规模和不同分辨率的图像进行实验,识别结果表明,与采用线性降维和浅层网络的方法相比,所提方法取得了较好的学习效率和很好的识别效果。     

基于深度学习的电力大数据融合与异常检测方法

为了充分利用电力大数据中的异构数据源挖掘出电网中存在的安全威胁,采用深度受限玻尔兹曼机将不同格式的异构数据映射到统一的嵌入式向量空间,实现了异构数据的融合。采用循环神经网络对得到的嵌入式向量数据建立画像,实现了数据中异常事件的检测。实验结果表明,提出的异常检测方法在提出的互信息量度量指标中具有很高的互信息量。此外提出的方法在准确率、误报率和漏报率中的结果也优于其他异常检测方法。     

基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

基于MFCC和RBM的料位软测量北大核心CSCD

球磨机是应用于磨矿过程的关键设备,可靠测量其料位对实现优化控制和节能降耗具有重大意义。针对球磨机振声信号存在非线性及其梅尔频率倒谱系数(MFCC)存在不相关信息等问题,提出了一种基于MFCC、受限玻尔兹曼机(RBM)和支持向量回归(SVR)的软测量方法。首先对振声信号计算MFCC特征,然后采用RBM对MFCC进行特征提取,以减弱噪声和提高模型精度,最后将提取的特征输入支持向量机进行回归。实验结果表明该模型的有效性和可行性。     

受限玻尔兹曼机的稀疏化特征学习

受限玻尔兹曼机(RBM)作为深度学习算法的一种基础模型被广泛应用,但传统RBM算法没有充分考虑数据的稀疏化特征学习,使得算法性能受数据集的稀疏性影响较大。提出一种RBM稀疏化特征学习方法(sRBM),通过归一化的输入数据均值确定数据集的稀疏系数,将稀疏系数大于阈值的稠密数据集自动转化为稀疏数据集,在不损失信息量的情况下实现输入数据的稀疏化。在手写字符数据集和自然图像数据集上的实验结果表明,sRBM通过输入数据稀疏化有效提升了RBM的稀疏化特征学习性能。     

融合生成模型和判别模型的双层RBM运动捕获数据语义识别算法

对人体运动捕获数据底层特征和高层语义之间常常存在语义鸿沟的问题,结合深度学习思想,提出一种融合受限玻尔兹曼机生成模型和判别模型的运动捕获数据语义识别算法.该算法采用双层受限玻尔兹曼机,分别对运动捕获数据进行判别性特征提取(特征提取层)和风格识别(语义判别层),首先考虑到自回归模型对时序信息具有出色的表达能力,构建一种基于单通道三元因子交互的条件限制玻尔兹曼机生成模型,用于提取运动捕捉数据的时空特征信息;然后将提取出的特征与对应的风格标签相耦合,作为语义判别层中受限玻尔兹曼机判别模型的当前帧数据层输入,进行单帧风格识别的训练;最后在获得各帧参数的基础上,在模型顶部加入投票空间实现对运动捕捉序列的风格语义的有效识别.实验结果表明,文中算法具有良好的鲁棒性和可扩展性,能够满足多样化运动序列识别的需求,便于数据的有效重用.     

基于噪声数据与干净数据的深度置信网络

建立以受限玻尔兹曼机（restricted Boltzmann machine，简称RBM）为基石的深度网络模型，是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机（point-wise gated RBM，简称pgRBM）是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分，从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据，如何应用不含噪声的数据提升pgRBM的性能，是一个重要的研究问题.针对这一问题，首先，在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on random noisy data and clean data，简称pgrncRBM）方法，其网络中与分类有关权值的初值是通过不含噪声的数据学习得到的，所以pgrncRBM在处理随机噪声数据时可以学习到更为"干净"的数据.在pgrncRBM中，与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片，pgrncRBM就不能很好地去除噪声.Spike-and-Slab RBM（ssRBM）是一种处理实值数据的RBM变种模型，其定义两种不同类型的隐层用来学习实值数据的分布特性.因此，将ssRBM与pgRBM相结合，提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on image noisy data and clean data，简称pgincRBM）方法.该方法使用ssRBM对噪声建模，其在处理图像噪声数据时可以学习到更为"干净"的数据.然后，通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型，并探讨了权值不确定性方法在提出网络模型中的可行性.最后，在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明，pgrncRBM和pgincRBM都是有效的神经网络学习方法.     

基于混合受限玻尔兹曼机的肺结节良恶性诊断

针对传统计算机辅助诊断中肺结节的特征提取方法依靠人工设计、操作复杂、识别率低等问题,提出了一种基于混合受限玻尔兹曼机的肺结节良恶性诊断方法。首先采用多层无监督卷积受限玻尔兹曼机自动对肺结节图像进行特征学习,然后利用分类受限玻尔兹曼机对获得的特征进行良恶性分类。为避免分类受限玻尔兹曼机在训练中出现的特征同质化问题,引入了交叉熵稀疏惩罚对其进行优化。实验结果表明,该方法有效避免了手动特征提取的复杂性,在肺结节良恶性分类的准确率、敏感性、特异性、ROC曲线下面积值上均优于传统诊断方法。     

基于数据聚类的网络安全防护态势优化方法

针对传统模糊特征检测方法存在的效率低、精度不高等问题,设计了一种新的网络安全防护态势优化模型;对网络安全状态分布进行建模,并利用数据挖掘技术对网络信息进行挖掘;利用新型入侵识别检测方法对所设计的网络安全估计状态进行自适应特征提取,提取网络安全状况的特征数据集和处理单元;采用模糊C平均数据聚类方法(FCM)提取综合信息;对入侵特征信息流进行分类,根据属性分类结果进行网络安全态势预测,实现安全态势评估;基于不同场景下进行实验,结果表明,所提算法适用于网络安全的场景,准确性和鲁棒性都得到了验证。     

入侵检测中对系统日志审计信息进行数据挖掘的研究

入侵检测系统是用来检测网络入侵行为的工具，入侵检测系统的关键在于其安全模式规则的准确性，网络系统中存在大量的日志审计数据，在这些日志审计数据中含有许多与安全有关的信息，入侵检测系统可以从日志审计数据中提取安全模式规则，但由于这些日志审计数据量非常庞大，因此采用数据挖掘技术从中进行安全模式规则的提取，研究了如何在入侵检测中对系统日志审计信息进行数据挖掘，提出了全套的步骤，并重点论述了采用轴属对日志审计信息进行特征提取。     

基于 Deep Belief Nets 的中文名实体关系抽取

关系抽取是信息抽取的一项子任务,用以识别文本中实体之间的语义关系.提出一种利用DBN(deepbelief nets)模型进行基于特征的实体关系抽取方法,该模型是由多层无监督的RBM(restricted Boltzmann machine)网络和一层有监督的BP(back-propagation)网络组成的神经网络分类器.RBM网络以确保特征向量映射达到最优,最后一层BP网络分类RBM网络的输出特征向量,从而训练实体关系分类器.在ACE04语料上进行的相关测试,一方面证明了字特征比词特征更适用于中文关系抽取任务;另一方面设计了3组不同的实验,分别使用正确的实体类别信息、通过实体类型分类器得到实体类型信息和不使用实体类型信息,用以比较实体类型信息对关系抽取效果的影响.实验结果表明,DBN非常适用于基于高维空间特征的信息抽取任务,获得的效果比SVM和反向传播网络更好.     

基于维修日志的飞机设备故障原因判别方法

在飞机维修与保养过程中,航空维修公司已积累了大量经验性的维修日志数据.合理利用该类维修日志,结合机器学习方法,可以辅助维修人员做出正确的故障诊断决策.首先,针对维修日志的特殊性,提出一种迭代式的故障诊断基本过程;其次,在传统的文本特征提取技术的基础上,基于领域内信息,提出一种基于卷积神经网络（convolution neural network,简称CNN）的小样本文本特征提取方法,在样本量较少的情况下,利用预测目标将字向量作为输入,得到更为充分的文本特征;最后,使用随机森林（random forest,简称RF）模型,结合其他故障特征判别飞机设备的故障原因.卷积神经网络以故障原因为目标,预先对故障现象中的字向量进行训练,从而得到更能反映该领域的文本特征.与其他文本特征提取方法相比,该类方法在小样本数据上得到了更好的效果.同时,将卷积神经网络与随机森林模型应用于飞机设备的故障原因判别,并与其他文本特征提取方式和机器学习预测模型进行对比,说明了该类文本特征提取方式和故障原因判别方法的合理性和必要性.     

融合迁移学习的AlexNet神经网络不锈钢焊缝缺陷分类

针对不锈钢焊缝缺陷特征提取存在主观单一性和客观不充分性等问题,提出一种融合迁移学习的AlexNet卷积神经网络模型,用于不锈钢焊缝缺陷的自动分类。首先,由于不锈钢焊缝缺陷数据较为缺乏,通过采用迁移学习对网络前3层冻结,减少网络对输入数据量的要求;对后2层卷积层提取的特征信息批量归一化(batch normalization, BN),以加快网络的收敛速度;并使用带泄露线性整流(leaky rectified linear unit, LeakyReLU)函数对抑制神经元进行激活,从而提高模型的鲁棒性和特征提取能力。结果表明,该模型最终达到了95.12%的准确率, 相比原结构识别精度提高了9.8%。验证了改进后方法能够对裂纹、气孔、夹渣、未熔合和未焊透5类不锈钢焊缝缺陷实现高精度分类。相比现有方法,其识别面更广,精度更高,具有一定的工程实践意义。     

基于人工蜂群算法的计算机网络DDoS攻击检测方法

计算机网络在DDoS入侵下容易出现停止服务、网络崩溃,为了提高网络安全性,提出基于人工蜂群算法的计算机网络DDoS攻击检测方法。根据特征样本之间的相关性构建计算机网络DDoS攻击的自适应的入侵检测信息分析模型,根据网络数据流与潜在空间之间的映射关系,结合测试样本和学习样本之间特征差异性进行DDoS攻击数据特征提取,在基站上设置入侵检测数据处理终端,采用人工蜂群算法实现对计算机网络攻击检测的个体最优值和全局最优值寻优,根据人工蜂群的动态寻优和组合优化结果,实现对组合网络流量数据间的攻击信息特征提取和聚类分析,解决计算机网络DDoS攻击检测过程中的连续多变量优化问题。仿真测试结果表明,采用该方法进行计算机网络DDoS攻击检测的寻优能力较好,精度和效率高于传统方法。     

特征引导的多模态聚合低光环境行为识别方法

诸如夜间等低光场景下的行为识别对于安防、自动驾驶等领域具有重要意义,针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题,提出一种基于特征引导的多模态聚合低光环境行为识别方法(MALNFG). 首先,设计分层骨架特征融合网络(HSFIE),利用光照增强算法提升低光场景的骨架提取能力,采用层次化时空特征融合策略获取侧重于人体行为本身表达的动作特征,改善低光场景下因骨架缺失造成的精度下降问题;其次,设计高效表观特征提取模块(EAFEM),采用零参数时间位移模块在2D特征提取网络上高效捕捉包含丰富场景信息的时空特征;接着,设计特征引导多模态聚合网络(MNF),利用特征引导策略执行骨架特征与RGB表观特征的深层信息交互,实现行为特征的全面性表征;最后,采用全连接层进行特征分类,完成行为识别.实验结果表明,所提出方法可以较好地适用于低光环境下的人体行为识别任务.     

基于Borderline-SMOTE和双Attention的入侵检测方法

随着互联网的发展,网络环境愈加复杂,由此导致的网络安全问题不断出现,因此网络安全的防护成为一项重要研究课题.针对真实网络环境中采集到的流量数据非平衡以及传统机器学习方法提取特征表示不准确等问题,文中提出一种基于Borderline-SMOTE和双Attention的入侵检测方法.首先对入侵数据进行Borderline-...     

基于膨胀卷积和门控循环单元组合的入侵检测模型

基于机器学习的入侵检测模型在网络环境的安全保护中起着至关重要的作用。针对现有的网络入侵检测模型不能够对网络入侵数据特征进行充分学习的问题,将深度学习理论应用于入侵检测,提出了一种具有自动特征提取功能的深度网络模型。在该模型中,使用膨胀卷积来增大对信息的感受野并从中提取高级特征,使用门控循环单元（GRU）模型提取保留特征之间的长期依赖关系,再利用深层神经网络（DNN）对数据特征进行充分学习。与经典的机器学习分类器相比,该模型具有较高的检测率。在著名的KDD CUP99、NSL-KDD和UNSW-NB15数据集上进行的实验表明,该模型具有由于其他分类器的性能。具体来说,该模型在KDD CUP99数据集上的准确率为99.78%,在NSL-KDD数据集上的准确率为99.53%,在UNSW-NB15数据集上的准确率为93.12%。