复杂化工过程神经网络模型的透明化

神经网络具有优良的非线性映射逼近能力,广泛应用于化工过程建模,但神经网络建模方法属于黑箱法,所获得的模型缺乏透明性,各变量的解释性差,限制其指导化工企业优化技术决策.结合神经网络释义图、连接权法和改进的随机化测验三种方法,对复杂化工过程神经网络模型进行透明化研究.首先利用神经网络释义图可视化模型,再用连接权法对决策参数贡献率定量分析,最后利用改进的随机化测验,对模型的连接权、决策参数的综合贡献度和相对贡献率进行显著性检验,进而修剪模型.通过对复杂化工过程氢氰酸生产模型验证研究,结果表明该方法获取了过程变量的内部信息,极大地提高了模型的“可理解”能力.因此,本研究为复杂化工过程神经网路模型的透明化提供了一条很好的途径.     

多变量系统的模糊神经网络控制模型及其应用

本文综合模糊控制系统与人工神经网络的优点，提出了一种多变量系统的模糊神经网络控制模型并给出了其建模方法，该方法适合于多变量系统的建模及其模糊控制器的设计。笔者以此方法建立了渣贫化电炉生产过程的模糊神经网络控制模型并开发出相应的决策支持系统，该系统自１９９２年６月投入生产现场使用以来，一直稳定可靠地正常运行，取得了令人满意的效果和显著的经济和社会效益。     

基于神经网络的预测模型中输入变量的选择

It is important to select input variables when the neural network forecasting model is proposed. In this pa-per, by using the autocorrelation function on input variables sets selection for neural network forecasting model, a systemic and scienti[ic method for input variables sets selection is put forward. FFT is adopted to accomplish the speediness calculation, which enhances the maneuverability of this approach. A forecasting example is given, whos eresult indicates that the method is effective.     

基于互信息的分步式输入变量选择多元序列预测研究

针对多元序列分析中存在的输入变量选择问题,提出一种基于k-!近邻互信息估计的分步式变量选择算法. 该算法通过两步过程分别实现相关变量的选择与弱相关变量的剔除. 同时将分步变量选择算法应用于径向基函数(Radial basis function, RBF) 神经网络结构的优化中.在K均值聚类的基础上,通过分析隐含层神经元的输出权值与神经网络输出的相关性, 对隐含层节点进行选择,改进网络的结构与性能. Friedman数据的仿真实验验证了分步变量选择算法的有效性; Gas furnace多元时间序列以及Boston housing数据的仿真结果表明, 优化后的RBF网络能够在保证模型精度的基础上有效控制网络规模.     

基于多变量神经网络模型的菜品销量预测

随着互联网技术的发展,人们进入了数字化和智能化的“互联网共享”时代。餐饮企业越来越重视利用数据指引企业理性发展,而餐饮业菜品库存过多或过少会直接影响企业的成本与净利润,因此能够精准预测菜品销量有利于降低餐饮企业的生产成本和提高净利润。为了减少采购菜品的浪费和保持菜品的新鲜度,提出了多变量神经网络模型,并利用该模型预测陕西省某餐饮企业近两年的销量数据。结果表明,多变量长短时记忆神经网络模型(Multivariable Long Short-Term Memory,Multi-LSTM)的预测精度明显优于季节性差分自回归滑动平均模型(Seasonal Autoregressive Integrated Moving Average,SARIMA)和时间序列与神经网络组合模型,且略优于单变量长短时记忆神经网络模型(Sing le-var iable Long Short-Term Memory,Single-LSTM)。     

神经网络建模的变量聚类分析方法

针对神经网络建模需尽量减少输入变量及输入变量要充分解释输出变量的问题,研究了变量聚类分析方法,提出了变量选取原则并对这些原则进行了基于信息论的理论推导,开发了基于聚类分析的神经网络软件。实际应用表明,这种基于精确数学分析进行的神经网络变量的选取是行之有效的。     

QingLong:一种基于常变量异步拷贝的神经网络编程模型

近年来,人工神经网络的研究取得了巨大成就,在图像识别、自然语言处理等领域均有突破性的成果,同时产生了众多商业应用,方便了我们的生活,比如语音助手、辅助驾驶等.由于神经网络算法属于计算密集型和访存密集型的负载,传统CPU处理器已不能满足其大规模商业化应用的需求,因此学术界和产业界试图在GPU、FPGA和ASIC上寻求突破.其中,神经网络加速器作为一种ASIC,它提供了高性能、低功耗的硬件解决方案,相关研究也越来越多.神经网络加速器作为一种协处理器,在其计算前后需要将数据在主机与设备之间进行搬运.特别是对吞吐量要求较高的神经网络前向推理任务,需要将网络模型参数、硬件指令等常量数据和输入、输出等变量数据,分别从主机内存拷入设备内存.如果常量数据在每一份输入数据计算前都拷贝一次,就存在常量数据重复拷贝的问题,浪费了时间与存储资源.如何在神经网络开发工具软件中实现拷贝多次变量数据但只拷贝一次常量数据,如何保证指令在每次计算中都正确寻址常量和变量,如何简化用户编程,提供用户友好的接口,就成为一系列值得研究的问题.在本文中,我们提出了一种基于常变量异步拷贝的神经网络开发工具软件及其编程模型QingLong来解决上述问题.QingLong编程模型包含三个阶段:定义网络、编译网络和计算.在定义网络阶段,用户可以为神经网络的数据节点绑定常量数据;在编译网络阶段,通过REOFF数据包装法将常量数据封装为数据包;在计算网络阶段,用户拷贝一次数据包后即可多次拷入输入数据并计算输出结果.该编程模型具有编译、计算分离,常变量异步拷贝,计算和数据拷贝可切分为三级流水线等优势.实验表明,在连续计算100份输入样本时,QingLong比DLPlib有平均17.48倍的性能提升,且输入样本越多,性能提升的倍数越大.     

以高维输入神经网络作为生产线产品质量模型

探索用高维输入的神经网络对复杂工业生产过程的建模方法。针对网络输入变量维数较高的特点,提出一种ＢＰ网络各权重独立训练的分散训练方法。该方法用附加大惯性项来协调各个权重的优化训练,运用非线性优化方法调节步长。与用普通的ＢＰ训练方法相比,用该方法训练高维输入的ＢＰ网络具有较快的收敛速度和较高的模型精度,较好地解决了实际生产过程的产品质量模型问题。     

输入层自构造神经网络及其在光谱分析中的应用

为了解决红外光谱定量分析中的特征提取和校正规模问题，提出了一种输入层自构造神经网络。这种网络能够利用训练数据的某些先验知识，自然选择输入层神经元的个数。在学习过程中，输入神经元个数从最小值1开始，根据网络误差的变化逐步增加，最终确定最佳神经元数量。这种网络模型将特征提取和参数学习过程融一体，有利于提高建模效率。利用仿真红外光谱的定量分析实验表明，这种网络模型不仅能够对光谱数据实现高效率的波长选择，并具有抑制随机噪声和非线性干扰的能力。     

火电机组标煤耗率模型的变量选择方法

变量选择是神经网络建模的基础,在火电机组中,影响标煤耗率的因素很多,如果将各种影响因素都包含进输入变量中,将造成相关的输入变量过多,加重神经网络的训练负担,增加陷入局部极小点的可能,降低神经网络的预测精度。文章首先分析了影响火电机组标煤耗率的因素,提出了一种基于敏感度分析的变量选择方法,然后采用该方法计算各个因素对输出的贡献率,并根据各个贡献率从众多影响因素中选取贡献最大的6个因素作为神经网络模型的输入变量。仿真结果表明,该变量选择方法简化了神经网络结构,减少了神经网络的训练时间,提高了神经网络的预测精度。     

统计模式识别中的维数削减与低损降维

较为全面地回顾了统计模式识别中常用的一些特征选择、特征提取等主流特征降维方法,介绍了它们各自的特点及其适用范围,在此基础上,提出了一种新的基于最优分类器——贝叶斯分类器的可用于自动文本分类及其它大样本模式分类的特征选择方法——低损降维.在标准数据集Reuters-21578上进行的仿真实验结果表明,与互信息、χ^2统计量以及文档频率这三种主流文本特征选择方法相比,低损降维的降维效果与互信息、χ^2统计量相当,而优于文档频率.     

新型NN训练算法及其在优化设计中的应用

提出采用GA-BP贝叶斯算法来建立优化设计近似模型。该算法是一种新型神经网络训练算法,它以提高网络的泛化性能为主旨,其训练目标是获取对应于后验分布最大值的权值向量。以方形扁平封装器件为例,采用GA-BP贝叶斯算法建立了温度场分析的近似模型,基于它对封装散热结构进行了优化,并与L-M BP算法进行了对比。结果表明,基于GA-BP贝叶斯算法的温度场分析近似模型,对芯片中心温度的预测精度更为理想,并且受随机因素的影响很小。GA-BP贝叶斯算法克服了现有网络训练算法对初始权值敏感、建模精度不高的缺点,在工程优化设计中具有实用价值。     

浅谈数学模型及其简化

该文主要讨论了数学模型与其实世界的关系；系统数学模型的基本模式：行为模式和状态变量模式以及在状态变量模式下的同构与同态系统；简要介绍了常用的模型简比方法，并提出了可以用于频域模型简化的“频带复盖法”和“灵敏度分析法”。     

Kohonen网络与NNFR模型的集成应用

本文通过对小区供热站结构和运行特点的分析,将其化分为两个子系统:燃烧换能子系统和热网负荷子系统;并对NNFR模糊系统模型进行了改进,将其应用到小区供热站关键控制参数预测上,取得了良好的效果。     

基于面向分类准则的维数约简及其在人脸识别中的应用

针对高维数据导致的维数灾难问题,提出了一种基于面向分类准则的维数约简方法。所提准则使每个训练样本在特征空间中与同类样本尽可能接近,而与异类样本尽可能疏远。首先对每个训练样本定义同类样本加权平均距离和异类样本加权平均距离。然后基于上述两个概念分别定义总体同类距离和总体异类距离。以最小化总体同类距离和最大化总体异类距离为目的提出了面向分类的准则(Classification Oriented Criterion,COC)。最后,基于面向分类的准则推导出了一种新的维数约简方法。在公共人脸数据库ORL和Yale上的实验表明所提方法性能优于有代表性的维数约简方法。     

MI和改进PCA的降维算法在股价预测中的应用

考虑到单个特征对标签的有效性及多特征之间的信息冗余问题,提出一种联合互信息和改进PCA的双重降维方法。利用互信息对众多的特征进行初步筛选,舍弃一部分对标签信息贡献较低的特征,使用累积方差贡献率和复相关系数共同确定主元个数的主成分分析法进行二次降维,不仅保证了主元模型的信息容量,同时也避免了过多噪声的参与,从而保证了预测过程的准确性。通过神经网络对实际股票数据进行预测,表明了提出的降维算法的有效性。     

基于GEP和神经网络的属性约简分类算法

分类(Classification)是数据挖掘(DataMining)中的一个重要研究方向,目前传统的方法有神经网络,Fisher判别法等。神经网络缺乏对分类结果的直观解释;Fisher判别对于大数据集分类准确率大大下降,且不具有属性约简能力。为此,该文做了如下工作(1)提出了自动获取最佳阈值的思想;(2)对于错分的实例,提出了运用神经网络分类器二次分类的思想;(3)提出了基于基因表达式编程和神经网络的属性约简分类算法(AttributionReductionClassificationAlgo-rithmsBasedonGEPandNeuralNetwork,ARCA-GEPNN);(4)实验表明,ARCA-GEPNN的分类精度比Fisher判别提高了约25%,比GEP提高了约21%。     

基于一种连续自编码网络的图像降维和重构

针对高维连续数据的降维问题,提出一种新的非线性降维方法,称为连续自编码(Continuous autoencoder,C-autoencoder)神经网络,该方法采用限制玻耳兹曼机的连续形式(Continuous restricted Boltzmann machine,CRBM)的网络结构,通过训练具有多个中间层的双向深层神经网络将高维连续数据转换成低维嵌套并继而重构高维连续数据.这种连续自编码网络提供了高维连续数据空间和低维嵌套结构的双向映射,有效解决了大多数非线性降维方法所不具备的逆向映射问题,特别适用于高维连续数据的降维和重构.将C-autoencoder用于连续帧图像的实验表明,C-autoencoder不仅能发现嵌入在高维连续帧图像中的非线性低维结构,也能有效地从低维结构中恢复原始高维图像数据,而且还能对连续帧图像有效地进行内插重构.     

基于子图选择和图核降维的脑网络分类方法

脑网络分类在脑科学研究和脑疾病诊断等领域引起了学者们的广泛关注。目前大多数有关脑网络分类的研究都是以单个脑区或成对脑区之间的相关性作为分类特征,其缺点是不能反映多个脑区之间的拓扑结构信息。为克服上述缺点,提出了一种基于子图选择和图核降维的脑网络分类方法。具体包括：（1）分别从正类训练样本组及负类训练样本组中提取多个频繁子图,进而利用基于频度差的子图选择算法选取最具判别性的子图集;（2）基于上述过程中得到的子图集,利用图核主成分分析（graph-kernel-based principal component analysis,GK-PCA）方法对经过子图选择后的图数据进行特征提取;（3）利用支持向量机（support vector machine, SVM）在特征提取后的数据上进行分类。在真实的轻度认知障碍（mild cognitive impairment,MCI）脑网络数据集上对该方法进行了验证,实验结果表明了该方法的有效性。     

网络流量异常检测中的维数约简研究

对包含大流量数据的高维度网络进行异常检测,必须加入维数约简处理以减轻系统在传输和存储方面的压力。介绍高速网络环境下网络流量异常检测过程以及维数约简方式,阐述流量数据常用特征和维数约简技术研究的最新进展。针对网络流量特征选择和流量特征提取2种特征降维方式,对现有算法进行归纳分类,分别描述算法原理及优缺点。此外,给出维数约简常用的数据集和评价指标,分析网络流量异常检测中维数约简技术研究面临的挑战,并对未来发展方向进行展望。