具有动态补偿能力的神经网络模型及其在动态系统建模中的应用

本文在多层前馈神经网络模型基础上，引入误差动态反馈环节，从而形成一种新的具有动态补偿能力的神经网络模型。新模型的训练利用反向传播原理实现。采用该模型对非线性动态系统进行建模时，能显著提高建模精度，特别是在网络模型工作时，对新出现的输出误差具有动态补偿能力，文中给出了新网络模型的结构和学习算法，最后是仿真实例。     

基于特征复用的卷积神经网络模型压缩方法

为了在不降低准确率的前提下，减小卷积神经网络模型的体积与计算量，提出一种基于特征复用的卷积神经网络压缩模块——特征复用单元（FR-unit）。首先，针对不同类型的卷积神经网络结构，提出不同的优化方法；然后，在对输入特征图进行卷积操作后，将输入特征与输出特征进行结合；最后，将结合后的特征传递给下一层。通过对低层特征的重复使用，使总的提取的特征数量不发生改变，以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证，实验结果表明，优化后的VGG模型体积缩小为优化前的75.4%，预测时间缩短为优化前的43.5%；优化后的Resnet模型体积缩小为优化前的53.1%，预测时间缩短为优化前的60.9%，且在测试集上的准确率均未降低。     

采用动态神经网络的多模型自适应重构控制方法

针对复杂的系统,提出一种基于多模型结构的自适应重构控制方法,使得系统可以在不同的运行环境下跟踪给定的信号,并且对特定的故障情况具有控制重构的能力;首先,由多个线性模型和一个模糊模型构成多模型控制结构,并设计多模型自适应控制器的权值调整规则,以获得当前最佳的控制输入,再引入动态自适应神经网络以保证系统的稳定性,并避免模型切换等噪声干扰;最后,对某型歼击机进行正常和故障状态下的控制仿真,结果表明所提重构控制方法是可行有效的。     

正交神经网络的动态建模方法研究

This paper presents a dynamic modeling method based on orthogonal neural network, it fully uses the characteristics of the nonlinear processing ability of neural networks and the efficient disposal of the large scaling sparse problems that Givens transform can process. It can not only train the notwork quickly, but also can optimize the structure of the networks. Simulating experiments show that the new modeling method is a simple universal modeling method for the nonlinear systems.     

基于神经网络的混合模型建模方法及应用

神经网络凭借其对非线性的处理能力被广泛应用于实际系统的黑箱建模,但在理论上可以任意逼近模型的神经网络在实际应用中的能力是有限的,对于复杂动态特性的实际系统基于神经网络的模型在逼近效果和泛化能力上都存在不足.提出了基于神经网络的混合模型建模方法,建立的模型由通过传统方法建立的基本系统和由神经网络建立的逼近实际系统和基本模型之间差值的不确定部分组成,用此方法建模大大提高了模型的精度和对不同输入的泛化能力,通过对多个系统的建模仿真结果验证其可行性.     

图像分类卷积神经网络的特征选择模型压缩方法

深度卷积神经网络(convolutional neural networks, CNN)作为特征提取器(feature extractor, CNN--FE)已被广泛应用于许多领域并获得显著成功. 根据研究评测可知CNN--FE具有大量参数, 这大大限制了CNN--FE在如智能手机这样的内存有限的设备上的应用. 本文以AlexNet卷积神经网络特征提取器为研究对象, 面向图像分类问题, 在保持图像分类性能几乎不变的情况下减少CNN--FE模型参数量. 通过对AlexNet各层参数分布的详细分析, 作者发现其全连接层包含了大约99%的模型参数, 在图像分类类别较少的情况, AlexNet提取的特征存在冗余. 因此, 将CNN--FE模型压缩问题转化为深度特征选择问题, 联合考虑分类准确率和压缩率, 本文提出了一种新的基于互信息量的特征选择方法, 实现CNN--FE模型压缩. 在公开场景分类数据库以及自建的无线胶囊内窥镜(wireless capsule endoscope, WCE)气泡图片数据库上进行图像分类实验. 结果表明本文提出的CNN--FE模型压缩方法减少了约83%的AlexNet模型参数且其分类准确率几乎保持不变.     

基于神经网络的迟滞非线性补偿控制

提出了一种基于神经网络的迟滞非线性的补偿方法.首先构造一个Duhem逆算子来描述迟滞逆状态.然后利用神经网络来逼近此状态和输出之间的关系来得到神经网络迟滞逆模型,神经网络权值采用反馈误差学习方法来进行在线调整.系统的前馈控制器和反馈控制器分别为逆模型和PID控制器.该方法不需要建立迟滞的正模型,能够在线构造逆模型来实现迟滞补偿.最后通过仿真验证了该方法的有效性.     

时间序列预测的动态神经网络方法

时间序列的预测在经济和工程领域具有十分重要的意义.文中利用动态神经网络的特性,提出对时间序列进行预测的动态神经网络方法,并利用设计的动态神经网络对杜芬(Duffing)方程的响应时间序列进行预测,结果表明动态神经网络可以较好地对动态系统的响应时间序列进行预测.     

一种基于神经网络的模糊方法研究

模糊系统设计中,模糊规则的建立是系统设计的瓶颈问题。针对这一问题,该文提出了一种用于监督神经网络自动生成模糊规则并实现模糊推理的方法。网络训练分为两个阶段,首先是结构学习,确定系统的规则总数和前提的有关参数;其次是参数学习,即调整权值,使系统输出接近理想输出。仿真实例证明使用该方法建立模糊系统具有较好的效果。     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

基于弱监督预训练CNN模型的情感分析方法

传统的情感分析研究大多基于机器学习算法,此类方法依赖大量人工抽取的特征与领域知识。使用卷积神经网络自动学习文本的特征表示,进而判别文本的情感极性。为了解决情感分析中监督训练样本不足的问题,利用大规模弱监督数据来训练卷积神经网络。同时引入“预训练-微调”策略,先在弱监督数据集上对卷积神经网络进行预训练,然后使用监督数据集进行微调训练来克服弱监督数据中的噪声问题。在SemEval-2013 Twitter情感分析数据集上进行实验验证,结果表明由于引入了弱监督数据参与训练,有效增强了卷积神经网络学习情感语义的能力,从而提升了模型的准确性。     

神经网络技术在库存管理中的应用

随着消费者对商品需求的增长和商品类型的增加,如何在最小化库存的同时保证最大程度满足消费者的需求已成为各个零售公司的一个主要问题。该文介绍了使用基于数据挖掘和知识发现的神经网络技术来解决库存问题的方法。     

基于量子神经网络的人脸识别技术研究

人脸识别问题是模式识别领域的一个重要的研究课题。提出了一种基于多层激励函数的量子神经网络人脸识别方法,采用ORL人脸图像数据库进行训练和识别。试验结果表明,该识别方法在识别率和可信性方面均有较好的效果,同时也体现了量子神经网络用于人脸识别的优越性和巨大的潜力。     

一种基于自组织过程神经网络的动态样本半监督学习算法

针对时变信号模式分类和未标记样本信息的有效利用问题,提出了一种基于自组织过程神经网络的动态样本半监督学习算法。根据获得的已标记和未标记的过程函数样本信号,分别构建基于竞争学习规则和有教师示教方法的自组织过程神经网络模型,利用该网络的自组织特性,实现动态样本的分类标识。文中分析了算法的信息处理机制,给出了具体的实现步骤。以油田开发水淹状况判别为例,实验结果验证了方法的有效性。     

一种基于自组织过程神经网络的动态样本半监督学习算法

针对时变信号模式分类和未标记样本信息的有效利用问题,提出了一种基于自组织过程神经网络的动态样本半监督学习算法。根据获得的已标记和未标记的过程函数样本信号,分别构建基于竞争学习规则和有教师示教方法的自组织过程神经网络模型,利用该网络的自组织特性,实现动态样本的分类标识。文中分析了算法的信息处理机制,给出了具体的实现步骤。以油田开发水淹状况判别为例,实验结果验证了方法的有效性。     

基于神经网络的智能教学系统学生模型设计

智能性是智能教学系统最重要的特性之一。为提高智能教学系统的智能水平,研究了利用具有较强自学习能力的人工神经网络来构建智能教学系统。从因材施教,准确反映学生学习状态、特征的角度出发,分析了学生学习过程中的影响因素,提出将学生的学习方式、学习习惯等因素纳入学生模型构建中,并对学生模型进行了设计。     

一种新的全局优化BP网络*

将L-M算法与填充函数法相结合,提出一种训练前向网络的混合型全局优化GOBP(Global Optimization BP)算法。L-M算法的收敛速度快,利用它先得到一个局部极小点,然后利用填充函数算法跳出局部最小,得到一个更低的局部极小点,重复计算即可得到全局最优点。经实验验证,该算法收敛速度很快,避免了局部收敛,而且性能稳定。