多个神经振子群网络的相位动力学编码

利用随机相变动力学理论研究运动认知的神经网络动力学模型．给出了感觉神经元集群、中间神经元集群和运动皮层神经元集群在耦合条件下相互作用、相位编码和数密度随时间的演化．探讨了神经网络在自发运动条件下以及在刺激条件下的神经网络动力学响应．通过数值模拟证实了（1）Walter J．Freeman提出的皮层动力学响应不能够编码外刺激信息的猜想;（2）串行的神经网络系统的神经编码具有节律编码的性质;（3）在中枢神经系统的调控中,神经抑制有其重要的作用．     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

基于快速自编码的RELM的文本分类

正则化极限学习机RELM是一种单隐层前馈神经网络,不同于传统神经网络算法,RELM通过随机设置输入层权重和偏置值,可以快速求得输出层权重,并且引入正则化因子,能够提高模型的泛化能力。针对文本信息高维度、多类别的问题,提出一种基于快速自编码的正则化极限学习机FARELM。将由RELM改进后的快速自编码神经网络对样本进行无监督特征学习,并对特征提取后的数据使用RELM进行分类。实验表明,FA-RELM的学习速度和分类精度较优。     

一种基于PCA/SOFM混合神经网络的图象压缩算法

鉴于用神经网络实现图象压缩是一种非常有效的方法,为此提出了一种基于PCA/SOFM混合神经网络的图象压缩编码算法,并对SOFM网络学习参数的优化进行了探讨.实验证明,与PCA SOFM连续编码算法和基本SOFM算法相比,这种混合编码算法,由于占用存储空间少,因而降低了码书设计的计算量,并改善了码书的性能.     

基于稀疏编码的图像超分辨率复原

图像超分辨率技术一直是计算机视觉领域研究的热点,为提高图像重建速度与精度,提出了一种稀疏编码与神经网络相结合的图像超分辨率算法。首先利用前馈神经网络严格对应稀疏编码过程中的每个步骤,然后通过反向传播算法对稀疏编码的所有组成部分进行联合训练,得到最为精确的高分辨率图像。级联多个稀疏编码网络增加了算法的灵活性,并减少了伪影。     

遗传算法与BP神经网络相结合的说话人识别系统

基于BP神经网络的说话人识别系统是目前说话人识别中的一种主要模型,但BP神经网络通常难以确定隐含层单元的数目,且收敛速度慢。针对此缺点,提出了一种基于遗传算法（GA）的说话人识别BP神经网络优化方案,该方案利用混合编码的GA对神经网络的连接权和结构进行了优化,可以有效地剔除整个网络冗余节点和冗余连接权,方案利用了BP神经网络的并行性和GA的全局搜索能力,显著地改善了网络的处理能力。实验表明：基于混合编码GA的BP神经网络具有快速学习网络权重的能力,识别率高,是说话人识别的一种有效可行的新方案。     

一种混沌编码的粒子群优化算法及其应用

研究粒子群优化算法.传统的粒子群算法采用实数编码,收敛速度慢.为了提高收敛速度,提出了一种混沌编码的粒子群优化算法.混沌编码作为一种全新的数学编码方式,更能准确地表达编码对象的多样性,将混沌编码应用到粒子群优化算法中,使算法在初期的搜索区域更大,更快找到全局最优解.把混沌编码的粒子群算法与BP算法相结合用来优化神经网络.利用混沌编码的粒子群算法快速找到全局最优位置的邻域,然后再用BP算法进行局部寻优,收敛到全局最优位置.仿真结果证明混沌编码的粒子群神经网络比实数编码的粒子群神经网络分类收敛速度更快,验证了算法的有效性.     

基于实数编码遗传算法的混合神经网络算法

该文比较了神经网络与遗传算法的特点,提出了一种融合遗传算法和BP算法的神经网络算法设计。该方法采用了基于实数编码的改进遗传算法来替代随机设定神经网络的初始权阈值,然后由改进的LMBP算法在已由遗传算法确定了的搜索空间中对网络进行精确训练。仿真结果表明神经网络的逼近能力和泛化能力得到了综合提高,能够有效抑制遗传算法初期收敛的发生,确保了快速达到全局收敛,克服了传统BP算法精度低、收敛速度慢、容易陷入局部极小的缺陷。     

基于遗传算法的函数型小波网络

针对传统小波神经网络易陷入局部极小等缺陷,采用遗传算法对神经网络进行优化。提出了一种结合实数编码与二进制编码的多值编码遗传算法,上述算法在同一条染色体上同时使用实数编码与二进制编码,有机结合了两者的优点,并把遗传算法用于优化函数型小波网络的结构中,可获得具有更好泛化能力的小波网络。仿真实验结果表明,利用该遗传算法训练小波神经网络,能使网络具有简单的结构形式,较高的逼近精度和较强的泛化能力,并证实了网络的有效性和优越性能。     

基于前向神经网络和Hopfield反馈神经网络的边界检测法

提出了一种新的基于前向神经网络和ｏｐｆｉｅｌｄ反馈神经网络的边界检测法,它分别探测每个象素点是否为边界点,便于实现边界检测的并行运算。首先讨论了两层前向神经网络来增强的编码被检测象素点邻域的信息,然后利用增强和编码后的邻域图象作为Ｈｏｐｆｉｅｌｄ反馈神经网络的输入,Ｈｏｐｆｉｅｌｄ神经网络收敛时得到图象边界点。这种新的神经网络边界检测法所需的计算量比传统的Ｈｏｐｆｉｅｌｄ网络边界检测法少得多,并增     

Learning Algorithm and Retrieval Process for the Multiple Classes Random Neural Network Model

Gelenbe has modeled neural networks using an analogy with queuing theory. This model (called Random Neural Network) calculates the probability of activation of the neurons in the network. Recently, Fourneau and Gelenbe have proposed an extension of this model, called multiple classes random neural network model. The purpose of this paper is to describe the use of the multiple classes random neural network model to learn patterns having different colors. We propose a learning algorithm for the recognition of color patterns based upon non-linear equations of the multiple classes random neural network model using gradient descent of a quadratic error function. In addition, we propose a progressive retrieval process with adaptive threshold values. The experimental evaluation shows that the learning algorithm provides good results.     

Beetle Antennae Search Strategy for Neural Network Model Optimization with Application to Glomerular Filtration Rate Estimation

Neural Processing Letters - The determination of weights is very important for neural network models. Nevertheless, the traditional feedforward neural networks usually use the method of random...     

神经网络结构搜索方法综述

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向.     

Short-term solar power prediction using multi-kernel-based random vector functional link with water cycle algorithm-based parameter optimization

Neural Computing and Applications - A new hybrid model combining the kernel functions along with the random vector functional link neural network (RVFLN) is proposed in this paper for an effective...     

基于混合神经网络的恶意TLS流量识别研究

针对使用传统机器学习方法来识别恶意TLS流量受到专家经验的影响较大、识别与分类效果不理想的问题,提出了HNNIM（Hybrid Neural Network Identification Model）模型来进行识别与分类。模型由两层组成：第一层用于提取特征,第二层用于识别与分类。第一层中,提取的特征分为两部分,一部分特征由深度神经网络自动挖掘,另一部分特征根据专家经验选取,并由深度神经网络进一步筛选;第二层将第一层筛选出的特征进行聚合,采用全连接的深度神经网络进一步学习和拟合。通过分析大量TLS流量样本,最终选用TLS流量中的ClientHello与ServerHello消息报文与TCP协议交互信息这两部分来作为特征空间。实验的结果表明,HNNIM模型在恶意TLS流量的识别任务上关于恶意样本的F1值为0.989,较随机森林、SVM、XGBoost、卷积神经网络模型,在F1值上分别提升了0.016、0.016、0.019、0.043;在多分类任务上的平均准确率为89.28%,较随机森林、SVM、XGBoost、卷积神经网络模型分别提升了9.92%、9.09%、11.31%、7.03%。     

改进型动态隧道神经网络在蛋白质预测的应用

神经网络具有容易陷入局部极小的缺点,动态隧道神经网络通过“钻隧道”方式,让目标函数跳出局部最小,找到更小的可行域,从而避免神经网络陷入局部极小。传统的动态隧道技术隧道方向单一并且随意,因此具有不稳定性。为了有效提高动态隧道的搜索效率,提出了一种改进型动态隧道神经网络算法。该算法增加搜索的隧道数,引入夹角弹性系数控制隧道方向,考察隧道之间的相互影响。在对alpha、beta和coil型蛋白质的二级结构预测的实验中,改进型动态隧道神经网络算法预测的效果优于神经网络算法和传统的动态隧道神经网络算法。     

非线性系统的神经网络自适应滤波器

针对一类具有未知非线性函数和未知虚拟系数的二阶非线性系统，提出了一种神经网络自适应滤波跟踪方法，用RBF神经网络估计出系统中不确定项，将神经网络与滑模控制方法相结合，用李雅普诺夫稳定性分析方法证明了滤波器内的所有信号均有界，选择的神经网络权值调整规律可以消除颤振，抑制外部随机干扰。     

基于ACNNC模型的中文分词方法

目前,现有中文分词模型大多是基于循环神经网络的,其能够捕捉序列整体特征,但存在忽略了局部特征的问题。针对这种问题,该文综合了注意力机制、卷积神经网络和条件随机场,提出了注意力卷积神经网络条件随机场模型(Attention Convolutional Neural Network CRF, ACNNC)。其中,嵌入层训练词向量,自注意力层代替循环神经网络捕捉序列全局特征,卷积神经网络捕捉序列局部特征和位置特征,经融合层的特征输入条件随机场进行解码。实验证明该文提出的模型在BACKOFF 2005测试集上有更好的分词效果,并在PKU、MSR、CITYU和AS上取得了96.2%、96.4%、96.1%和95.8%的F₁值。     

电力工程造价的随机权深度神经学习估算方法

为了实现对电力工程造价高效、精确的估算,提出了一种电力工程造价的随机权深度神经学习估算算法（Random Weighted Deep Neural Learning,RWDNL）。通过构建外权随机的带有小中间层的多隐层神经网络模型,利用神经网络深度学习实现了对海量数据有效特征的提取以及电力工程项目造价估算。数值仿真实验结果表明该方法使工程造价估算精度和速度大大提高,可获得令人满意的泛化能力。     

Prediction of soil compression coefficient for urban housing project using novel integration machine learning approach of swarm intelligence and Multi-layer Perceptron Neural Network

In many engineering projects, the soil compression coefficient is an important parameter used for estimating the settlement of soil layers. The common practice of determining the soil compression coefficient via the oedometer test is time-consuming and expensive. This study proposes a machine learning solution to replace the conventional tests used for obtaining the coefficient of soil compression. The new approach is an integration of the Multi-Layer Perceptron Neural Network (MLP Neural Nets) and Particle Swarm Optimization (PSO). These two computational intelligence methods work synergistically to establish a prediction model of soil compression coefficient. The PSO metaheuristic is employed to optimize the MLP Neural Nets model structure. To train and validate the proposed method, named as PSO-MLP Neural Nets, a dataset of 154 soil samples featuring 12 influencing factors has been collected from the geotechnical investigation process of a high-rise building project. Experimental results show that the proposed PSO-MLP Neural Nets has attained the most accurate prediction of the soil compression coefficient performance with RMSE = 0.0267, MAE = 0.0145, and R² = 0.884. The result of the proposed model is significantly better than those obtained from other benchmark methods including the backpropagation neural network, the radial basis function neural network, the support vector regression, the random forest, and the Gaussian process. Based on the experimental results, the newly constructed PSO-MLP Neural Nets is very potential to be a new alternative to assist geotechnical engineers in design phase of civil engineering projects.