一种基于大脑皮层结构的侧抑制神经网络

借鉴仿生学原理, 基于大脑皮层结构提出一种新型侧抑制神经网络(S-LINN) 模型. 通过模拟大脑皮层内锥体神经元和抑制神经元的连接特点, 在多层结构的S-LINN 的不同层神经元之间引入跨越连接, 同时在隐含层内神经元之间进行信息的侧向抑制传输. 引入的两种连接机制有效地提高了网络处理问题的能力, 与其他网络相比能够以更精简的结构较好地解决实际问题. 通过对乳腺癌诊断数据集和异或问题的求解, 表明了S-LINN 网络不但能够获得较高的训练精度, 而且具有更强的泛化能力.

     

自组织映射（S0M）型神经网络的实现

文章讨论了应用于自组织映射型神经网络的训练算法，该算法通过计算获胜神经元来找到最接近输入模式的节点．然后通过对网络连接权值的自组织，训练一个自组织竞争的神经网络，该网络通过一组输入数据可自行训练形成一个神经网络模型，     

自组织映射(SOM)型神经网络的实现

文章讨论了应用于自组织映射型神经网络的训练算法,该算法通过计算获胜神经元来找到最接近输入模式的节点,然后通过对网络连接权值的自组织,训练一个自组织竞争的神经网络,该网络通过一组输入数据可自行训练形成一个神经网络模型.     

前馈神经网络结构动态增长-修剪方法

针对前馈神经网络隐含层神经元不能在线调整的问题,提出了一种自适应增长修剪算法(AGP),利用增长和修剪相结合对神经网络隐含层神经元进行调整,实现神经网络结构的自组织,从而提高神经网络的性能.同时,将该算法应用于污水处理生化需氧量(BOD)软测量,仿真实验结果表明,与其他自组织神经网络相比,AGP具有较好的泛化能力及较高的拟合精度,能够实现出水BOD的预测.     

基于粒子群算法优化Spiking神经网络

Spiking神经网络采用神经元的发放时间点进行信息编码,更接近于生物神经元.学习算法的选取对发挥Spiking神经网络的性能有很大的影响.基于BP算法的SpikeProp采用多突触连接的网络结构,利用梯度信息进行网络参数的调整,易于陷入局部最优解;且连接权值的选取只能为正值,否则将不收敛.采用粒子群算法(Particle Swarm Optimization,PSO)进行Spiking网络连接参数的调整,全局收敛性好,减少了对连接权值的约束,简化了网络结构.实验表明,该方法是一种有效的Spiking网络学习方法.     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

基于层次自组织特征映射的网络异常检测系统数据分析器

提出将层次自组织特征映射神经网络算法应用于网络异常检测，算法自顶向下逐层生成神经网络结构并细化聚类，将神经元的组织和连接方式从平面扩展到层次与平面连接相结合，大大加速了获胜神经元的搜寻过程。基于此种算法，设计并实现了网络异常检测系统中的数据分析器HSOMDA，在DARPA1999数据集上的实验表明其具有较高的检测性能和时间性能。     

基于信息强度的RBF神经网络结构设计研究

在系统研究前馈神经网络的基础上,针对径向基函数(Radial basis function, RBF) 网络的结构设计问题,提出一种弹性RBF神经网络结构优化设计方法. 利用隐含层神经元的输出信息(Output-information, OI)以及隐含层神经元与输出层神经元间的交互信息(Multi-information, MI)分析网络的连接强度, 以此判断增加或删除RBF神经网络隐含层神经元, 同时调整神经网络的拓扑结构,有效地解决了RBF神经网络结构设计问题; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对典型非线性函数的逼近与污水处理过程关键水质参数建模, 结果证明了该弹性RBF具有良好的动态特征响应能力和逼近能力, 尤其是在训练速度、泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation net works, MRAN)、增长修剪RBF 神经网络(Generalized growing and pruning RBF, GGAP-RBF)和自组织RBF神经网络(Self-organizing RBF, SORBF)有较大的提高.     

进化大规模脉冲神经网络的发育方法

通过自然进化得到的脑包含几十亿的神经元和几万亿的神经连接,并表现出复杂的智能行为.受生物脑进化与发育的启发,研究者给出了进化神经网络的发育编码方法,特点是通过基因重用可在较小的基因空间中进行大规模神经网络的快速搜索.以人工基因组模型为框架描述基因调控网络,用基因表达的动态特性表示细胞命运特化的发育过程,提出了一种进化大规模脉冲神经网络的发育方法.该方法的特点在于可以快速有效地发育生成脉冲神经元、神经连接和突触可塑性.相应的食物采集进化实验突现了以神经驱动的自主智能体的智能行为,并验证了该方法对大规模脉冲神经网络的进化能力.     

无偏稀疏正则化的双策略结构神经网络压缩

虽然深度神经网络模型的性能十分出色,但目前网络存在规模庞大、权重冗余度高的问题。同时,现有对网络权重剪枝的正则子估测偏差大。因此,本文提出无偏稀疏正则化的双策略结构神经网络压缩。首先,本文将神经网络所连接权重视为一组,提出采用估测值偏差小的非线性拉普拉斯函数,构建组间无偏结构稀疏正则子和组内无偏结构稀疏正则子,对冗余神经元和剩余神经元的冗余权重分别进行稀疏约束,构建无偏稀疏正则化的双策略结构神经网络压缩模型。其次,针对所设计的无偏稀疏正则化的网络压缩优化难题,本文采用近端算子技术获得无偏稀疏正则子的闭式解,进而设计基于近端梯度下降法的反向传播算法,实现神经网络准确的结构压缩。最后,通过在数据集MNIST、 FashionMNIST和Cifar-10进行实验验证,本文所提出的无偏稀疏正则子的双策略结构神经网络压缩不仅收敛速度快于目前主流正则子。而且在压缩率保持一致的情况下,相比已有的方法识别精度平均提升2.3%,在识别保持精度基本一致的情况下,相对已有方法平均提升11.5%的压缩率。     

Sparse Connectivity and Activity Using Sequential Feature Selection in Supervised Learning

Generally, in neural networks the sparseness is a suitable regularizer in a lot of applications. In this paper, sparse connectivity and sparse representation are used to enhance solutions to the problem of classification. Sequential feature selection is then leveraged to remove redundant features and select relevant ones. Sparseness-enforcing projection operator is used to discovering the most similar vector with a predefined sparseness degree for any input vector as well. As it will be argued, the mentioned operator is approximately differentiable at every point. From the facts it is clear that the sparseness enforcing projection would be appropriate for use as a transfer function in the proposed neural network and the network can be tuned using gradient based methods. Meanwhile, an intelligent method was used to build the architecture of the proposed neural network to achieve better performance. The MNIST dataset which consists of 70,000 handwritten digits was used to train and test the method and 99.18% accuracy was achieved by classifying this dataset.     

基于改进子空间追踪算法的稀疏信道估计

由于许多通信系统的信道具有稀疏多径的特性,因此可以将信道估计问题归结为稀疏信号的恢复问题,继而应用压缩感知理论(CS)的算法求解。针对CS中现存的信号重构方法——子空间追踪法(SP)需要对稀疏度有先验知识的缺点,提出一种改进的子空间追踪法(MSP)。该方法的反馈和精选过程与SP算法一致,不同之处是MSP算法每次迭代时向备选组合中反馈添加的向量个数是随着迭代次数而逐一增加的,而SP算法中备选组合被添加的向量个数与稀疏度相同。仿真结果表明,基于MSP方法所得到的稀疏多径信道估计结果优于基于传统SP的方法,且无需已知信道的多径个数。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

基于贡献率的离散Hopfield 结构优化

针对离散Hopfield 神经网络(DHNN) 结构复杂的问题, 提出一种基于贡献率的结构优化算法. 该算法利用奇异值分解方法对连接权值进行设计, 进而利用贡献率的方法对DHNN进行结构优化. 优化后的网络降低了DHNN结构的复杂程度, 使网络具有类似生物神经网络的稀疏结构, 实现了DHNN网络结构的优化. 最后, 通过水质评价和数字识别对该算法进行验证, 表明了所提出算法的有效性和可行性, 同时, 还验证了其对于大规模DHNN的有效性和适用性.

     

Sparse multinomial kernel discriminant analysis (sMKDA)

Dimensionality reduction via canonical variate analysis (CVA) is important for pattern recognition and has been extended variously to permit more flexibility, e.g. by “kernelizing” the formulation. This can lead to over-fitting, usually ameliorated by regularization. Here, a method for sparse, multinomial kernel discriminant analysis (sMKDA) is proposed, using a sparse basis to control complexity. It is based on the connection between CVA and least-squares, and uses forward selection via orthogonal least-squares to approximate a basis, generalizing a similar approach for binomial problems. Classification can be performed directly via minimum Mahalanobis distance in the canonical variates. sMKDA achieves state-of-the-art performance in terms of accuracy and sparseness on 11 benchmark datasets.     

考虑数据排序的改进CABOSFV聚类

CABOSFV是基于稀疏特征进行高维数据聚类的高效算法,但算法的聚类质量受数据输入顺序的影响。针对此问题,提出考虑数据排序的改进CABOSFV聚类（CABOSFV_CS）,通过定义稀疏性指数来描述数据的稀疏特征,并按照稀疏性指数升序对数据进行排序以改进CABOSFV算法的聚类质量。采用UCI基准数据集进行实验,结果表明与传统的CABOSFV算法相比,CABOSFV_CS有效地提高了聚类准确率。     

应用稀疏约束的非负正则矩阵学习算法

针对非负矩阵分解后的数据稀疏性较低,训练样本偏多导致运算规模持续增大的普遍现象,本文提出基于稀疏约束的非负正则矩阵学习算法,本文算法是在样本几何结构信息条件上执行非负矩阵分解操作,并且与学习算法结合,不仅能够有效保持样本局部结构,还能够充分利用前期分解结果参加迭代运算,从而达到降低运算时间目的. 本文实验表明与其他算法比较来说,本文方法在ORL人脸数据库上最多节省时间14.84 s,在COIL20数据集上为136.1 s;而在分解后数据的稀疏性上,本文方法在ORL人脸数据库上的稀疏度提高0.0691,在COIL20数据集上为0.0587. 实验结果表明了算法有效性.     

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

非稀疏性是最小二乘支持向量机（Least squares support vector machine,LS-SVM）的主要不足,因此稀疏化是LS-SVM研究的重要内容.在目前LS-SVM稀疏化研究中,多数算法采用的是基于迭代选择的稀疏化策略,但是时间复杂度和稀疏化效果还不够理想.为了进一步改进LS-SVM稀疏化方法的性能,文中提出了一种基于全局代表点选择的快速LS-SVM稀疏化算法（Global-representation-based sparse least squares support vector machine,GRS-LSSVM）.在综合考虑数据局部密度和全局离散度的基础上,给出了数据全局代表性指标来评估每个数据的全局代表性.利用该指标,在全部数据中,一次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集,然后在此基础上求解决策超平面,是该算法的基本思路.该算法对LS-SVM的非迭代稀疏化研究进行了有益的探索.通过与传统的迭代稀疏化方法进行比较,实验表明GRS-LSSVM具有稀疏度高、稳定性好、计算复杂度低的优点.     

基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

RIS辅助毫米波系统中基于压缩感知的信道估计

针对可重构智能超表面（RIS）辅助无线通信系统中使用传统信道估计方法导频开销过高的问题,提出了一种基于块稀疏的正交匹配追踪（OMP）信道估计方案。首先,根据毫米波（mmWave）信道模型推导出级联信道矩阵,并将其转换到虚拟角域（VAD）中以获得级联信道的稀疏表示;其次,利用级联信道特有的稀疏特性将信道估计问题转换成稀疏矩阵恢复问题,并使用压缩感知的重构算法进行稀疏矩阵的恢复;最后,通过分析特殊的行-块稀疏结构,对传统的OMP方案进行优化,从而进一步减少导频开销并提升估计性能。仿真结果表明,与传统的OMP方案相比,所提出的基于行-块稀疏结构的优化OMP方案的归一化均方误差（NMSE）减小了大约1 dB。可见,所提出的信道估计方案能够有效减少导频开销并获得更好的估计性能。