基于拟牛顿法的前向神经元网络学习算法

针对前向神经网络现有BP学习算法的不足,结合非线性最优化方法,提出一种基于拟牛顿法的神经元网络学习算法。该算法有效地改进了神经元网络的学习收敛速度,取得了比常规BP算法更好的收敛性能和学习速度。     

一种大类别数分类的神经网络方法

神经网络是一种普遍使用的分类方法。当类别数目较大时,神经网络结构复杂、训练时间激增、分类性能下降。针对这些问题,基于Ｎ分类问题的两种类方法和树型分类器结构,对两分类子网络集进行排序,中给出了一种大类别分类的神经网络阵一结构和快速搜索方法并重点分析了网络阵列的分类性能。理论分析表明,使用网络阵列方法可降低平均分类错误率。该方法还使得网络结构简单灵活,易于扩充,网络的训练时间缩短,仿真实验表明,该方     

基于拟牛顿法和块稀疏重建的TWR成像算法

多径效应环境中边墙位置的不确定性给穿墙雷达系统的目标定位和高分辨率成像的要求带来很大的挑战。针对上述问题,在对穿墙雷达多径回波信号进行合理建模的基础上,提出一种基于拟牛顿法和块稀疏重建的成像算法。所提成像算法在精确重建边墙位置的基础上具有成像目标定位准确,无虚假目标的优点,数值仿真实验结果验证了所提成像算法的有效性和正确性。     

基于DFP校正拟牛顿法的傅里叶神经网络

针对傅里叶神经网络采用最速下降法导致局部极小、学习速度慢以及泛化能力差的问题,提出一种基于DFP校正拟牛顿法的新学习算法。该算法计算复杂度低,能保证网络具有良好的泛化能力和全局最优性。通过2个数值算例检验该算法,同时和BP神经网络以及另外2种傅里叶神经网络作比较。结果表明,该算法计算复杂度约为最速下降法的5%,为最小二乘学习算法的80%,具有较好的泛化 能力。     

拟牛顿法在航空发动机特性仿真中的应用

航空发动机特性仿真中常用牛顿迭代法求解非线性方程组,牛顿法每一步迭代计算都需要计算Jacobi矩阵,这需要多次发动机气动热力过程计算.因此避免大量重复计算Jacobi矩阵可以减少发动机计算整机的气动热力计算次数,从而提高发动机特性计算的速度.文中采用基于Broyden原理的拟牛顿法求解发动机非线性方程组,这种方法可以直接求出第一步迭代后的Jacobi矩阵,从而大幅度提高计算速度.将拟牛顿法应用于某型涡喷和涡扇发动机特性计算,通过分析计算结果,证明了采用拟牛顿法可以提高发动机特性模拟的计算速度.     

基于数据生成的类别均衡联邦学习

手机、可穿戴设备等终端设备每天产生海量数据,但这些数据往往涉及敏感隐私而不能直接公开并使用.为解决隐私保护下的机器学习问题,联邦学习应运而生,旨在通过构建协同训练机制,在不共享客户端数据条件下,训练高性能全局模型.然而,在实际应用中,现有联邦学习机制面临两大不足:(1)全局模型需考虑多个客户端的数据,但各客户端往往仅包含部分类别数据且类别间数据量严重不均衡,使得全局模型难以训练;(2)各客户端之间的数据分布往往存在较大差异,导致各客户端模型往往差异较大,使得传统通过模型参数加权平均以获得全局模型的方法难以奏效.为降低客户端类别不均衡和数据分布差异的影响,本文提出一种基于数据生成的类别均衡联邦学习(Class-Balanced Federated Learning,CBFL)方法. CBFL旨在通过数据生成技术,针对各客户端构造符合全局模型学习的类别均衡数据集.为此,CBFL设计了一个包含类别均衡采样器和数据生成器的类别分布均衡器.其中,类别均衡采样器对客户端数据量不足的类别以较高概率进行采样.然后,数据生成器则根据所采样的类别生成相应的虚拟数据以均衡客户端数据的类别分布并用于后续的模型...     

大数据人才类别研究

大数据价值的挖掘离不开大数据人才。由于大数据的复杂性和涉及学科、行业的多样性,单凭技术型的人才难以应对复杂多样的工作。培养不同专业或知识背景的大数据人才迫在眉睫。已有文献缺少对大数据人才类别的系统研究。本文总体上将大数据人才分为技术、应用、安全、管理和领军人才5类,并依据不同工作内容进一步对五类大数据人才进行了细分,最后共得到22类大数据人才。期望能为大数据人才的选拔、培养和管理等工作提供借鉴。     

多处理机系统上求解非线性方程组的异步并行拟牛顿法

异步并行算法由于在任何时刻它的进程不等待输入,因而异步并行算法与同步并行算法相比效率高得多,但往往算法分析极为困难,本文给出了多处理系统上求解非线性方程组的一种异步并行拟牛顿算法,证明了其收敛性,数值试验例子表明该算法有较好的收敛速度。     

逐层Transformer在类别不均衡数据的应用

为解决临床医学量表数据类别不均衡容易对模型产生影响,以及在处理量表数据任务时深度学习框架性能难以媲美传统机器学习方法问题,提出了一种基于级联欠采样的Transformer网络模型(layer by layer Transformer, LLT)。LLT通过级联欠采样方法对多数类数据逐层删减,实现数据类别平衡,降低数据类别不均衡对分类器的影响,并利用注意力机制对输入数据的特征进行相关性评估实现特征选择,细化特征提取能力,改善模型性能。采用类风湿关节炎(RA)数据作为测试样本,实验证明,在不改变样本分布的情况下,提出的级联欠采样方法对少数类别的识别率增加了6.1%,与常用的NEARMISS和ADASYN相比,分别高出1.4%和10.4%;LLT在RA量表数据的准确率和F₁-score指标上达到了72.6%和71.5%,AUC值为0.89,mAP值为0.79,性能超过目前RF、XGBoost和GBDT等主流量表数据分类模型。最后对模型过程进行可视化,分析了影响RA的特征,对RA临床诊断具有较好的指导意义。     

基于类别特征改进的KNN短文本分类算法

KNN短文本分类算法通过扩充短文本内容提高短文本分类准确率,却导致短文本分类效率降低。鉴于此,通过卡方统计方法提取训练空间中各类别的类别特征,根据训练空间中各类别样本与该类别特征的相似情况,对已有的训练空间进行拆分细化,将训练空间中的每个类别细化为多个包含部分样本的训练子集;然后针对测试文本,从细化后的训练空间中提取与测试文本相似度较高的类别特征所对应的训练子集的样本来重构该测试文本的训练集合,减少KNN短文本分类算法比较文本对数,从而提高KNN短文本分类算法的效率。实验表明,与基于知网语义的KNN短文本分类算法相比,本算法提高KNN短文本分类算法效率近50%,分类的准确性也有一定的提升。     

多班级交互式教学优化算法

针对教学优化算法（Teaching-Learning-Based Optimization,TLBO）寻优精度低、稳定性差的问题,提出多班级交互式教学优化算法（Multi-Classes Interaction TLBO,MCITLBO）。通过引入基于欧氏距离的新型聚类划分方法,实现多班级教学,加强优秀个体周围邻域的搜索,保证算法具有较好的平衡和局部搜索能力,通过引入两种新的学习方式,实现学习方式多样化,加强种群信息交互、避免子群“滞后”或“早熟”。对6个无约束、4个约束函数和优化拉压弹簧设计问题的数值实验表明,MCITLBO相比其他算法在寻优精度和稳定性上更具优势。     

A Variable Memory Quasi-Newton Training Algorithm

A new neural network training algorithm which optimises performance in relation to the available memory is described. Numerically it has equivalent properties to Full Memory BFGS optimisation (FM) when there are no restrictions on memory and to FM with periodic reset when memory is limited. Achievable performance is determined by the ratio between available memory and problem size and accordingly varies between that of the full and memory-less versions of the BFGS algorithm.     

基于稀疏优化lp正则化的光滑化拟牛顿算法

压缩感知被广泛应用于信号恢复和图像重构与去噪,重构算法是压缩感知的关键部分之一。当采样率很低时,重建原始信号是个困难的问题。对此,现有算法普遍表现不佳。采用[p(0相似文献   

多代表点的子空间分类算法

多代表点近邻分类克服了传统近邻分类算法的缺点,使用以代表点为中心的模型簇构造分类模型并自动确定近邻数目.此类算法在不同类别的样本存在大量重叠时将导致模型簇数量增大,造成预测精度下降.提出了一种多代表点的子空间分类算法,将不同类别的训练样本投影到多个不同的子空间,使用子空间模型簇构造分类模型,有效分隔了不同类别样本在全空...     

多主题文本分类的实现算法

针对一个文本具有多主题属性,提出一种基于模糊支持向量机的多主题文本分类算法。用1-a-r方法训练子分类器,计算待分类文本到每个超平面的距离,依据距离得到隶属度向量,根据隶属度向量判定该文本所属的主题。实验结果表明,该算法在保证单主题文本分类精度的前提下,实现了多主题文本分类,并且有较好的准确率、召回率和F1值。     

基于RSKNN分类改进算法

RSKNN算法是K近邻算法的一种改进算法,该算法基于变精度粗糙集理论,能在保证一定分类精度的前提下,有效地降低分类样本的计算量,并且提高计算效率和分类精度．由于RSKNN算法对属性的依赖度较高,在分类时容易受到伪近邻的影响,导致RSKNN算法的分类精度受到一定程度的影响．针对存在问题,本文提出一种新颖的基于RSKNN算法的改进算法SMwRSKNN,该算法在RSKNN算法的基础上引入类别子空间的思想,以降低冗余属性和伪近邻对分类的影响．在UCI公共数据集上的实验结果表明,SMwRSKNN算法比RSKNN算法具有更高的分类精度．     

一种多值返回的层次化分类方法

随着Internet上信息量的飞速增长,成千上万的网上文档需要分类以方便用户的测览和获取。因此文档的自动分类工作已经越来越受到重视,一些相应的分类方法也应运而生。但其中很少有涉及到“层次化”的分类领域,且绝大多数方法仅仅返回单个分类结果。文中,我们提出了一种新的文档自动分类方法：MRHC(Multicategory-Returned Algorithm for Hierarchical aassification)。该方法着眼于屡次化的分类技术,并在适当的情况下为文档返回多个分类结果。该方法中结合了特征削减和增量学习技术以便提高分类性能。最后,为了更加准确、客观的评价分类结果,提出了一种新的评估方法：LEP(Length-of-Error-Path)。实验结果表明,提出的分类方法响应时间短,分类准确度高,具有较强的实用性。     

一种改进的KNN网页分类算法

针对KNN算法懒惰分类和效率不高的特点,将训练数据集进行优化,提取有代表性的训练样本作为代表样本,用其代替整个训练集进行相似度比较。实验结果表明,使用代表样本集的分类性能与传统KNN算法的性能相当,缩短了分类时间,提高了分类效率,并且不需要估计K值,减少了人工估计值的偏差。     

面向不平衡数据的分类算法

不平衡数据在分类时往往会偏向"多数"，传统过采样生成的样本不能较好的表达原始数据集分布特征.改进的变分自编码器结合数据预处理方法，通过少数类样本训练，使用变分自编码器的生成器生成样本，用于以均衡训练数据集，从而解决传统采样导致的不平衡数据引起分类过拟合问题.我们在UCI四个常用的数据集上进行了实验，结果表明该算法在保证准确率的同时提高了F_measure和G_mean.