基于MCP惩罚的群组变量选择和AdaBoost集成剪枝

针对高维群组变量下的分类问题,本文提出了一种基于MCP惩罚的AdaBoost集成剪枝逻辑回归模型(AdaMCPLR),将MCP函数同时应用于特征选择和集成剪枝,在简化模型的同时有效地提升了预测精度.由于传统的坐标下降算法效率较低,本文引用并改进了PICASSO算法使其能够应用于群组变量选择,大大提高了模型的求解效率.通过模拟实验,发现AdaMCPLR方法的变量选择和分类预测效果均优于其他预测方法.最后,本文将提出的AdaMCPLR方法应用于我国上市公司财务困境预测中.     

一种基于多项式逻辑回归高光谱影像分类方法的改进

针对多项式逻辑回归分类器在参数寻优过程中精度提升不明显和运行速度缓慢的问题,提出一种利用DFP修正拟牛顿算法进行多项式逻辑回归参数求解的方法来提高多项式逻辑回归参数优化的效率,该算法以弦截法代替牛顿算法中的二阶Hessian矩阵,并采用DFP修正法不断修正。利用该算法对两幅高光谱影像进行分类实验,结果表明:与传统的多项式回归分类方法相比,该算法在分类精度和效率方面都有明显的改进。     

基于大数据和深度学习的全社会月用电总量预测

为解决经典方法预测全社会用电总量预测数值精度较低、模型结构参数过于复杂等技术难题,本文提出将电力大数据和人工智能领域深度学习算法相结合的研究方法。采用计算机建立具有阶层结构的深度神经网络,根据仿生学原理引入线性整流函数解决梯度消失及神经网络收敛速度减慢问题,采用梯度下降来进行优化模型,同时通过引入指数衰减法由神经网络模型自动设定学习率以提高模型预测精度并降低迭代次数。从数量场的梯度原理并结合泰勒公式,推导出梯度下降法背后数学原理。为解决过拟合问题引入早停算法以提高模型训练速度及泛化能力。最后深度学习算法预测数值与经典线性回归算法预测数值相比较,深度学习算法在对全社会月用电总量的预测精准度、稳定性指标上明显优于线性回归算法,深度神经网络模型对未来全社会电力需求的预测数值具有高度的可信性。     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

基于非线性Logistic模型的改进UDEED算法

针对UDEED算法中线性Logistic模型分类预测准确率较低的问题,基于泰勒展开式,提出一种多项式核的非线性Logistic模型改进算法。研究非线性Logistic模型的核函数参数估计方法,更新损失函数的计算规则,并利用梯度下降法求解改进UDEED模型,实现数据集的分类预测。实验结果表明,与UDEED算法相比,改进算法提高了分类预测的准确率。     

基于线性回归和属性集成的分类算法

对于高维度小样本数据的分类问题,高维属性的复杂性限制了分类模型预测的准确率。为了进一步提高准确率,提出了基于线性回归和属性集成的分类算法。首先,采用线性回归为每一个属性构建属性线性分类器(Attri-bute Linear Classifier,ALC);其次,为了避免因ALC数量过多而导致准确率下降,利用经验风险最小化策略中的经验损失值作为评估标准来优选ALC;最后,应用多数投票法来集成被筛选的ALC。采用高维度小样本的基因表达数据集进行实验,结果显示该算法具有比逻辑回归、支持向量机和随机森林算法更高的准确率。     

基于蚁群算法的电力负荷预测方法研究

为了提高负荷预测的精度,提出基于改进蚁群算法的电力负荷组合预测方法。该方法以回归分析、灰色模型、二次指数平滑值、龚帕兹模型、弹性系数法、逻辑斯谛模型法、二次移动平均模型为基础建立负荷组合预测模型,利用改进蚁群算法优化组合预测模型的权值,并与单个预测模型进行比较。预测结果表明,基于改进蚁群算法的电力负荷组合预测方法,运算速度快,预测精度高,相对误差小,有一定的实用价值。     

基于随机森林回归的煤矿瓦斯涌出量预测方法

为了提高煤矿瓦斯涌出量预测精度和效率,研究了基于随机森林回归的煤矿瓦斯涌出量预测方法。采用bootstrap自助法重采样技术采集训练样本数据,构建随机森林回归模型,取决策树输出值的均值作为煤矿瓦斯涌出量预测结果,利用袋外数据评价回归模型预测性能。通过计算袋外数据残差平方均值和拟合优度,确定随机森林回归模型的最优超参数;采用袋外数据残差平方均值的增加量来表征特征变量的重要性,用累计影响权重达到90%的部分特征变量代替煤矿瓦斯涌出量的全部特征变量,筛选出采煤高度、煤厚、煤层瓦斯含量、采出率、埋深、日进度、开采强度、邻近层间距8个重要程度高的特征变量作为模型的输入变量。测试结果表明,采用全部特征变量和部分特征变量的随机森林回归模型均具有较好的预测性能,进行特征变量选择后,模型的平均绝对误差由0.22m3/min下降到0.21m3/min,平均相对误差由3.55%下降到3.47%。基于特征变量选择的随机森林回归模型在保证较好的预测性能的前提下,降低了预测模型特征变量的维度,减少了原始数据获取工作,提高了预测效率。     

基于SVM的大样本数据回归预测改进算法

针对支持向量机回归预测精度与训练样本尺寸不成正比的问题,结合支持向量机分类与回归算法,提出一种大样本数据分类回归预测改进算法。设计训练样本尺寸寻优算法,根据先验知识对样本数据进行人为分类,训练分类模型,基于支持向量机得到各类别样本的回归预测模型,并对数据进行预测。使用上证指数的数据进行实验,结果表明,支持向量机先分类再回归算法预测得到的均方误差达到12.4,低于人工神经网络预测得到的47.8,更远低于支持向量机直接回归预测得到的436.9,验证了该方法的有效性和可行性。     

一种闭环条件下的多变量系统辨识方法

为得到带有色噪声的闭环多变量系统参数无偏估计,提出两阶段随机梯度辨识算法,此算法利用中间模型将闭环问题转化成两个开环问题,并基于随机梯度算法和递阶辨识原则,用最速下降法极小化预测误差准则来得到参数估计.算法只需一个测试信号,不需要控制器的先验知识,计算简便,能获得满意的结果,适用于闭环多变量系统的在线辨识.     

BP网络改进模型的性能对比研究

文章通过实例对BP网络的几种代表性改进模型进行了性能对比研究。分析了BP网络基于标准梯度下降法和基于数值优化方法的算法改进和训练策略改进获得的代表性模型的优缺点,并结合遥感图像分类实例,对其收敛速度和分类效果进行了对比分析,其结果可为BP网络模型的选择和改进提供一些思路和借鉴。     

逻辑模型树算法性能分析与改进研究

逻辑模型树(LMT)算法是基于树归纳和逻辑回归的一种分类算法。为验证LMT算法的优势,利用3个UCI标准数据集建模,将LMT算法与其他决策树方法进行对比分析。针对LMT算法在建立逻辑回归模型时会导致较高的计算复杂性的问题,研究利用赤池信息量准则改进LMT算法,提升算法时间性能,避免模型过度拟合。在UCI标准数据集和烟叶综合质量评价数据中应用改进的LMT算法进行建模验证,结果表明,该改进方法在模型精度和召回率方面基本优于其他决策树方法,时间性能比改进前提升50%左右,能较好地评价烟叶综合质量。     

基于几何邻居的半监督节点分类

目前基于网络结构的节点分类方法只注重局部网络连接关系。为了能获取更广泛的网络信息,提出一种基于邻居节点结构信息的半监督节点分类算法CBGN。首先,在网络中加入惩罚因子来改进随机游走策略以获取节点的不定长游走序列,这些节点序列被当做句子输入到word2vec模型中,从而将网络结构的潜在信息转换成向量作为节点的特征表示;其次,改进支持向量机算法,结合梯度下降法和坐标下降法来优化参数空间,以对未标记节点进行更准确的分类;最后,在四个标准数据集上与目前较先进的几种方法进行了对比实验。结果表明,CBGN算法提高了分类精度,相比之前已有的方法具有更好的分类效果。     

基于 Spark 平台的网络游戏用户流失预测方法

随着移动互联网的广泛普及,国内网络游戏市场日趋饱和,游戏公司获得新用户的成本不断增加,如何预防存量用户的流失已经成为市场营销的重心。提出了一种基于Spark平台的网络游戏用户流失预测方法,基于一个真实游戏日志数据对用户进行了流失预测。首先,从日志数据中抽取和计算了用户特征;随后,按权重选取了一组重要特征;最后,以特征为输入、流失与否为输出进行了二分类建模。综合比较了随机森林、支持向量机、多层感知机、梯度提升决策树和逻辑回归等6种常见分类算法。实验结果表明,随机森林算法表现最优,模型预测精度达到91%。     

基于机器学习的动态体感手势识别系统

系统首先定义了一套人机交互手势,采用改进的Camshift算法,将人手图像由RGB空间转换到HSV空间后,将跟踪到的结果利用机器学习中的逻辑回归和梯度下降算法进行分类匹配,模拟多个得出最终的手势操作结果发送给目标机器进行相应的操作。     

一种复合算法在短期负荷预测中的应用

为提高电力系统短期负荷预测精度,文中提出一种基于改进遗传算法优化的径向基函数神经网络短期电力负荷预测模型,该模型采用改进的选择策略、自适应交叉和变异概率防止出现早熟现象;将自适应交叉和变异操作的改进遗传算法与梯度下降法混合交互运算,作为径向基函数神经网络的学习算法,将上述模型和算法应用于某地区电网的短期负荷预测,取得良好的预测效果.     

基于改进PSO算法的机器人路径规划及实验

针对粒子群优化（PSO）算法存在的优化精度低以及早熟的缺点,提出一种改进的PSO算法用于机器人路径规划．根据梯度下降法中变量沿负梯度方向变化的原则,提出了改进的粒子速度更新模型．为了提高粒子的搜寻效率及精度,增加了自适应粒子位置更新系数．引入ε贪心策略设计了改进的粒子群优化算法．在部分优化测试函数上的多次试验结果表明,所提算法较其他算法模型搜索精度至少提高2倍,收敛速度也有大幅度的提升．将所提算法和改进的DC-HPSO（动态聚类混合粒子群优化）算法应用于静态障碍物下的路径规划仿真和实际试验,结果表明所提模型具有高精度、高效率、高成功率的优点．     

拉格朗日多项式逻辑回归分类算法并行计算优化

针对拉格朗日多项式逻辑回归算法中逻辑回归参数计算复杂高、耗时长,直接制约其在大数据量遥感图像上应用的问题,提出了基于图形处理器GPU对算法进行数据级并行计算处理。算法首先利用已知的训练样本进行多元回归参数估算,然后利用得到的回归参数和光谱数据进行分类,能够获得较高的分类精度,其中算法步骤中的矩阵乘法、矩阵求逆、矩阵特征值计算采用CULA库函数并行实现。利用真实场景的高光谱图像对文中提出的并行计算优化方案实验验证,结果表明,该方法能够实现对多元回归参数计算加速200倍左右,对整个拉格朗日多项式逻辑回归分类算法计算加速60倍左右。     

混沌时间序列的混合粒子群优化预测

提出一种混合粒子群优化算法,即在改进粒子群优化算法全局搜索模型参数的基础上,利用梯度下降法进一步确定径向基神经网络模型参数,以提高网络的收敛精度和网络性能.采用基于RBFNN的混合粒子群优化算法进行离散Henon和连续Mackey-Glass混沌时间序列预测仿真,结果表明该算法能快速精确地预测混沌时间序列,是研究复杂非线性动力系统辨识和控制的一种有效方法.     

多输出数据依赖核支持向量回归快速学习算法

针对基于递推下降法的多输出支持向量回归算法在模型参数拟合过程中收敛速度慢、预测精度低的情况,使用一种基于秩2校正规则且具有二阶收敛速度的修正拟牛顿算法（BFGS）进行多输出支持向量回归算法的模型参数拟合,同时为了保证模型迭代过程中的下降量和全局收敛性,应用非精确线性搜索技术确定步长因子。通过分析支持向量机（SVM）中核函数的几何结构,构造数据依赖核函数替代传统核函数,生成多输出数据依赖核支持向量回归模型。将模型与基于梯度下降法、修正牛顿法拟合的多输出支持向量回归模型进行对比。实验结果表明,在200个样本下该算法的迭代时间为72.98 s,修正牛顿法的迭代时间为116.34 s,递推下降法的迭代时间为2065.22 s。所提算法能够减少模型迭代时间,具有更快的收敛速度。