基于特征矢量集的核Logistic回归

将经典Logistic回归推广到高维RKHS空间，提出了一种基于特征矢量选择的核Logistic回归算法-FVS-KLR．该算法利用特征矢量选择（FVS）从训练样本集中选择一个特征矢量集，原样本在RKHS空间中的映射可用该集合中元素映射的线性组合近似．以特征矢量集为基得到核Logistic回归的目标泛函，并采用Newton-Raphson方法寻优，将优化的计算量由O（N^3）降到O（NL^2），L〈〈N．同时文章推导了多类情况下的核Logistic回归算法．通过与SVM的对比实验表明，该算法对后验概率的估计优于SVM方法，同时在分类错误率不高于SVM的基础上能显著降低分类器的计算量．     

L1/2正则化Logistic回归

提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.     

基于同态加密的多分类Logistic回归模型

随着计算能力的发展,机器学习得到了广泛的应用,数据的安全问题也成为一个重要问题.同态加密技术可以在不泄露明文信息的情况下,对密文进行运算并在解密后得到与在明文上执行相应运算一致的结果.因此,同态加密是一种可行的有潜力的数据安全外包解决方案.为了解决现实生活中出现的多分类问题,本文基于Cheon等提出的HEAAN同态加密方案,提出了一种能有效保护数据隐私的多分类Logistic回归模型,采用"一对其余"的拆解策略,通过训练多个分类器,将二分类Logistic回归模型推广到多分类.数据持有者可以将数据加密后发送给服务器,服务器使用多分类Logistic回归模型对加密数据进行训练,并将结果传回数据持有者,数据持有者解密结果后可以用来对多分类数据进行预测,整个过程中不会有隐私被泄露.本文通过对UCI的Dermatology和Iris数据集进行了实验,测试模型的性能.Dermatology数据集包含358条样本, 34个特征属性,分为6个类别,训练时间约为36.70分钟,准确率达到77.18%,与明文计算的准确率一致.实验验证了本文的模型在效率和准确率方面的可行性.     

基于密度估计的逻辑回归模型

介绍了一种基于密度的逻辑回归（Density-based logistic regression,DLR）分类模型以解决逻辑回归中非线性分类的问题. 其主要思想是根据Nadarays-Watson密度估计将训练数据映射到特定的特征空间,然后组建优化模型优化特征权重以及Nadarays-Watson 密度估计算法的宽度. 其主要优点在于:它不仅优于标准的逻辑回归,而且优于基于径向基函数（Radial basis function,RBF）内核的核逻辑回归（Kernel logistic regression,KLR）. 特别是与核逻辑回归分析和支持向量机（Support vector machine,SVM）相比,该方法不仅达到更好的分类精度,而且有更好的时间效率. 该方法的另一个显著优点是,它可以很自然地扩展到数值类型和分类型混合的数据集中. 除此之外,该方法和逻辑回归（Logistic regression,LR）一样,有同样的模型可解释的优点,这恰恰是其他如核逻辑回归分析和支持向量机所不具备的.     

基于Fenchel对偶的核Logistic回归并行学习算法

给出了一种大规模核Logistic回归的并行学习算法.利用凸优化中的Fenchel对偶定理, 将核Logistic回归的优化原问题转换成对偶空间的优化问题,再利用块更新迭代方法, 可以独立地在部分数据集上进行分类器训练.设计了一个简单的客户机--服务器并行计算模式, 每个客户机对部分数据优化子问题,在一次优化结束后,服务器根据各客户机传递的信息修正各子问题目标函数. 在标准数据集的实验结果表明了基于Fenchel对偶的核Logistic回归并行学习算法的可行性.     

基于相似度学习的多源迁移算法

针对与测试数据分布相同的训练数据不足,相关领域中存在大量的、与测试数据分布相近的训练数据的场景,提出一种基于相似度学习的多源迁移学习算法(SL-MSTL).该算法在经典SVM分类模型的基础上提出一种新的迁移分类模型,增加对多源域与目标域之间的相似度学习,可以有效地利用各源域中的有用信息,提高目标域的分类效果.实验的结果表明了SL-MSTL 算法的有效性和实用性.     

改进的多目标回归实时人脸检测算法

针对物体检测实时多目标回归算法中分别优化各四个位置参数，割裂了四个位置变量之间的关系，造成对物体的边框回归不够准确且训练不易收敛的问题，提出一种带检测评价函数（Intersection over Union，IoU）作为损失函数的实时多目标回归人脸检测算法。首先基于Redmond等提出实时多目标回归模型，采用该模型检测实时性的机制，然后融合了IoU函数作为位置参数的损失函数，将实时多目标回归模型中的四个独立位置参数整合成一个单元进行优化，避免了基础模型的缺陷。算法在人脸检测基准库FDDB上进行测试，实验结果表明：在人脸检测的有效性上优于主流的传统人脸检测算法，检测速度上领先于其他经典深度学习方法。提出的算法在检测人脸的有效性和检测速度两者之间取得了一个较好的平衡，为构建实用的人脸相关应用系统提供了参考价值。     

基于概率的并行粒子群AKO-RVM入侵检测

AKO-RVM算法不仅具有高分类精度的特点,相对于RVM算法其在一定程度上降低了性能对初始参数的依赖性,在入侵检测网络安全的方法研究中优于经典RVM算法。然而AKO-RVM样本训练与分类用时较长,为此提出一种基于概率的主辅式并行粒子群AKO-RVM方法,即将训练样本进行分组,先采用并行主辅式粒子群算法确定AKO-RVM核宽参数并进行优化,进而构造RVM分类模型,继而采用一对一分类方法应用于多类检测中。入侵实验结果表明,所提出方法在具有高精度与性能、低依赖性等特点的同时,较大程度上降低了训练所需迭代次数与检测时间。     

基于非线性Logistic模型的改进UDEED算法

针对UDEED算法中线性Logistic模型分类预测准确率较低的问题,基于泰勒展开式,提出一种多项式核的非线性Logistic模型改进算法。研究非线性Logistic模型的核函数参数估计方法,更新损失函数的计算规则,并利用梯度下降法求解改进UDEED模型,实现数据集的分类预测。实验结果表明,与UDEED算法相比,改进算法提高了分类预测的准确率。     

一种新的回归型约简多分辨率相关向量机

提出一种新的稀疏贝叶斯回归算法.基于相关向量机,首先通过尺度核和小波核构造完备基以提高预测精度;然后利用保局投影对输入矩阵的列进行主成分提取以减少训练时间,从而形成算法的初步模型.为进一步减小较大规模训练数据集的回归时间压力,算法对训练数据集的分层采样建立了初步模型,进而产生实际较小规模的训练数据集.实验结果表明,算法在预测精度和鲁棒性上优于传统支持向量机和相关向量机,且其训练时间较相关向量机少.     

多变量系统的耦合梯度辨识算法与性能分析

针对多变量系统维数大、参数多、一般的辨识算法计算量大的问题, 基于耦合辨识概念, 推导多变量系统的耦合随机梯度算法, 利用鞅收敛定理分析算法的收敛性能. 算法的主要思想是将系统模型分解为多个单输出子系统,在子系统的递推辨识过程中, 将每个子系统的参数估计值耦合起来. 所提出算法与最小二乘算法和耦合最小二乘算法相比, 具有较少的计算量, 收敛速度可以通过引入遗忘因子得到改善. 性能分析表明了所提出算法收敛, 仿真实例验证了算法的有效性.

     

具有预负载非线性特性的双率系统递推最小二乘估计算法

针对具有预负载非线性特性的双率系统, 提出一种新的辨识方法. 借助切换函数简化系统模型, 通过损失数据模型估计系统损失的输出数据, 进而利用系统所有输入和输出数据, 提出相应双率系统递推最小二乘算法. 与多项式转换方法相比, 该方法能够直接辨识出系统参数. 仿真结果验证了所提出方法的有效性.

     

非均匀多采样率非线性系统的模糊辨识

针对非均匀多采样率非线性系统辨识问题, 提出一种基于模糊模型的辨识方法. 首先, 分析了非线性系统在输入信号非均匀周期刷新, 输出信号周期采样的情况下, 非线性系统可以通过提升技术, 利用多个局部的线性模型加权组合来描述; 然后, 提出一个基于GK模糊聚类和递推最小二乘的模糊辨识算法; 最后, 针对化工pH 中和过程非线性系统, 采用非均匀采样数据建立其模糊模型, 以验证所提出方法的有效性.

     

基于子空间方法的非均匀周期刷新和采样系统辨识

针对非均匀周期刷新和采样系统的建模问题, 对于含有提升变量的状态空间模型, 提出基于子空间技术的辨识方法. 首先, 通过系统的采样数据建立由Hankel 矩阵组成的扩展状态空间方程; 然后, 利用斜交投影的原理、方法和奇异值分解, 通过子空间辨识算法确定增广观测矩阵和状态向量, 通过最小二乘方法确定模型的参数矩阵; 最后, 通过仿真实例表明了所提出算法的有效性.

     

永磁同步电动机的分数阶时域和频域建模

采用机理与数据相结合的建模方法对永磁同步电动机进行分数阶时域和频域建模. 在分数阶时域建模方法中, 设计伪随机激励信号, 获取实时实验数据并采用输出误差辨识算法来获取分数阶阶次; 在分数阶频域建模方法中, 由实时实验数据绘制出电动机的对数频率特性曲线. 采用分数阶频域建模中经典Levy 辨识算法, 利用加权函数加以改进, 得到永磁同步电动机分数阶模型辨识结果. 最后通过对两种方法得到的结果进行对比表明了所提出模型的可靠性.

     

非均匀周期采样系统的递阶最小二乘辨识方法

针对非均匀周期采样系统,通过状态空间模型离散化方法得到其输入输出表达形式.鉴于参数化后得到的辨识模型同时包含1个参数向量和1个参数矩阵,利用递阶辨识原理,将辨识模型分解为分别含有参数向量和参数矩阵的2个虚拟子系统;考虑到系统的因果约束问题,将包含参数矩阵的子系统分解为子子系统进行辨识,从而提出这类非均匀采样系统的递阶最小二乘辨识方法.仿真例子表明该算法是有效的.     

一种基于差分进化算法的多模型建模方法

针对非线性系统的多模型建模问题,基于差分进化算法提出了一种优化建模方法.从系统的输入输出数据出发,将样本空间分割与局部模型建立相结合,首先将PWA辨识问题转化为MIQP问题;然后采用自适应混沌差分进化算法对模型数量及模型参数同时优化;最后利用支持向量基求取分割曲面方程.仿真结果表明,该方法能以最优的线性子模型集准确地逼近非线性系统.     

多元系统耦合带遗忘因子有限数据窗递推最小二乘辨识方法

针对多元线性或非线性回归系统, 将耦合辨识思想与带遗忘因子有限数据窗辨识理论相结合, 提出一种耦合带遗忘因子有限数据窗递推最小二乘辨识算法. 该算法每次递推计算时既不涉及矩阵求逆运算, 又可以克服数据饱和现象, 因此, 该算法不仅计算效率高, 而且可以快速地跟踪时变参数, 获得精确的参数估计. 通过辨识基于多元模型的永磁同步电机参数的实例, 验证了所提出算法的有效性和实用性.

     

非均匀Hammerstein-Wiener 系统的递阶随机梯度辨识算法

针对一类非均匀数据采样Hammerstein-Wiener 系统, 提出一种递阶多新息随机梯度算法. 首先基于提升技术, 推导出系统的状态空间模型, 并考虑因果约束关系, 将该模型分解成两个子系统, 利用多新息遗忘随机梯度算法辨识出此模型的参数; 然后, 引入可变遗忘因子, 提出一种修正函数并在线确定其大小, 提高了算法的收敛速度及抗干扰能力. 仿真实例验证了所提出算法的有效性和优越性.

     

一种新的基于平衡决策树的SVM多类分类算法

为了有效地减少样本训练时间,提高多类分类器的识别率,同时使模型具有较好的推广能力,在综合考虑待分类样本数和类别易分性能的基础上,在"先分样本数较大的类"和"先分易分的类"之间折衷考虑,提出一种基于样本的新的类划分方案.采用半衡决策树结构,得到了一种新的决策树支持向量机多类分类算法.实验结果表明,该算法在不降低识别率的情...