数据增广求解贝叶斯Logistic回归模型的方法研究

贝叶斯Logistic回归模型是机器学习中一类被广泛应用的经典模型,然而由于其先验和似然间的非共轭性,Logistic回归模型的贝叶斯推理成为机器学习中的一个重要问题。数据增广方法是一种解决非共轭问题非常有效的方法,该方法通过引入增广变量来发掘模型中的隐藏结构,再通过采样的方法得到模型推理结果。本篇文章实现了两种不同的数据增广算法并通过在多个现实生活数据集上进行试验来对比算法的优越性。     

数据增广求解贝叶斯Logistic回归模型的方法研究

贝叶斯Logistic回归模型是机器学习中一类被广泛应用的经典模型,然而由于其先验和似然间的非共轭性,Logistic回归模型的贝叶斯推理成为机器学习中的一个重要问题。数据增广方法是一种解决非共轭问题非常有效的方法,该方法通过引入增广变量来发掘模型中的隐藏结构,再通过采样的方法得到模型推理结果。本篇文章实现了两种不同的数据增广算法并通过在多个现实生活数据集上进行试验来对比算法的优越性。     

基于支持向量机的回归研究

支持向量机在非线性回归中,有着成功的应用.本文通过-支持向量机进行回归的实例研究,通过交叉验证确定最优的系数,为研究者提供参考.     

基于Logistic回归、ANN、SVM的乳腺癌复发影响因素研究

为找出乳腺癌复发的影响因素,并比较人工神经网络（ANN）型、支持向量机型（SVM）和logistic回归型在乳腺癌复发中的预测效能.本文结合南斯拉夫卢布尔雅那大学医疗中心乳腺癌肿瘤研究所的277例数据,对乳腺癌复发的影响因素进行研究.分别采用了logistic回归、人工神经网络和支持向量机方法来建立乳腺癌复发的预测模型,并对这三种分析方法进行了理论方法和预测效能的比较.结果发现,肿瘤大小、有无结节冒、肿瘤恶性程度（P<0.05）是乳腺癌术后复发的主要影响因素,而在不同的预测方法中相对于logistic回归模型,支持向量机和人工神经网络具有更好的预测效能,其中支持向量机的预测效能最好.     

基于改进Logistic映射的图像加密算法

为了有效地提高图像加密效果及安全性,设计一种改进logistic映射图像加密算法.首先在cubic映射和logistic映射基础上,提出了一种新的二维离散映射,克服了混沌区间窄和参数少的问题,并利用改进的logistic映射对图像进行置乱,然后将置乱图像进行相邻像素间按位异或运算、交叉换位操作得到最终密文图像.仿真结果表明,该算法简单易执行,安全性好,抗攻击能力较强,效率高等特点.     

基于混合采样的设备健康状态预测方法研究

针对因设备健康状态样本数据不均衡严重影响对健康状态预测效果的问题,提出基于混合采样实现数据均衡、改善预测效果的思路,设计了基于混合采样方法的样本数据平衡流程。通过采用Borderline-SMOTE算法补充少数类样本数量,利用改进K-means算法对多数类样本进行删除,将冗余数据剔除后,形成较为均衡的数据集提供给分类器。实验数据显示,无论是对数据进行欠采样还是过采样,均可提升评价指标AUC和G-mean;采用混合采样对数据进行平衡,评价指标改善更加明显。结果表明,本方法可以明显提升设备健康状态的预测效果,对装备管理部门实现精准维修具有重要的参考价值。     

不均衡数据集中基于Adaboost的过抽样算法

为了提高不均衡数据集中少数类的分类性能，该文融合了提升和过抽样的优点，提出了基于提升算法Adaboost的过抽样算法MCMO-Boost，并且将其与决策树算法C4.5、提升算法Adaboost和过抽样算法SMOTE进行了实验比较与分析。结果表明，MCMO-Boost算法在少数类和数据集的总体分类性能方面都优于其它算法。     

基于交叉验证的BP算法的改进与实现

针对BP算法存在的收敛速度慢等问题提出改进方案,修改其相关参数并且提出如何选择合适的隐藏层节点个数.同时针对学习样本数据的有限性、BP算法易陷入局部最小值和容易出现过拟合等问题进行了研究,提出了采用多重交叉验证的再改进BP算法.仿真结果表明,交叉验证BP算法提高了网络学习的效率.     

基于Logistic回归的社区满意度模型

在论述顾客满意度模型是具有二分类因变量的非线性模型的基础上，提出一种基于Logistic回归的联立方程模型．首先采用因子分析法提取影响满意度和忠诚度的潜在变量；然后对它们满意与否、忠诚与否进行Logistic回归，建立一个递归联立方程模型；最后结合社区满意度实例进行了实证研究．     

基于logistic回归的学生成绩预测模型研究

本文提出了一种基于logistic回归的学生成绩预测模型,目的在于预测学生的成绩,寻找出影响学生成绩的关键因素,从而帮助管理者更好地管理学生。作者首先对学生历史数据中的特征进行了可视化分析,以了解数据的分布、相关性等信息;接着将数据集划分为训练集和测试集两部分,以便建立和评估预测模型,并在此基础上建立了一个logistic回归模型来预测学生成绩,同时对预测结果的准确率进行了评分;最后剔除了无关特征再次建模,对预测模型进行再次评估。结果表明,优化后的成绩预测模型的预测准确率有所提升,能够有效地预测学生成绩。     

如何用经验Logistic回归方法估计Rasch模型中参数

将经验Logistic回归方法用于项目反应理论中Rasch模型的参数估计，通过蒙特卡洛模拟表明这种方法对项目参数的估计较好，这种方法是对极大似然估计方法的不足的一种补充。     

基于同态加密的多分类Logistic回归模型

随着计算能力的发展,机器学习得到了广泛的应用,数据的安全问题也成为一个重要问题.同态加密技术可以在不泄露明文信息的情况下,对密文进行运算并在解密后得到与在明文上执行相应运算一致的结果.因此,同态加密是一种可行的有潜力的数据安全外包解决方案.为了解决现实生活中出现的多分类问题,本文基于Cheon等提出的HEAAN同态加密方案,提出了一种能有效保护数据隐私的多分类Logistic回归模型,采用"一对其余"的拆解策略,通过训练多个分类器,将二分类Logistic回归模型推广到多分类.数据持有者可以将数据加密后发送给服务器,服务器使用多分类Logistic回归模型对加密数据进行训练,并将结果传回数据持有者,数据持有者解密结果后可以用来对多分类数据进行预测,整个过程中不会有隐私被泄露.本文通过对UCI的Dermatology和Iris数据集进行了实验,测试模型的性能.Dermatology数据集包含358条样本, 34个特征属性,分为6个类别,训练时间约为36.70分钟,准确率达到77.18%,与明文计算的准确率一致.实验验证了本文的模型在效率和准确率方面的可行性.     

基于数据纵向分布的隐私保护逻辑回归

逻辑回归是机器学习的重要算法之一,为解决集中式训练方式不能保护隐私的问题,提出隐私保护的逻辑回归解决方案,该方案适用于数据以特征维度进行划分,纵向分布在两方情况下,两方进行协作式训练学习到共享的模型结构.两方在本地数据集上进行训练,通过交换中间计算结果而不直接暴露私有数据,利用加法同态加密算法在密文下进行运算保证计算安全,保证在交互中不能获取对方的敏感信息.同时,提供隐私保护的预测方法,保证模型部署服务器不能获取询问者的私有数据.经过分析与实验验证,在几乎不损失精度的前提下,该案可以在两方均是半诚实参与者情况下提供隐私保护.     

基于密度估计的逻辑回归模型

介绍了一种基于密度的逻辑回归（Density-based logistic regression,DLR）分类模型以解决逻辑回归中非线性分类的问题. 其主要思想是根据Nadarays-Watson密度估计将训练数据映射到特定的特征空间,然后组建优化模型优化特征权重以及Nadarays-Watson 密度估计算法的宽度. 其主要优点在于：它不仅优于标准的逻辑回归,而且优于基于径向基函数（Radial basis function,RBF）内核的核逻辑回归（Kernel logistic regression,KLR）. 特别是与核逻辑回归分析和支持向量机（Support vector machine,SVM）相比,该方法不仅达到更好的分类精度,而且有更好的时间效率. 该方法的另一个显著优点是,它可以很自然地扩展到数值类型和分类型混合的数据集中. 除此之外,该方法和逻辑回归（Logistic regression,LR）一样,有同样的模型可解释的优点,这恰恰是其他如核逻辑回归分析和支持向量机所不具备的.     

结合差分演化和逻辑回归的构音障碍自动识别方法

针对传统的构音障碍诊断方法存在耗时高、成本高等问题，提出一种构音障碍语音的计算机自动识别方法。结合Gammatone频率倒谱系数(Gammatone Frequency Cepstrum Coefficients, GFCC)与常用声学特征形成组合声学特征，应用差分演化算法进行特征选择，并使用逻辑回归分类器对构音障碍语音进行识别。将Torgo构音障碍语音数据库分成3个语音子集，分别是非词、短词语、限制句子集，提取24维GFCC和37维常用的声学特征构成组合声学特征，最后使用差分演化算法和逻辑回归分类器进行分类识别。实验表明：使用差分演化算法可以有效选择出具有更佳识别能力的特征，从而显著提高构音障碍识别率。在非词子集上的实验准确率达到98.18%，召回率为98.3%，精确率为98.3%。     

An Empirical Approach to Characterizing Risky Software Projects Based on Logistic Regression Analysis

During software development, projects often experience risky situations. If projects fail to detect such risks, they may exhibit confused behavior. In this paper, we propose a new scheme for characterization of the level of confusion exhibited by projects based on an empirical questionnaire. First, we designed a questionnaire from five project viewpoints, requirements, estimates, planning, team organization, and project management activities. Each of these viewpoints was assessed using questions in which experience and knowledge of software risks are determined. Secondly, we classify projects into “confused” and “not confused,” using the resulting metrics data. We thirdly analyzed the relationship between responses to the questionnaire and the degree of confusion of the projects using logistic regression analysis and constructing a model to characterize confused projects. The experimental result used actual project data shows that 28 projects out of 32 were characterized correctly. As a result, we concluded that the characterization of confused projects was successful. Furthermore, we applied the constructed model to data from other projects in order to detect risky projects. The result of the application of this concept showed that 7 out of 8 projects were classified correctly. Therefore, we concluded that the proposed scheme is also applicable to the detection of risky projects.     

基于逻辑回归的汽车造型品牌意象研究

针对汽车造型的品牌辨识需求,提出基于逻辑回归的品牌意象研究方法。以现代 品牌为例,首先进行设计师和消费者意象评价调研,创建样本车型的品牌意象评价是非和等级 矩阵。然后以造型元素和造型形式为自变量,以评价是非二元值和评价等级为因变量,分别创 建样本车型的二元逻辑回归和有序逻辑回归模型,确定现代品牌的特色造型元素和特征造型形 式。最后通过该品牌其他车型样本的消费者调研验证了结论的正确性。     

多元Logistic回归分析在基于黑客脚印的入侵检测中的应用

针对以往基于主机的入侵检测方法算法复杂、占用系统资源大的不足,介绍了一种轻量级的基于黑客脚印的检测方法,并将多元Logistic回归分析应用到远程攻击的检测中去,不仅可以有效地检测出入侵行为,而且可以降低入侵检测系统对系统资源的占用。     

一种基于多项式逻辑回归高光谱影像分类方法的改进

针对多项式逻辑回归分类器在参数寻优过程中精度提升不明显和运行速度缓慢的问题,提出一种利用DFP修正拟牛顿算法进行多项式逻辑回归参数求解的方法来提高多项式逻辑回归参数优化的效率,该算法以弦截法代替牛顿算法中的二阶Hessian矩阵,并采用DFP修正法不断修正。利用该算法对两幅高光谱影像进行分类实验,结果表明:与传统的多项式回归分类方法相比,该算法在分类精度和效率方面都有明显的改进。     

A Fast Dual Algorithm for Kernel Logistic Regression

This paper gives a new iterative algorithm for kernel logistic regression. It is based on the solution of a dual problem using ideas similar to those of the Sequential Minimal Optimization algorithm for Support Vector Machines. Asymptotic convergence of the algorithm is proved. Computational experiments show that the algorithm is robust and fast. The algorithmic ideas can also be used to give a fast dual algorithm for solving the optimization problem arising in the inner loop of Gaussian Process classifiers. Editor: Shai Ben-David