基于拓扑信息加速马尔科夫毯学习

目标变量的马尔科夫毯（MB）是用于预测其状态的最优特征子集。提出一种新的约束学习类MB推导算法FSMB,它遵循后向选择的搜索策略,并依赖条件独立（CI）测试删除任意结点对之间的伪连接。与传统约束学习类算法不同,FSMB能从已执行的CI测试推导出不同结点扮演d 分割（d separation）结点的优先等级;而后基于该信息在未来优先执行条件集中包含高优先级结点的CI测试,从而更快速地判断并删除伪连接边。该策略可帮助快速缩小搜索空间,从而大大提升学习效率。基于仿真网络的实验研究显示,FSMB在计算效率上较经典的PCMB和IPC MB有显著的提升,而学习效果相当;在面对较大网络结构时（比如100和200个结点）,甚至比公认最快速的IAMB还节省近40%的计算量,但学习效果要远优于IAMB。基于16个UCI数据集和4个经典的分类模型的实验显示,基于FSMB输出的特征集合所训练模型的分类准确率普遍接近或高于基于原有特征全集训练所得模型。因此,FSMB是快速且有效的MB推导算法。     

多维贝叶斯网络分类器结构学习算法

传统多维贝叶斯网络分类器(MBNC)限制其模型结构必须是二分的,通过移除该限制可得到更准确的对关联分布建模的通用MBNC(GMBNC)。基于局部马尔可夫毯的迭代搜索,提出可准确学习GMBNC的算法IPC-GMBNC。该算法由于无需学习全局贝叶斯网络(BN),可扩展性强。基于已知贝叶斯网络模型而随机生成的数据上所执行的实验显示,IPC-GMBNC可有效推导出目标结构;而且与传统的全局结构学习算法PC相比,IPC-GMBNC可节省大量的计算量。     

基于马尔科夫毯网络的客户流失分析

贝叶斯网络是研究变量之间预测能力的有力工具,在解决不确定性和不完整性问题以及处理复杂问题上有很大的优势。作为朴素贝叶斯网络的扩展,马尔科夫毯贝叶斯网络只依据对输出结果有显著影响的输入变量进行分类预测,是一种更为理想的解决方案。利用马尔科夫毯贝叶斯网络进行流失客户分析,挖掘导致流失的客户特征,从而辅助决策者制订相应的客户挽留策略。     

基于样本重叠与近似马尔可夫毯的特征选择算法

随着信息技术的快速发展,数据中的高维特征极大地增加了产生冗余特征的可能性,冗余特征不仅导致搜索空间增大,而且影响了分类的准确率。针对现有的特征选择算法难以解决高维特征选择问题,提出了基于样本重叠与近似马尔可夫毯的特征选择算法(samples overlapping based modified Markov blanket, SOMMB)。该算法首先融合最大信息系数与改进强近似马尔可夫毯去除冗余特征;其次采用样本重叠策略指导前向搜索的过程,选取相关特征。该算法在10个公开数据集上与目前流行的PGVNS、FCBF-MIC、CFS、mRMR、RF、CBFS、ReliefF以及FFSG算法进行对比实验,SOMMB算法的平均准确率为82.519%,对比FFSG获得的最高准确率提升了4.214%,表明SOMMB算法可以提高分类精度。     

基于Markov毯分解的抽样近似推理算法

现有的贝叶斯推理算法不同程度地存在推理精度低或推理时间长的问题。文中提出一种基于Markov毯分解的抽样近似推理算法(LSIA-MB)。LSIA-MB算法利用HITON_MB算法寻找查询结点的Markov毯, 进而利用动态规划方法学习边的后验概率, 确定变量之间的因果关系, 获得一个关于查询结点的Markov局部网络模型。最后, 在Markov局部模型上执行Gibbs Sampling。通过对Markov局部模型的抽样, 极大降低推理的计算维数。同时, 由于Markov局部网络模型包含与目标结点相关的完整信息, 从而保证局部抽样推理的精度。算法分析和在标准Alarm网的实验结果均表明, LSIA-MB算法降低推理时间, 且提高推理精度。LSIA-MB算法在上海股票交易网络上的推理预测结果显示出较强的实用性。     

逻辑马尔可夫决策编程和关系马尔可夫决策编程若干最新进展

逻辑马尔可夫决策过程和关系马尔可夫决策过程的引入,使得人们可能简洁地、陈述地表达复杂的马尔可夫决策过程。本文首先介绍有关逻辑马尔可夫决策过程和关系马尔可夫决策过程的概念,然后重点介绍它们与普通的马尔可夫决策过程根本不同的一些算法：①依赖于基本状态空间RL的转换法;②把Bellman方程推广到抽象状态空间的方法;③利用策略偏置空间寻求近似最优策略方法。最后对它们的研究现状进行总结及其对它们发展的一些展望。     

基于贝叶斯网络的马尔科夫毯预测学习

研究变量之间的预测能力在许多领域都有重要意义,通过这种研究,能够揭示变量之间的制约机制,贝叶斯网络是研究变量之间预测能力的有力工具.本文使用依赖分析方法建立基于贝叶斯网络的马尔科夫毯预测,其核心问题是贝叶斯网络结构学习.目前,基于依赖分析的贝叶斯网络结构学习方法主要存在三个问题:(1)需要进行大量的高维条件概率计算,(2)容易丢失弱联合依赖边,(3)对边的方向的确定具有局限性.针对这些问题,本文提出了首先进行递推条件独立性检验,然后进行因果语义定向,最后进行冗余边检验的贝叶斯网络结构学习方法.该方法能够有效地避免这些问题,更准确地建立马尔科夫毯预测.     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

运用逻辑回归算法分析银行营销数据

近年来,机器学习和数据挖掘成为大数据领域的一个重要研究热点.Spark并行处理框架是一个当今高速发展应用广泛的生态系统,是专为大规模数据处理而设计的快速通用的计算引擎.本文尝试使用逻辑回归算法,使用Spark对银行营销数据进行建模分析,根据得到的模型预测客户是否订阅存款业务.     

基于旋转粒化的逻辑回归算法

逻辑回归（LR）作为监督学习的二元分类广义线性分类器,在处理线性数据方面表现出结构简单、解释性强,拟合效果好的特点。然而,当面对高维、不确定性和线性不可分数据时,逻辑回归的分类效果受到限制。针对逻辑回归的固有缺陷,引入粒计算理论,借助粒化的优势提出一种新型的逻辑回归模型：旋转粒逻辑回归。通过引入旋转粒化理论,在特征两两组合形成的平面坐标系上旋转不同角度,构建旋转粒子,多平面坐标系上粒化构造旋转粒向量。进一步定义粒的大小、度量和运算规则,提出旋转粒逻辑回归的损失函数。通过求解损失函数,得到旋转粒逻辑回归的优化解。最后,采用多个UCI数据集进行实验,从多个评价指标比较的结果表明旋转粒逻辑回归模型的有效性。     

基于多重回归分析的DV-HOP定位算法研究*

针对无线传感器网络中已有DV-HOP定位算法节点定位精度不高的问题,提出了一种RSDV-HOP（RSSI and statistics DV-HOP）算法。该算法运用统计学中的多重回归分析方法,通过对锚节点信息建立的回归模型,运用到全网中实现对未知节点的定位。仿真结果表明,RSDV-HOP算法在定位精度上相比DV-HOP算法有明显的提高。     

基于粒子群算法的Logistic回归模型参数估计

针对Logistic回归模型中的参数估计计算复杂难题,提出一种基于粒子群优化算法（PSO）的估计方法。以最大似然准则作为粒子群优化算法的适应度函数,建立了Logistic回归模型中的参数估算模型。数值仿真分析表明,粒子群优化算法可以更精确地计算出相关参数。     

Strong approximate Markov blanket and its application on filter-based feature selection

In feature selection problems, strong relevant features may be misjudged as redundant by the approximate Markov blanket. To avoid this, a new concept called strong approximate Markov blanket is proposed. It is theoretically proved that no strong relevant feature will be misjudged as redundant by the proposed concept. To reduce computation time, we propose the concept of modified strong approximate Markov blanket, which still performs better than the approximate Markov blanket in avoiding misjudgment of strong relevant features. A new filter-based feature selection method that is applicable to high-dimensional datasets is further developed. It first groups features to remove redundant features, and then uses a sequential forward selection method to remove irrelevant features. Numerical results on four benchmark and seven real datasets suggest that it is a competitive feature selection method with high classification accuracy, moderate number of selected features, and above-average robustness.     

基于互信息的贝叶斯网络结构学习算法

结构学习是贝叶斯网络的重要分支之一,而由数据学习贝叶斯网络是NP-完全问题,提出了一个由数据学习贝叶斯网络的改进算法。该算法基于互信息知识构造初始无向图,并通过条件独立测试对无向边添加方向;同时提出了一个针对4节点环和5节点环的局部优化方法来构造初始框架,最后利用贪婪搜索算法得到最优网络结构。数值实验结果表明,改进的算法无论是在BIC评分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构。     

基于逻辑回归的微博用户可信度建模

针对微博虚假用户问题,以新浪微博为研究平台,对微博用户的行为进行分析,从在线时长、发帖时间、互动程度等方面,提取用于区分用户类别的特征变量,运用逻辑回归算法,提出一个基于逻辑回归的微博用户可信度评价模型。实验结果表明,该模型能够对传统的虚假用户“僵尸粉”进行识别,对新型虚假用户有较高的识别率,可以根据置信值的大小对用户进行大致分类,实用性较强。     

基于内点法的稀疏逻辑回归财务预警模型

逻辑回归已广泛应用于财务危机建模,但是一定程度存在过拟合问题.为了避免建模出现上述问题,提出了基于L1正则化逻辑回归的财务预警模型.该模型是一种稀疏模型,能同时实现变量选择和参数估计,具有较强的鲁棒性.同时,针对L1正则化逻辑回归问题的求解,提出了一种高效的基于内点法的求解算法.结合沪深股市A股制造业上市公司进行实证分析,分析结果表明,L1正则化逻辑回归模型在预报精度、经济解释性等方面明显优于其他逻辑回归模型,并且提出的内点法与其它求解算法相比具有一定的优越性.     

A logistic regression model for Semantic Web service matchmaking

Semantic Web service matchmaking,as one of the most challenging problems in Semantic Web services (SWS),aims to filter and rank a set of services with respect to a service query by using a certain matching strategy.In this paper,we propose a logistic regression based method to aggregate several matching strategies instead of a fixed integration (e.g.,the weighted sum) for SWS matchmaking.The logistic regression model is trained on training data derived from binary relevance assessments of existing test collections,and then used to predict the probability of relevance between a new pair of query and service according to their matching values obtained from various matching strategies.Services are then ranked according to the probabilities of relevance with respect to each query.Our method is evaluated on two main test collections,SAWSDL-TC2 and Jena Geography Dataset(JGD).Experimental results show that the logistic regression model can effectively predict the relevance between a query and a service,and hence can improve the effectiveness of service matchmaking.     

Predicting the type of pregnancy using artificial neural networks and multinomial logistic regression: a comparison study

Some medical and epidemiological surveys have been designed to predict a nominal response variable with several levels. With regard to the type of pregnancy there are four possible states: wanted, unwanted by wife, unwanted by husband and unwanted by couple. In this paper, we have predicted the type of pregnancy, as well as the factors influencing it using two different models and comparing them. Regarding the type of pregnancy with several levels, we developed a multinomial logistic regression and a neural network based on the data and compared their results using three statistical indices: sensitivity, specificity and kappa coefficient. Based on these three indices, neural network proved to be a better fit for prediction on data in comparison to multinomial logistic regression. When the relations among variables are complex, one can use neural networks instead of multinomial logistic regression to predict the nominal response variables with several levels in order to gain more accurate predictions.