基于信任权学习的在线分类算法

鉴于高斯过程对处理高维数、小样本、非线性等复杂问题具有较好的适应性,将其引入到在线分类器学习算法中,形成一种新型的在线分类算法,即信任权算法。该算法的信任权超参数为模型向量的高斯分布,每训练一次样本就修正一次模型向量的信任权,并使样本正确分类的概率在某个特定信任域内。采用人工和实际数据进行实验,结果表明信任权算法优于传统的感知器算法。     

权核Logistic回归模型的分类和特征选择算法

监督学习情况下,经常遇到样例的维数远远大于样本个数的学习情况。此时,样例中存在许多与样例类标签无关的特征,研究如何同时实现稀疏特征选择并具有更好的分类性能的算法具有优势。提出了基于权核逻辑斯蒂非线性回归模型的分类和特征选择算法。权对角矩阵的对角元素在0到1之间取值,对角元素的取值作为学习参数由最优化过程确定,讨论了提出的快速轮转优化算法。提出的算法在十个实际数据集上进行了测试,实验结果显示,提出的分类算法与L1,L2,Lp正则化逻辑斯蒂模型分类算法比较具有优势。