权重自适应调整的多分类器集成判决及其在文本分类中的应用

1 引言近年来,多分类器的组合方法已成为模式识别研究的热点问题,并已在模式识别的多个应用方面,如字符识别、目标识别、文本分类等领域获得了较好的应用效果。多分类器组合方法的基本假设是:对一个需要专家进行的任务,k个专家个人判断的有效组合应该优于个人的判断。利用具有不同特性和性能的多分类器,通过进行有效的组合可以获得更高的模式识别性能。     

基于异构分类器集成的增量学习算法

将集成学习的思想引入到增量学习之中可以显著提升学习效果,近年关于集成式增量学习的研究大多采用加权投票的方式将多个同质分类器进行结合,并没有很好地解决增量学习中的稳定-可塑性难题。针对此提出了一种异构分类器集成增量学习算法。该算法在训练过程中,为使模型更具稳定性,用新数据训练多个基分类器加入到异构的集成模型之中,同时采用局部敏感哈希表保存数据梗概以备待测样本近邻的查找;为了适应不断变化的数据,还会用新获得的数据更新集成模型中基分类器的投票权重;对待测样本进行类别预测时,以局部敏感哈希表中与待测样本相似的数据作为桥梁,计算基分类器针对该待测样本的动态权重,结合多个基分类器的投票权重和动态权重判定待测样本所属类别。通过对比实验,证明了该增量算法有比较高的稳定性和泛化能力。     

基于置信度的多分类器互补集成手写数字识别

离线手写数字识别是光学字符识别的一个重要分支,在银行票据识别、邮政编码识别等领域有着广泛的应用。由于单一分类器在识别率上很难达到要求,人们提出了各种集成分类器识别方案。通过对离线手写数字的特征提取,从特征互补的角度出发,采用了最小距离分类器、树分类器和BP网络分类器进行多分类器互补集成,提出了基于置信度的多分类器互补集成方法。通过实验对比,基于置信度的多分类器互补集成手写数字识别在识别率和识别速度上达到了满意的结果。     

基于类别信息的分类器集成方法Cagging

提出一种基于类别信息的分类器集成方法Cagging.基于类别信息重复选择样本生成基本分类器的训练集,增强了基本分类器之间的差异性;利用基本分类器对不同模式类的分类能力为每个基本分类器设置一组权重.使用权重对各分类器输出结果进行加权决策,较好地利用了各个基本分类器之间的差异性.在人脸图像库ORL上的实验验证了Cagging的有效性.此外,Cagging方法的基本分类器生成方式适合于通过增量学习生成集成分类器,扩展Cagging设计了基于增量学习的分类器集成方法Cagging-Ⅰ,实验验证了它的有效性.     

基于词频分类器集成的文本分类方法

提出了一种基于词频分类器集成的文本分类方法．词频分类器是在对文本中的单词和它在每个文本中出现的频率进行统计后得到的简单分类器．虽然词频分类器本身泛化能力不强,但它不仅计算代较小,而且在训练样本甚至类别增加时易于进行更新,而整个学习系统的泛化能力可以由集成学习机制来提高,因此,词频分类器很适合用做集成学习的基分类器．在集成时,使用了改进的AdaBoost算法,加入了一种强制重新分布权的机制,避免算法过早停止,更加适合文本分类任务．在标准文集Reuters-21578上的实验结果表明,该方法能取得很好的效果．     

最优递归线性姿态估计算法

最优线性姿态估计算法以罗格里斯参数作为姿态描述,具有计算量小、精度高等优点.但它是一种基于单点信息的估计算法.提出一种递归思想,整合当前时刻以及历史时刻的多点测量信息,根据最优判定函数建立不同时间节点上测量数据间的数学模型关系,对单点算法中的关键元素M和z进行迭代设计,并由此推导出一种新的递归姿态估计算法.仿真结果表明,最优递归线性姿态估计算法在航天器稳定慢速机动的情况下,解算精度要显著优于单点的最优线性姿态估计算法.     

一种改进的基于音节循环的置信度判决方法

为获得较为鲁棒的识别性能,一般的语音识别系统中都会在后端加入一个置信度判决模块,以实现识别错误检测和集外词拒识等功能。针对命令词语音识别系统,传统的基于Filler模型的置信度方法由于自身模型结构的限制,性能相对有限,尤其是对集外词的检测效果不好。为此,使用了一种基于音节循环的置信度判决方法,并对该方法的解码网络进行精简,以满足实用化的效率要求。在中文命令词测试集上的实验结果表明,该方法相对于基于Filler模型的置信度方法对识别效果与识别效率都有了较大的提升。     

一种基于QoS的自主通信最优判决策略

论述自主通信的基本组成和功能,将自主通信系统看成一个由采集、分析、判决和动作行为4个单元组成的特殊反馈控制系统,着重分析判决单元。基于QoS研究一种多控制变量、多观测变量马尔可夫最优判决策略。仿真结果表明,采用马尔可夫最优判决策略可以提高系统自适应网络环境变化的能力。     

基于自适应距离度量的分类器设计方法

通过对欧氏距离度量的分析,提出了自适应距离度量.首先利用训练样本建立自适应距离度量模型,该模型保证了训练样本到相同模式类的距离最近,到不同模式类的距离最远,根据该模型建立目标函数,求解目标函数,得到最优权重.基于最小距离分类器和K近邻分类器,采用UCI标准数据库中部分数据,对提出的自适应距离度量和欧氏距离度量进行了实验比较,实验结果表明自适应距离度量更有效.     

基于网络与统计方法的集成分类器及其应用

分析了各单一方法的分类性能,提出了神经网络与统计方法相集成的策略,由此提出MLFN-CCA-Fisher集成分类器。通过网络的自适应学习,将原样本模式经加权S型变换,映射到新的模式空间,能被线性分类,然后用相关成分分析方法提取特征,再建立Fisher判别模型。在性能测试与实际应用中,集成分类器均取得了良好的效果。     

多分类器的一种动态联合方法

多分类器联合是解决复杂模式识别问题的有效办法。对于多分类器联合,一个关键的问题是如何对每个分类器的分类性能作出可靠性估计。以往提出的方法是利用各个分类器在训练阶段得到的知识来判断决策的可靠性,这些方法都需要大量的存储空间,并且没有考虑到分类器在分类过程中,由于输入样本的质量变化从而分类性能也会改变。文章提出了一种分类器的动态联合方法,该方法直接利用分类器的输出信息来估计分类器的可靠性。实验结果表明,比较传统的联合方法,该方法是一种有效的联合方法。     

基于置信度的手写体数字识别多分类器动态组合

多分类器组合利用不同分类器、不同特征之间的互补性,提高了组合分类器的识别率。传统的组合方法里,各分类器在组合中所承担的角色是固定的,而实际应用中,对于不同的测试样本,每个分类器识别结果的可信度是不同的。该文根据分类器置信度理论,提出了各类别的置信度。用测试样本自身的置信度信息实现分类器的动态组合,并把这种动态组合方法具体应用到手写体数字的识别。这种方法还可以在不影响已有数据的情况下添加新的分类器进行组合。     

离散时间线性系统最优控制的遗传算法实现

本文提出了求解控制变量受区间约束情形的离散时间线性系统最优控制的遗传算法,在遗传算法框架下给出了离散时间线性系统最优控制问题可行解的编码及初始化方法,设计了选择、交叉、变异等遗传算子,并对初始化方法及各种遗传算子的可行性给出理论分析。     

Reject Strategies Driven Combination of Pattern Classifiers

This article deals with the combination of pattern classifiers with two reject options. Such classifiers operate in two steps and differ on the managing of ambiguity and distance rejection (independently or not). We propose to combine the first steps of these classifiers using concepts from the theory of evidence. We propose some intelligent basic probability assignment to reject classes before using the combination rule. After combination, a decision rule is proposed for classifying or rejecting patterns either for distance or for ambiguity. We emphasize that rejection is not related to a lack of consensus between the classifiers, but to the initial reject options. In the case of ambiguity rejection, a class-selective approach has been used. Some illustrative results on artificial and real data are given. Received: 21 November 2000, Received in revised form: 25 October 2001, Accepted: 26 November 2001     

应用分类器组合模型进行岩性识别

为了达到应用模式识别对储层岩性进行准确的识别,根据不同性质分类器的组合可以较全面描述一个模式从而降低识别错误及增强识别鲁棒性这种特性,结合模糊数学中的隶属度实现了多个分类器的定量组合.应用了几种不同的分类器进行组合,同时应用某油田的岩性识别作为实例进行验证,并与单个分类器进行比较,结果表明在间等条件下组合分类器的性能要比单个分类器的性能要好得多.这说明了应用不同性质的分类器进行组合识别的分类方法足可行性和有效性.     

Optimal decision for the target value of performance-based structural system reliability

The optimal decision model of the target value of performance-based structural system reliability is established according to the cost-effectiveness criterion in the present paper. Three types of optimal decision models are studied: the conceptive model, the parameter programming model and the constraint relaxation model. The conceptive model is inoperable because the objective function must be expressed as the function of the structural target reliability. The parameter programming and constraint relax models are proved to be equivalent with Kuhn–Tucker conditions when the performance-based structural system reliability constraints are all active. Finally the numerical examples of RC-frames for different earthquake-resistant performance are calculated. Received February 5, 2000     

A Framework for Optimal Correction of Inconsistent Linear Constraints

The problem of inconsistency between constraints often arises in practice as the result, among others, of the complexity of real models or due to unrealistic requirements and preferences. To overcome such inconsistency two major actions may be taken: removal of constraints or changes in the coefficients of the model. This last approach, that can be generically described as model correction is the problem we address in this paper in the context of linear constraints over the reals. The correction of the right hand side alone, which is very close to a fuzzy constraints approach, was one of the first proposals to deal with inconsistency, as it may be mapped into a linear problem. The correction of both the matrix of coefficients and the right hand side introduces non linearity in the constraints. The degree of difficulty in solving the problem of the optimal correction depends on the objective function, whose purpose is to measure the closeness between the original and corrected model. Contrary to other norms, that provide corrections with quite rigid patterns, the optimization of the important Frobenius norm was still an open problem. We have analyzed the problem using the KKT conditions and derived necessary and sufficient conditions which enabled us to unequivocally characterize local optima, in terms of the solution of the Total Least Squares and the set of active constraints. These conditions justify a set of pruning rules, which proved, in preliminary experimental results, quite successful in a tree search procedure for determining the global minimizer.     

基于Borda规则的分类器组合方法及其在手写字符识别中的应用

提出了一种基于Borda规则的分类器组合方法。该方法将分类器组合问题看成多目标多人决策问题,是一种基于类别排序的方法。在标准手写数字数据集上对该算法进行了实验研究,证实该算法的识别率较单个分类器有明显提高,具有深入研究的价值。     

线性二次型最优控制闭环系统极点的必要条件

本文推导了线性二次型(LQ)最优控制闭环系统极点应满足的必要条件,以及与加权阵Q和R的等式关系。     

一种有效的证据理论合成公式

D-S证据理论是一种有用的不确定性推理方法,由于证据合成公式存在不足,影响了证据理论的应用。本文提出了一种有效的合成公式,即把支持证据冲突的概率按各个命题的平均支持程度加权进行分配。新的合成公式提高了合成结果的可靠性与合理性,即使对于高度冲突的证据,也能够取得理想的合成结果。