软件可靠性预测的核函数方法

通过合理的假设和抽象,把软件可靠性预测问题转化成从高维空间向低维空间的非线性映射,采用核函数回归估计理论对软件失效时间数据之间的对应关系进行建模,在新建立的模型中,随着软件失效不断发生,模型参数将不断自动调整以适应失效过程的动态变化,从而实现软件可靠性的自适应预测,并对模型中核函数以及回归估计算法的选择进行了研究。最后,对14个软件失效数据集进行了实验分析,并对新建模型与部分其它模型的预测能力和适用能力进行了比较。     

软件可靠性预测的相关向量机模型

相关向量机是一种解决回归问题非常有效的方法,针对软件失效时间及其之前的m个失效时间数据使用相关向量机进行学习,以建立失效时间之间内在的依赖关系,由此构建新的基于相关向量机的软件可靠性预测模型.在4个数据集上的实验结果表明,新模型在预测能力上较之广泛使用的基于支持向量机或人工神经网络的软件可靠性预测模型有明显的提高,同时也表明现时失效数据的预测能力比很久之前观测的失效数据更强,最后通过实验对合理的m值及不同数据集上核函数参数取值进行研究.     

软件可靠性混沌神经网络模型

基于经验模态分解算法、混沌分析和神经网络理论提出了一种软件可靠性建模及预测的混沌神经网络模型。首先应用经验模态分解算法把软件失效数据序列分解成不同尺度的基本模态分量,并在此基础上进一步分析,表明软件失效数据是否存在混沌特性;再经神经网络进行组合预测,提高模型对目标函数的学习能力,有效提高预测精度;最后基于两组真实软件失效数据集,将所提出的方法与基于支持向量回归机以及单纯使用神经网络的软件可靠性预测模型进行比较分析。结果表明,基于混沌分析、结合经验模态分解和神经网络的软件可靠性预测模型具有更为显著的模型拟合能力与精确的预测效果。     

基于测度学习支持向量机的钢琴乐谱难度等级识别

现有钢琴乐谱难度分类主要由人工方式完成,效率不高,而自动识别乐谱难度等级的算法对类别的拟合度较低。因此,与传统将乐谱难度等级识别归结为回归问题不同,本文直接将其建模为基于支持向量机的分类问题。并结合钢琴乐谱分类主观性强、特征之间普遍存在相关性等特点,利用测度学习理论有难度等级标签乐谱的先验知识,依据特征对难度区分的贡献度,改进高斯径向基核函数,从而提出一种测度学习支持向量机分类算法——ML-SVM算法。在9类和4类难度两个乐谱数据集上,我们将ML-SVM算法与逻辑回归,基于线性核函数、多项式核函数、高斯径向基核函数的支持向量机算法以及结合主成分分析的各个支持向量机算法进行了对比,实验结果表明我们提出算法的识别正确率优于现有算法,分别为68.74%和84.67%。所提算法有效提高了基于高斯径向基核函数支持向量机算法在本应用问题中的分类性能。     

单核和多核相关向量机的比较研究

针对相关向量机中的核函数选择问题进行研究,对高斯核函数进行改进,提出修正的高斯核函数方法,并比较改进的高斯核函数与普通高斯核函数的特性,证明提出的核函数的优良特性。在对单一核函数改进的基础上,进行多核相关向量机核函数的研究,结合局部性高斯核函数和全局性多项式核函数形成混合核函数,并运用于相关向量机。在不同大小的数据集上对几种核函数进行对比实验,验证修正的高斯核函数及混合核函数的性能。     

基于自适应核参数优化的小波核相关向量机算法

传统相关向量机算法在处理大规模数据集时训练速度较慢,并且高斯径向核无法完备表示特征空间。为此,基于自适应核参数优化,提出一种小波核相关向量机算法。以小波核作为基函数,在训练中,采取增量学习流程实现各个小波核参数的快速自适应优化。将提出算法应用于混沌时间序列预测及UCI数据集分类实验,结果表明,自适应参数优化小波相关向量机算法在预测精度、训练速度上均优于传统相关向量机算法。     

一种新的回归型约简多分辨率相关向量机

提出一种新的稀疏贝叶斯回归算法.基于相关向量机,首先通过尺度核和小波核构造完备基以提高预测精度;然后利用保局投影对输入矩阵的列进行主成分提取以减少训练时间,从而形成算法的初步模型.为进一步减小较大规模训练数据集的回归时间压力,算法对训练数据集的分层采样建立了初步模型,进而产生实际较小规模的训练数据集.实验结果表明,算法在预测精度和鲁棒性上优于传统支持向量机和相关向量机,且其训练时间较相关向量机少.     

基于正交多项式的核函数性质研究

核函数及其参数的选择是支持向量机(SVM)研究中的一个核心问题.正交多项式的正交性和可变性使其可以构造通用核函数以代替多项式核、高斯核等常用核函数.基于正交多项式构造核函数的参数仅在自然数中取值,因而能较大地简化核参数的选择.分析基于切比雪夫多项式、埃尔米特多项式、勒让德多项式及拉盖尔多项式构造的6类正交多项式核函数的性质,并在多个数据集上对比这些核函数的鲁棒性和泛化性,所得结论可为选择这些核函数进行支持向量分类提供理论依据和技术支持.     

一种基于各向异性高斯核核惩罚的PCA特征提取算法

提出了一种基于各向异性高斯核核惩罚的主成分分析的特征提取算法.该算法不同于传统的核主成分分析算法.在非线性数据降维中,传统的核主成分分析算法忽略了原始数据的无量纲化.此外,传统的核函数在各维度上主要由一个相同的核宽参数控制,该方法无法准确反映各维度不同特征的重要性,从而导致降维过程中准确率低下.为了解决上述问题,首先针对现原始数据的无量纲化问题,提出了一种均值化算法,使得原始数据的总方差贡献率有明显的提高.其次,引入了各向异性高斯核函数,该核函数每个维度拥有不同的核宽参数,各核宽参数能够准确地反映所在维度数据特征的重要性.再次,基于各向异性高斯核函数建立了核主成分分析的特征惩罚目标函数,以便用较少的特征表示原始数据,并反映每个主成分信息的重要性.最后,为了寻求最佳特征,引入梯度下降算法来更新特征惩罚目标函数中的核宽度和控制特征提取算法的迭代过程.为了验证所提出算法的有效性,各算法在UCI公开数据集上和KDDCUP99数据集上进行了比较.实验结果表明,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法在9种公开的UCI公开数据集上准确率平均提高了4.49%.在KDDCUP99数据集上,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法准确率提高了8%.     

组合核相关向量机的软件可靠性预测模型

可靠性作为衡量软件质量的一种重要特性,对软件管理具有重要的意义。针对单一核函数的缺陷,提出一种组合核函数相关向量机的软件可靠性预测模型。首先对当前软件可靠性研究现状进行分析,然后采用组合核函数相关向量机对训练集进行学习和建模,最后通过具体实例对模型的预测性能进行分析。结果表明,本模型获得了理想的软件可靠性预测结果,且其预测性能要优于单一核函数模型,在软件可靠性预测中有重要的应用价值。     

普适性核度量标准比较研究

核方法是一类应用较为广泛的机器学习算法,已被应用于分类、聚类、回归和特征选择等方面.核函数的选择与参数优化一直是影响核方法效果的核心问题,从而推动了核度量标准,特别是普适性核度量标准的研究.对应用最为广泛的5种普适性核度量标准进行了分析与比较研究,包括KTA,EKTA,CKTA,FSM和KCSM.发现上述5种普适性度量标准的度量内容为特征空间中线性假设的平均间隔,与支持向量机最大化最小间隔的优化标准存在偏差.然后,使用模拟数据分析了上述标准的类别分布敏感性、线性平移敏感性、异方差数据敏感性,发现上述标准仅是核度量的充分非必要条件,好的核函数可能获得较低的度量值.最后,在9个UCI数据集和20Newsgroups数据集上比较了上述标准的度量效果,发现CKTA是度量效果最好的普适性核度量标准.     

内核脱钩技术在检测rootkit木马信息隐藏中的应用

简要讨论了Windows内核系统服务调用机制,分析了基于rootkit技术的木马通过内核态挂钩SystemServiceDispatch-Table隐藏各种敏感信息的一般原理.在检测SystemServiceDispatchTable挂钩隐藏注册表键值的基础上,提出两种内核检测脱钩方法,实现了对rootkit挂钩的有效检测与脱钩,确保了系统荻取注册表等敏感信息的完整性.     

一种新的混合核函数支持向量机

针对单核函数支持向量机性能的局限性问题,提出将sigmoid核函数与高斯核函数组成一种新的混合核函数支持向量机.高斯核是典型的局部核;sigmoid核在神经网络中被证明具有良好的全局分类性能.新混合核函数结合二者的优点,其支持向量机的分类性能优于由单核函数构成的支持向量机,实验结果表明该方法的有效性.     

A set of new Chebyshev kernel functions for support vector machine pattern classification

In this study, we introduce a set of new kernel functions derived from the generalized Chebyshev polynomials. The proposed generalized Chebyshev polynomials allow us to derive different kernel functions. By using these polynomial functions, we generalize recently introduced Chebyshev kernel function for vector inputs and, as a result, we obtain a robust set of kernel functions for Support Vector Machine (SVM) classification. Thus in this study, besides clarifying how to apply the Chebyshev kernel functions on vector inputs, we also increase the generalization capability of the previously proposed Chebyshev kernels and show how to derive new kernel functions by using the generalized Chebyshev polynomials. The proposed set of kernel functions provides competitive performance when compared to all other common kernel functions on average for the simulation datasets. The results indicate that they can be used as a good alternative to other common kernel functions for SVM classification in order to obtain better accuracy. Moreover, test results show that the generalized Chebyshev kernel approaches to the minimum support vector number for classification in general.     

多核模糊聚类

针对单核聚类的性能局限性问题,提出将高斯核、Sigmoid核以及多项式核等多种核组成一种新的多核函数,并利用于模糊核进行聚类。高斯核在聚类中有广泛应用,同时Sigmoid核在神经网络中被证明具有很好的全局分类性能。将不同的核函数组合起来的多核函数将结合各种核函数的优点,其聚类性能优于利用单核的模糊核聚类（KFCM）,实验结果表明了该方法的有效性。     

基于随机傅里叶特征空间的高斯核近似模型选择算法

核方法是一种把低维空间的线性不可分问题转化为高维空间中线性可分问题的方法,其广泛应用于多种学习模型。然而现有的核模型选择方法在大规模数据中计算效率较低,时间成本很大。针对这一问题,本文引入随机傅里叶特征变换,将原始核特征空间转换为另一个相对低维的显式随机特征空间,并给出核近似误差上界理论分析以及在核近似的随机特征空间中训练学习模型的误差上界,得到核近似的收敛一致性和误差上界与核近似参数之间的关系。基于随机傅里叶特征空间选择出最优模型参数,避免了对最优原始高斯核模型参数的大规模搜索,从而大幅降低原始高斯核模型选择所需的时间成本。实验表明,本文给出的误差上界确由核近似参数控制,核近似选择的最优模型相较于原始高斯核模型有较高的准确率,并且模型选择时间相对网格搜索法大幅减小。     

基于多核融合的中文领域实体关系抽取

针对传统径向基核函数的训练矩阵中所有元素都十分接近零而不利于分类的问题,该文提出了一种融合了改进的径向基核函数及其他核函数的多核融合中文领域实体关系抽取方法。利用径向基核函数的数学特性,提出一种改进的训练矩阵,使训练矩阵中的向量离散化,并以此改进的径向基核函数融合多项式核函数及卷积树核函数,通过枚举的方式寻找最优的复合核函数参数,并以上述多核融合方法与支持向量机结合进行中文领域实体关系抽取。在旅游领域的语料上测试,相对于单一核方法及传统多核融合方法,关系抽取性能得到提高。     

基于连通核的鲁棒模糊C-均值聚类算法

提出一种新的鲁棒核模糊C-均值聚类算法.将连通核与AFCM(Alternative fuzzy C-means)聚类算法相结合,给出基于连通核的核AFCM:CRKFCM(Connectivity kernel based robust fuzzy C-means).CRKFCM一方面有效地利用了连通核,可以对任意形状数据聚类,且避免了核参数的选取问题;另一方面在特征空间使用非欧氏距离,可以有效地处理含噪声数据的聚类问题.实验结果表明,与原有的AFCM和连通核硬C-均值(CKHCM,Connectivity kernel based hard C-means)聚类算法相比,新算法在处理噪声环境中的任意形状聚类问题方面更有效.     

Intra-sentence segmentation based on support vector machines in English–Korean machine translation systems

This work is about intra-sentence segmentation performed before syntactic analysis of long sentences composed of at least 20 words in an English–Korean machine translation system. A long sentence has been known to spend enormous computational time and space when it is analyzed syntactically. It can also produce poor translation results. To resolve this problem, we partitioned a long sentence into a few segments to analyze each segment separately. To partition the sentence, firstly, we tried to find candidates for each segment position in the sentence. We then generated input vectors representing lexical contexts of the corresponding candidates and also used the support vector machines (SVM) algorithm to learn and recognize the appropriate segment positions. We used three kernel functions, the linear kernel, the polynomial kernel and the Gaussian kernel, to find optimal hyperplanes classifying proper positions and we compared results obtained from each kernel function. As a result of the experiments, we acquired 0.81, 0.83, and 0.79 f-measure values from the linear, polynomial and Gaussian kernel, respectively.     

基于欧式距离的一种新的核函数

支持向量机表现的好坏很大程度上取决于核函数的选取,因此最近几年关于核函数的研究有许多。越来越多的核函数也被提了出来!但是选取合适的核函数往往却不容易,因为数据的特征往往不知道。文中利用函数的Taylor展开思想,提出了一种新的核函数,叫T—KMOD,基于KMOD提出的。该核函数的灵活性更好,可以处理很多分类的问题。用网络入侵的数据对该核函数进行了仿真,从仿真的结果可以看出,和一些常用的核函数相比,它的鲁棒性更好,有更强的分类能力。同时该函数的分类效果更好。所以该核函数和一般常用的核函数相比,可能更具有一般选择性。