一种消除中文分词中交集型歧义的方法

切分速度和精度是中文分词系统的两个主要性能指标.针对传统的中文分词中出现的分词速度慢和分词精度不高的问题,采用了双层hash结构的词典机制来提升分词的速度,对于匹配结果中出现的交集型歧义字段,通过互信息的方法来消除,以提高分词精度.并对该分词系统进行了实现.通过与传统的中文分词系统的分词速度以及分词效果的对比,发现该系统在分词速度和精度上都有所进步,从而取得较好的分词效果.     

利用互信息学习贝叶斯网络结构

由数据构造贝叶斯网络结构是NP-难问题,因此提出了一种基于互信息的改进算法.该算法根据互信息构造初始框架,其次利用最大支撑树算法精简初始框架,并通过条件独立测试添加方向,最后利用贪婪算法得到最优网络结构.数值实验表明,改进算法无论是在B IC的得分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构.     

基于层次树模型的Deep Web数据提取方法

网络在成为信息查询和发布平台的同时,海量的信息隐藏在查询受限的Web数据库中,使得人们无法有效地获取这些高质量的数据记录.传统的Deep Web搜索研究主要集中在通过关键字接口获取Web数据库内容.但是,由于Deep Web具有多属性和top-k的特点,基于关键字的方法具有固有的缺点,这就为Deep Web查询和检索带来了挑战.为了解决这个问题,提出了一种基于层次树的Deep Web数据获取方法,该方法可以无重复和完整地提取Web数据库中的数据记录.该方法首先把Web数据库模型化为一棵层次树,Deep Web数据获取问题就转化为树的遍历问题.其次,对树中的属性排序,缩小遍历空间;同时,利用基于属性值相关度的启发规则指导遍历过程提高遍历效率.最后,在本地模拟数据库和真实Web数据库上的大量实验证明,这种方法可以达到很好的覆盖度和较高的提取效率.     

基于拉普拉斯特征映射的仿射传播聚类

仿射传播方法难以处理具有流形结构的数据集。为此,提出一种基于拉普拉斯特征映射的仿射传播聚类算法(APPLE),在标准仿射传播的基础上增强流形学习的能力。使用测地距离计算数据点间相似度,采用拉普拉斯特征映射对数据集进行降维及特征提取。对图像聚类应用的实验结果证明了APPLE的聚类效果优于标准仿射传播方法。     

基于最大熵的汉语短语结构识别方法

为提高计算机对汉语信息的处理能力,更好地进行浅层句法分析,提出一种基于最大熵的汉语短语结构识别方法.利用词语之间的互信息知识对句子的短语结构边界进行预测,应用最大熵模型建立原子模板与复合模板,选择有效的特征构成特征集,实现对句子短语结构的识别.实例证明,基于互信息的最大熵模型能取得较好的精确率和召回率.     

入侵检测中的数据约简研究

为解决入侵检测中的数据约简问题,提出一种基于粗糙集的入侵检测数据约简算法,其中包括特征选择与属性值约简。特征选择部分采用互信息的方法消除冗余特征,属性值约简部分采用归纳值约简算法消除冗余属性值。实验结果表明,该方法不仅能缩短训练及检测时间,减小数据存储代价,还能提高分类精确度。     

基于最小概率距离和改进PV插值的图像配准

提出一种基于最小概率距离和改进部分体积(PV)插值的图像配准方法。采用Powell优化算法迭代搜索对称KL距离的最小值,获取最小概率距离,将其作为配准测度,并利用改进的PV插值算法提高图像配准的鲁棒性。实验结果表明,与基于互信息的图像配准方法相比,该方法能有效地减少耗费时间,提高配准精度。     

一种改进的文本特征选择方法的研究与设计

分析了特征选择采用互信息方法时文本分类性能较低的原因,认为与其在特征选择时倾向于选择稀有特征这一缺陷有很大关系。在此基础上,提出了一种基于分散度和平均频度的互信息特征选择方法。实验结果表明,改进后的互信息方法使文本分类性能有明显提高。     

基于二次TF* IDF的互信息文本特征选择算法研究

在分析传统互信息法缺陷的基础上,提出一种基于二次TF*IDF的互信息特征选择算法,对仅在一个类别中出现的特征词的重要程度给予再次的衡量,解决了互信息值相等而无法进行有效特征选择的问题。利用贝叶斯分类器对该方法进行验证的结果表明该算法在文本分类效率和正确率上比原有方法有一定的提高。     

基于文档空间向量距离的查询扩展

查询扩展是信息检索中优化查询的一种有效方法。在分析几种基于互信息的查询扩展方法的基础上,将检索词在文档空间中的距离引入到互信息计算中,提出基于向量距离的改进互信息的查询扩展方法。实验结果表明,该方法能够有效提高信息检索中的查询效果。