基于信息元的教学资源组织系统设计与实现 *

以文本类型教学资源为研究对象,在领域知识可拓信息网模型和CELTS-3的基础上,阐述了基于信息元的教学资源组织系统设计与实现过程,包括信息特征元数据描述框架、特征词获取、信息元距离度量、信息元匹配规则以及匹配算法等.该系统通过有限的信息元描述无限的资源,实现了教学资源的高效组织,支持学习过程中资源自动重组.     

网络产品评论挖掘研究

以有效分析和挖掘网络产品评论中的用户观点从而为消费者和商家均提供有价值的信息为目的,提出了网络产品评论挖掘的步骤和方法,并在用户产品评论分析的基础上,进一步对产品特征词的关注度和极性进行分析,实现了更加全面地产品评论挖掘．最后以iphone 4s为例对所提出的方法进行了实验,验证了该方法的可行性．     

基于网页内容和链接价值的相关度方法的实现

专业搜索引擎提供特定主题的信息检索服务,是新一代搜索引擎的发展方向之一,而网页主题相关度分析是专业搜索引擎的核心技术,它指导着robot进行有价值的搜索,专门搜索与主题相关的页面;提出_种综合的网页主题相关度分析方法,方法同时对网页内容价值和链接价值进行了考察,从而保证了robot搜索的网页与主题有着较高的相关度;在网页内容价值评价时,对传统的方法进行了改进,新的方法能高好的实现.该方法也用于服装行业的搜索引擎,效果明显.     

基于图的特征词权重算法及其在文档排序中的应用

信息检索的核心工作包括文档的分类和排序等操作,如何对文档中的特征词权重进行有效度量是其中的一项关键技术。利用词的共现等关系为每个文档建立文本图,基于邻接词间重要性相互影响的思路,结合文档中特征词的词频特性,迭代计算每个词的权重,进一步结合文本图的密度等全局特性,对信息检索的结果进行排序。实验证实,算法在标准数据集上具有良好的效果。     

一种优化的AP-CAPSA中文文本结构分析算法*

从段落向量空间模型、特征词权重等多个侧面分析比较了已有的文本结构分析算法,提出了优化的AP-CAPSA算法;给出了算法性能的评价准则,并在不同的语料集合上进行了测试。实验表明该方法能够更有效地反映文本的结构,为中文自动摘要系统奠定了重要的理论基础。     

基于智能Agent的用户兴趣发现和更新

提出了一种新的基于智能Agent的用户兴趣发现和更新方法，主要介绍了智能Agent需要跟踪用户的哪些行为，如何发现用户真正感兴趣的文献，如何通过分析提取兴趣特征词及权重计算等内容。该方法主要利用了用户浏览文献页面的信息，有效地解决了用户兴趣的自适应变化。     

一个分布式入侵检测系统框架设计

提出了一个网络环境下分布式入侵检测系统的框架。描述了将原始网络报文分组加工组织成相当于单词和文本的结构形式的方法，通过聚类发现相当于文本类特征词的方法，以及通过分类算法实现网络入侵检测的方法。讨论了控制节点的agent如何将完整的入侵检测任务合理组织分配到分布在各计算节点上的agent，并协调各计算任务的并发过程。     

基于统计的中文文本主题自动提取研究

文本主题自动提取是一种很有实用价值的技术，它可以有效地浓缩整个web页面，解决无线网络终端由于显示屏太小而无法显示整个网页的难题。总结了目前有关文本主题提取方面的研究成果，设计了一个特征词加权函数，在此函数中考虑了词所跨的段落数因子，同时采用非线性函数描述词长因子和词所跨的段落数因子的作用，并将加权函数应用于主题自动提取。实现了一个中文主题自动提取系统原型，通过对文本集的测试验证了加权函数的有效性。     

文本分类中基于熵的词权重计算方法研究

随着文本数据量变得很大且仍在迅猛增加,自动文本分类变得越来越重要。为了提高分类准确率,作为文本特征的词的权重计算方法是文本分类领域的研究热点之一。研究发现,基于信息熵的权重计算方法(熵加权)相对于其他方法更有效,但现有方法仍然存在问题,比如在某些语料库上相比TF-IDF(term frequency&inverse document frequency),它们可能表现较差。于是将对数词频与一个新的基于熵的类别区分力度量因子相结合,提出了LTF-ECDP(logarithmic term frequency&entropy-based class distinguishing power)方法。通过在Tan Corp、Web KB和20 Newsgroups语料库上使用支持向量机(support vector machine,SVM)进行一系列文本分类实验,验证和比较了8种词权重计算方法的性能。实验结果表明,LTF-ECDP方法比其他熵加权方法和TF-IDF、TF-RF(term frequency&relevance frequency)等著名方法更优越,不仅提高了文本分类准确率,而且在不同数据集上的性能更加稳定。     

基于条件随机场的敏感话题检测模型研究

敏感话题通常包含态度倾向性,且具有一定的先验知识,如何有效利用这些先验知识来判断网络文本的敏感性是敏感话题检测的研究难点和热点。在充分利用条件随机场强大知识拟合能力的基础上,提出一种基于条件随机场的敏感话题检测模型。抽取特征词项,并结合敏感词汇库,将待检测文档和敏感话题类别分别表示为条件随机场中的观察序列和状态序列,再利用敏感话题类别中的先验知识来构造特征函数,从而使观察序列和状态序列建立联系。将待测文档中的特征项根据概率标注为敏感话题类别中的词项,在此过程中采用Viterbi算法对观察序列的可信度进行估计,并依据估计所得的概率值对待测文档中的特征项进行敏感性标注。实例验证结果表明,该算法能够得到较好的准确率、召回率和F度量值。