基于电子商务的个性化推荐系统研究

在电子商务环境中,实现个性化服务,理解用户兴趣就成了提供个性化服务的关键任务。因此,建立用户兴趣模型和构建推荐库就成为个性化推荐系统的实现基础。论文通过网络爬虫获取到相关的网页,进行预处理后,采用SVM（支持向量机）分类文档建立推荐库。通过对用户访问路径、搜索关键字等分析,获取用户兴趣,采用向量空间模型表示用户兴趣,利用机器学习构建用户兴趣模型。在推荐库和用户兴趣模型的基础上,加入推荐引擎,实现了基于电子商务的个性化推荐系统。     

文本分类系统SECTCS中若干技术问题的探讨

SECTCS是笔者在深入研究各种文本分类方法的基础上实现的一个中英文文本分类系统。它集成了质心分类、K近邻分类和朴素贝叶斯分类器等多种文本分类方法,在大规模文本分类实验中表现出良好的性能。该文结合以该系统作为测试平台所得到的各种实验结果,对系统中涉及的若干重要技术问题进行探讨和分析,力图得到一些有价值的结论,希望能够对相关研究工作提供可借鉴的依据。     

基于指代消解和篇章结构分析的自动摘录算法

传统自动文摘方法生成的文摘结果指代关系模糊,且对于某些段落结构有规律的文章,没有分析文章结构与主题思想之间的关系。为此,提出一种基于指代消解和篇章结构分析的自动摘录算法。采用有限知识的思路完成指代消解,利用指代消解解决文摘语义不连贯问题,以提高句子权重计算的准确性,对文章做主题划分时进行篇章结构识别,按照段落标题信息划分段落结构。实验结果表明,该算法在受限金融领域文本自动摘录中,具有较高的准确率和召回率。     

内容与结构相结合的科学元数据相似度计算

为更加精确的计算科学数据共享工程中科学元数据间的相似度,提出了一种内容与结构相结合的科学元数据相似度计算方法。在综合分析各个领域元数据特点的基础上,把科学元数据相似度的计算分为两个方面:内容相似度和结构相似度。其中内容相似度基于改进的向量空间模型计算而得,结构相似度包含元数据树的节点相似度和层次相似度两个方面,两者叠加计算出相似度值,并通过实验证明了该方法具有更高的准确性和有效性。     

基于主动学习的文档分类

In the field of text categorization,the number of unlabeled documents is generally much gretaer than that of labeled documents. Text categorization is the problem of categorization in high-dimension vector space, and more training samples will generally improve the accuracy of text classifier. How to add the unlabeled documents of training set so as to expand training set is a valuable problem. The theory of active learning is introducted and applied to the field of text categorization in this paper ,exploring the method of using unlabeled documents to improve the accuracy oftext classifier. It is expected that such technology will improve text classifier's accuracy through adopting relativelylarge number of unlabelled documents samples. We brought forward an active learning based algorithm for text categorization,and the experiments on Reuters news corpus showed that when enough training samples available,it′s effective for the algorithm to promote text classifier's accuracy through adopting unlabelled document samples.     

一种用于Web文本聚类的特征选择方法

特征选择已经广泛地应用在文本分类和文本聚类中,相对于无监督的特征选择方法,有监督的特征选择方法在过滤噪音等方面更为有效.但是,由于缺少类标签,它很难应用到文本聚类中.提出了一种针对Web文本聚类的新的特征选择算法--基于k-means的多特征联合选择算法(MFCC).MFCC充分利用了一个特征空间的中间聚类结果来帮助另一个特征空间进行特征选择.实验证明,MFCC有效地提高了聚类质量.     

文本的图表示初探

文本表示是文本信息处理中的基础问题,以向量空间模型(VSM) 为代表的多数文本表示模型没有考虑文本中特征项之间的序关系,这样的表示造成文本语义信息的损失。我们尝试在文本表示中引入序关系,用图结构来表示文本,提出了一种新的文本表示模型—图表示模型,并对该模型的表示效果进行了验证。实验结果表明目前我们的表示模型仍达不到VSM模型所取得的表示效果。本文总结了文本表示过程,提出了一种新颖的用于度量文本表示模型表示能力的方法,同时也提出了一系列与文本图表示相关的值得探讨的问题。     

文本分类特征权重改进算法

TF-IDF是一种在文本分类领域获得广泛应用的特征词权重算法,着重考虑了词频与逆文档频等因素,但无法把握特征词在类间与类内的分布情况。为提高在同类中频繁出现、类内均匀分布的具有代表性的特征词权重,引入特征词分布集中度系数改进IDF函数、用分散度系数进行加权,提出TF-IIDF-DIC权重函数。实验结果表明,基于TF-IIDF-DIC权重算法的K-NN文本分类宏平均F1值比TF-IDF算法提高了6.79%。     

一个基于VSM的个性化信息推荐系统

为了帮助用户从Internet上方便地获得信息，针对Proxy用户环境设计了一个信息推荐系统。先通过Proxy日志挖掘获得用户兴趣，再根据向量空间模型为用户生成兴趣特征，并据此对用户进行信息推荐。系统通过服务评估和反馈来保证信息推荐的质量。     

基于改进VSM的大规模真实文档自动分类系统的研究和实现

随着Ｉｎｔｅｒｎｅｔ和光盘等大容量存储技术的迅速发展，如何迅速、有效地从大量信息中找到所需的信息已成为一个迫切需要解决的问题。文档自动分类系统就是将文档自动归到一个或几个文档类别中去，这一技术的发展将在信息检索、邮件分类、电子会议、信息过滤等许多环境中得到广泛应用。本次首次对传统的文档内容表示方法ＶＳＭ（向量空间模型）作出改进，并针对系统特点提出了具体的分类算法。目前，本系统已初步实施完成并应用于江苏省“九五”重点攻关课题──“Ｉｎｔｅｒｎｅｔ数字图书馆”之中，取得了良好的效果。