一种大容量文本集的智能检索方法

分析了潜在语义模型,研究了潜在语义空间中文本的表示方法,提出了一种大容量文本集的检索策略。检索过程由粗粒度非相关剔除和相关文本的精确检索两个步骤组成。使用潜在语义空间模型对文本集进行初步的筛选,剔除非相关文本;使用大规模文本检索方法对相关文本在段落一级进行精确检索,其中为了提高检索的执行效率,在检索算法中引入了遗传算法;输出这些候选的段落序号。实验结果证明了这种方法的有效性和高效性。     

结合互信息和主题模型的微博话题发现方法

为了解决短文本信息流的特征稀疏性对热点话题发现带来的挑战,提出了结合词语互信息和概率主题模型的微博热点话题发现方法。通过建立词共现矩阵并应用对称非负矩阵分解算法获取词项-主题矩阵,再利用概率潜在语义分析模型进行主题发现,最终通过定义微博热度分析和排序,有效地支持微博热点话题发现。实验表明,此方法能有效地进行话题聚类并检测出热点话题。     

概念图构建中概念术语自动提取的研究与实现

概念图的构建是一项复杂的工程,在概念术语提取阶段往往需要领域专家花费大量时间手工完成.随着概念图在信息处理和知识管理系统中得到日益广泛的应用,仅仅依靠领域专家来手工提取概念术语生成概念图的办法已不能满足应用需求.基于此,提出结合网络爬虫技术和LSA的方法自动提取概念术语,生成概念图的方法,可以降低概念图制作的人工复杂度,高效、准确的构建概念图,可以大大扩展概念图的应用范围.从指定网站上爬取大量领域文本资源;进行文本预处理并抽取特征项;再利用LSA挖掘特征项与特征项、特征项与文本之间的潜在语义结构,消除噪音及冗余特征项,提取概念术语.实验结果表明,结合网络爬虫技术和LSA方法能够降低概念术语的提取过程中的人力复杂度,去除冗余概念,并提高准确性.     

中文农业网页去重及相似度判断研究

随着信息技术的飞速发展,互联网中的网页急剧增长,在这海量、繁杂的网页中却呈现出一定比例的重复网页及近似网页。为了减少农业领域中近似及重复网页对农业垂直搜索引擎性能的影响,文中首先使用MD5算法去除网页集合中完全相同的网页,再利用向量空间模型(VSM)、基于知网的语义相似度模型及潜在语义分析(LSA)三种相似度判断方法对其余网页的相似度进行计算。实验结果显示,当相似度阈值r=60%、维数K=250时,潜在语义分析( LSA)的综合评价F1测度最高,且准确率达到了90.5%。     

基于独立分量分析的隐蔽Web领域聚类

针对隐蔽Web主题领域自动识别问题,提出一种基于独立分量分析（ICA）的聚类算法。对查询页面进行页面文本抽取和预处理,利用TF-IDF公式计算权重并选择前N个权重最大的特征词构造文档矩阵,在使用潜在语义索引（LSI）进行特征重构的基础上通过ICA分解获得类别信息。利用LSI的词共现分析和文本降噪能力提高聚类准确率。实验表明聚类平均准确率达到90％以上。     

基于潜在语义分析的场景分类优化决策方法

针对传统pLSA模型中语义建模和参数求解不足的问题,提出一种基于先验信息的pLSA场景分类方法.首先对概率模型中的参数矩阵增加同类场景数据的低秩性及单幅图像相对语义主题的稀疏性约束,建立基于先验信息的优化决策模型;然后采用非精确增广拉格朗日乘子法给出模型参数求解算法;最后将基于潜在语义分析的场景分类方法应用到较大规模的场景分类任务中.与其他基于pLSA模型的分类算法进行比较的实验结果表明,文中方法便于产生低维空间中紧致有效的场景语义表示,避免了EM算法收敛性欠佳引起的局部最优问题,具有更好的场景分类性能.     

基于混合概率潜在语义分析模型的Web聚类

在电子商务应用中,为了更好地了解用户的内在特征,制定有效的营销策略,提出一种基于混合概率潜在语义分析（H PLSA）模型的Web聚类算法。利用概率潜在语义分析（PLSA）技术分别对用户浏览数据、页面内容信息及内容增强型用户事务数据建立PLSA模型, 通过对数—似然函数对三个PLSA模型进行合并得到用户聚类的H PLSA模型和页面聚类的H PLSA模型。聚类分析中以潜在主题与用户、页面以及站点之间的条件概率作为相似度计算依据,聚类算法采用基于距离的k medoids 算法。设计并构建了H PLSA模型,在该模型上对Web聚类算法进行验证,表明该算法是可行的。     

一种神经网络文本分类器的设计与实现

论文着重介绍了一种基于神经网络的文本分类器,分类器使用神经网络作为分类工具,特征词的词频组成原始特征向量,和神经网络输入层的神经元一一对应。并引入了信息检索中的常用技术——潜在语义索引,训练过程中结合遗传算法,优化神经网络的初始权值。最后对分类器进行了开放性测试,实验表明分类器对文本分类具有较高的平均查全率和平均精度。     

一种基于非负矩阵分解的聚类集成算法

为了解决通过原始数据集获得的基聚类结果存在一定的信息丢失,从而使得集成阶段的有效信息减少的问题,提出了一种基于非负矩阵分解的K-means聚类集成算法。该算法先利用K-means聚类算法获得集成信息矩阵,然后从原始数据集获取数据相关性,将两者结合后通过非负矩阵分解(NMF)技术构建共识函数以获得最终结果。实验证明,所提算法可以有效获取原始数据的潜在信息,并提高聚类质量。     

GSM基站电磁辐射潜在最大值的测量

给出GSM基站电磁辐射潜在最大值的测量方法,避免了测量中因用户数量而造成的测量结果差异,更加全面地对基站电磁辐射作出描述和评估。