Web使用数据挖掘中数据预处理的研究

Web使用数据挖掘是为网站经营管理和结构调整提供决策支持的主要手段。其中的数据预处理工作关系到挖掘的质量。文章就此进行了深入的研究,提出了一个预处理工具模型WUMPA。并针对预处理过程中动态页面跟踪、站点结构表示和会话管理等难点问题进行了进一步分析,提出了一个网站结构数据模型SITEDM和一个高效的会话管理算法session_manager。     

基于概念和语义相似度的文本聚类算法

提出一种基于概念和语义相似度的聚类算法TCBCSS（Text Clustering Based on Concept and Semantic Similarity）,TCBCSS算法基于WordNet对文档概念进行抽取和归并,形成语义网络,利用小世界理论和网络的几何特性对其进行分析并构建概念列表来表示文档,不仅有效解决了“表达差异”问题也有利于文档相似度的计算。TCBCSS算法利用两个概念列表的语义相似度作为文档间相近程度的度量,以图为基础进行聚类分析,避免了有些聚类算法对聚簇形状的限制,试验证明TCBCSS算法提高了聚类质量。     

基于模糊相关的Web文档分类方法

面对Internet上不断增长的巨大信息量,如何使用户获得有趣的和有用的信息已成为信息检索急需解决的问题。由于Web文档往往具有不确定的特征,使得利用模糊集合理论对信息检索过程的不确定性建立模型成为可能。文章提出了一种基于模糊相关技术的Web文档分类方法,实验结果表明,该方法比基于向量空间模型的Web分类方法有较高的分类精度。     

一种结合云模型的文本分类方法

为了降低在传统的文本分类方法中自然语言的不确定性对分类效果的影响,提出了一种结合云模型的文本分类方法。该方法分别定义文本和类别的云模型,通过计算测试文本和每个类别的云相似度,根据最大相似度原则确定测试文本所属的类别。实验结果表明,与传统的K-NN算法相比,该方法在分类准确率等方面有所提高。     

结合预训练模型和语言知识库的文本匹配方法

针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义—反义词汇知识学习任务和词组—搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。     

NOVELL教学网管理中的安全措施

基于实践,论述了教学网服务器的安全性管理措施,同时介绍了一种通过二次登录的方式来实现无盘工作站自动上网的方法。     

集成搜索引擎的文本数据库选择

用户需要检索的信息往往分散存储在多个搜索多个搜索引擎各自的数据库里,对普通用户而言,访问多个搜索引擎并从返回的结果中分辨出确实有网页是一件费时费力的工作,集成搜索引擎则可以提供给用户一个同时记问多个搜索引擎人集成环境,集成搜索引擎能将其接收到的用户查询提交给底层的多个搜索引擎进行搜索,作为一种搜索工具,集成搜索引擎具有如WEB查询覆盖面比传统引擎更大,引警有更好的可扩展性等优点,讨论了解决集成搜索引擎的数据库选择问题的多种技术,针对用户提交的查询要求,通过数据库选择可以选定最有可能返回有用信息的底层搜索引擎。     

基于改进模糊熵的车牌定位方法

车牌定位是车牌自动识别系统中关键技术之一,定位的准确性直接影响到后期识别的效果。为了提高定位的准确性,提出了一种高效实时的车牌定位方法。该方法首先将彩色图像转化为灰度图像,并对图像进行灰度拉伸和灰度均衡,用中值滤波平滑图像,以去除噪声点;其次利用Sobel垂直算子检测出边缘,用模糊熵法求出二值化图像;最后结合水平扫描和垂直扫描定位出车牌。经过大量实验证明,该方法具有较好的自适应性,在不同外界环境下能够准确快速地定位出不同型号的车辆牌照。     

一种缓解分类面交错的样本点扩散方法

固定的相似性度量使得学习器无法结合先验信息揭示数据本身固有的统计规律,对于分类面交错严重的数据集,难以取得较好的学习效果。为了缓解分类面交错,提高分类准确度,将边界和样本点扩散结合起来,通过统计样本标签信息和位置信息得到边界点,以边界点为中心选取合适的控制函数对周边样本点进行扩散,使得分类面更加清晰,从而提高分类算法的精度。在多个分类面交错的数据集上,使用不同分类器验证所提方法,结果表明,其准确率有不同程度的提升。与3种经典的有监督度量学习方法进行比较,实验结果表明所提方法适合处理交错程度高的数据集,而且能有效提升SVM的性能。     

少样本文本分类的多任务原型网络

少样本文本分类中,原型网络对语义利用不足、可迁移特征挖掘不够,导致模型泛化能力不强,在新任务空间中分类性能不佳。从模型结构、编码网络、度量网络等角度提高模型泛化性,提出多任务原型网络(multiple-task prototypical network, MTPN)。结构上,基于原型网络度量任务增加辅助分类任务约束训练目标,提高了模型的语义特征抽取能力,利用多任务联合训练,获得与辅助任务更相关的语义表示。针对编码网络,提出LF-Transformer编码器,使用层级注意力融合底层通用编码信息,提升特征的可迁移性。度量网络使用基于BiGRU的类原型生成器,使类原型更具代表性,距离度量更加准确。实验表明,MTPN在少样本文本情感分类任务中取得了91.62%的准确率,比现有最佳模型提升了3.5%以上;在新领域的情感评论中,基于五条参考样本,模型对查询样本可获得超过90%的分类准确率。