基于海量搜索历史数据的用户兴趣模型

针对互联网搜索引擎环境中,基于海量搜索历史数据分析用户兴趣的问题,提出一种改进的用户兴趣模型。该模型根据用户搜索的历史数据,结合向量空间模型（ VSM ）和TF-IDF算法,递归地回溯出用户兴趣权重列表。为解决用户兴趣变化和时间性能的问题,该模型引入时间遗忘机制进行动态更新,并在Hadoop分布式系统架构下利用MapReduce分布式编程模型进行实现。实验结果表明,改进的用户兴趣模型的查准率和召回率都能达到50',具有较好的可行性和可用性。     

基于VSM的文本相似度计算的研究*

文本相似度的计算作为其他文本信息处理的基础和关键,其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法和TDIDF算法,一方面利用了DF算法具有线性的时间复杂度,比较适合大规模文本处理的特点,并通过适当增加关键词的方法,弥补了其对个别有用信息错误过滤的不足;另一方面,利用特征项在特征选择阶段的权重对TDIDF方法进行加权处理,在不增加开销的情况下扩大了文档集的规模,还提高了相似度计算的精确度。     

改进的软件错误报告自动分类算法

软件错误报告的自动分类能够节省大量人力和时间,然而用户提交的错误报告主观性较强,对错误报告的描述较随意,造成自动分类的效率低下。为此,基于传统的词频-逆向文件频率( TF-IDF )算法,结合文档内词条频度与词条在同类别及不同类别文档中的分布情况,提出2种特征降维的改进算法,降维后再对词条进行权值处理,进一步提高特征降维的效果。实验结果表明,应用该算法得到的错误报告自动分类在精确率、召回率、F1值和准确度等指标上比现有算法都有明显提高。     

基于系统调用序列学习的内核模糊测试

操作系统内核是计算机系统中最基本的软件组件, 它控制和管理计算机硬件资源, 并提供访问和管理其他应用程序所需的接口和服务. 操作系统内核的安全性直接影响整个计算机系统的稳定性和可靠性. 内核模糊测试是一种高效、准确的安全漏洞检测方法. 然而目前内核模糊测试工作中, 存在系统调用间关系的计算开销过大且容易误判, 以及系统调用序列构造方式缺乏合理能量分配以至于很难探索低频系统调用的问题. 本文提出以N-gram模型学习系统调用间关系, 根据系统调用的出现频次信息和TF-IDF信息优先探索出现频次低或者TF-IDF值高的系统调用. 我们以极低的开销, 在Linux 4.19和5.19版本的24 h实验中分别提升了15.8%、14.7%的覆盖率. 此外, 我们挖掘到了一个已知CVE (CVE-2022-3524)、8个新崩溃, 其中一个获得了CNNVD编号(CNNVD-2023-84723975).     

移动机器人闭环检测的视觉字典树金字塔TF-IDF得分匹配方法

针对移动机器人视觉闭环检测中,基于视觉字典本的场景外观表征性能受制于有限单词个数以及算法效率低的不足,本文对机器人视觉特征分层量化,构建视觉字典树, 计算树节点的TF-IDF熵作为对应视觉单词的权重,生成图像--单词逆向文档索引.为消除视觉字典本的单尺度量化误差,并克服基于字典树投影路径的平面匹配模式中不 区分不同层次节点的区分度对闭环检测的影响,本文融合字典树低层单词的强表征性和高层单词的强鲁棒性,提出由下而上逐层计算图像间相似性增量的金字塔得分匹 配方法.将不同时刻相似性大于阈值的图像位置提取为候选闭环,通过后验确认操作剔除误正闭环.在移动机器人视觉闭环检测实验中,本文算法提高了图像相似性计算 的效率和准确性,提高了闭环检测的准确率和召回率.     

基于词频差异特征选取的Context Graph算法改进

为了解决传统主题爬虫效率偏低的问题,在分析了启发式网络爬虫搜索算法Context Graph的基础上,提出了一种改进的Context Graph爬虫搜索策略。该策略利用基于词频差异的特征选取方法和改进后的TF-IDF公式对原算法进行了改进,综合考虑了网页不同部分的文本信息对特征选取的影响,及特征词的类间权重和类中权重,以提高特征选取和评价的质量。实验结果表明,与既定传统方法进行实验对照,改进后的策略效率更高。     

基于Word2Vec的一种文档向量表示

在文本分类中,如何运用word2vec词向量高效地表达一篇文档一直是一个难点。目前,将word2vec模型与聚类算法结合形成的doc2vec模型能有效地表达文档信息。但是,这种方法很少考虑单个词对整篇文档的影响力。为了解决这个问题,利用TF-IDF算法计算每篇文档中词的权重,并结合word2vec词向量生成文档向量,最后将其应用于中文文档分类。在搜狗中文语料库上的实验验证了新方法的有效性。     

一种基于标签和协同过滤的并行推荐算法

针对基于用户打分的传统协同过滤推荐算法存在准确率较低以及计算延时的问题,提出了一种基于标签与协同过滤的并行混合推荐算法。该算法通过计算标签的词频-逆文档频率(TF-IDF)值降低流行标签的权重,根据用户的历史行为预测用户对其他资源的偏好值,最后依据预测偏好值排序产生Top-N推荐结果。对该算法的计算效率与复杂度进行了理论分析,并且通过并行编程模型MapReduce使其得到了实现,最后在实验中进行了它与Apache软件基金会项目Mahout的协同过滤算法的对比分析。实验结果表明该算法有较高的准确性,能有效地提高推荐效率。     

基于特征地图的改进回环检测算法

为提高移动机器人回环检测模块的准确率和实时性,提出一种基于特征地图的改进回环检测算法。在传 统模型的基础上,对关键帧的特征点进行筛选,选取高效特征点构建特征地图,利用视觉字典树对特征地图和关键 帧进行场景描述;对词袋模型进行改进,将场景分割用在图像信息的提取和特征聚类上;建立基于分层K++均值的 视觉字典树,得到改进的基于分层金字塔TF-IDF(term frequency–inverse document frequency)的匹配方法。实验结果 证明：相比FAB-MAP(fast appearance-based mapping)和RGB-D SLAM v2,改进算法在特征点规模、实时性、召回 率方面性能更优。     

基于朴素贝叶斯分类器的朝鲜语文本分类的研究

该文基于朴素贝叶斯分类器对朝鲜语文本分类进行了研究。首先,利用基于类别选择的特征选择方法对朝鲜语文本进行特征选择,并使用类TF-IDF估算方法计算权重;其次,构造朴素贝叶斯分类器;最后,利用分类器实现对朝鲜语文本的分类。实验表明,该方法在朝鲜语文本分类中具有较好的效果,为朝汉结合文本分类提供了一定的依据。