基于链接信息的网页分类算法

为了提高网页文本分类的准确性.克服传统的文本分类算法易受网页中虚假、错误信息的影响.提出一种基于链接信息的网页分类算法.通过对K近邻方法的改进.利用当前网页与其父网页的链接信息对网页实沲分类,用空间向量表示待分类网页的父链接信息。在训练集合中找到K篇与该网页链接信息向量最相似的网页,计算该网页所属的类别,通过实验与传统文本分类算法进行了对比,验证了该方法的有效性.     

结合词性的短文本相似度算法及其在文本分类中的应用

针对基于语义的短文本相似度计算方法在短文本分类中准确率较低这一问题,提出了结合词性的短文本相似度算法( GCSSA)。该方法在基于hownet(“知网”)语义的短文本相似度计算方法的基础上,结合类别特征词并添加关键词词性分析,对类别特征词和其他关键词的词性信息给定不同关键词以不同的权值系数,以此区别各种贡献度词项在短文本相似度计算中的重要程度。实验表明,该算法进行文本相似度计算后应用于短文本分类中较基于hownet的短文本分类算法在准确率宏平均和微平均上提升4%左右,有效提高了短文本分类的准确性。     

融合耦合距离区分度和强类别特征的短文本相似度计算方法

短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点,以及传统的短文本相似度计算忽略类别信息等问题,提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法.一方面,在整个短文本语料库中利用两个共现词之间的距离计算词项共现距离相关度,并以此来对词项加权从而捕获词项间内联和外联关系,得到短文本的耦合距离区分度相似度;另一方面,基于少量带类别标签的监督数据提取每类中强类别区分能力的特征项作为强类别特征集合,并利用词项的上下文来对强类别特征语义消歧,然后基于文本间包含相同类别的强类别特征数量来衡量文本间的相似度.最后,本文结合耦合距离区分度和强类别特征来衡量短文本的相似度.经实验证明本文提出的方法能够提高短文本相似度计算的准确率.     

基于语义融合的文本相似度算法研究

针对在传统语义融合的文本相似度算法设计与实现中由于汉语语义复杂存在容易形成局部极小值而得不到全局最优、训练次数较多、学习效率降低、隐节点的选取缺乏理论依据等问题,提出一种改进算法。首先在把握文本相似度算法内涵和分类情况的基础上,通过调整数字识别方向、选取合适的数据来源,依据图像识别技术和算法深度学习的共性需求,从语义融合角度提出以核心词为节点进行文本相似度计算;然后通过多特征融合向量空间模型对特征项的类间分布问题进行分析,最终通过加权计算得到文本相似度。从算法实现效果来看,相较于传统算法能够获得更高文本分类准确度,改进基于文本相似度算法的语言处理技术更加高效、准确。     

基于标题类别语义识别的文本分类算法研究

本文提出了一种基于标题类别语义识别的文本分类算法。算法利用基于类别信息的特征选择策略构造分类的特征空间,通过识别文本标题中的特征词的类别语义来预测文本的候选类别,最后在候选类别空间中用分类器执行分类操作。实验表明该算法在有效降低分类候选数目的基础上可显著提高文本分类的精度,通过对类别空间表示效率指标的验证,进一步表明该算法有效地提高了文本表示空间的性能。     

基于决策树算法的信息系统数据挖掘研究

为了提高数据挖掘准确性和效率,文中提出了基于决策树算法的信息系统数据挖掘方法.以C4.5决策树算法计算属性的信息增益率和属性值的信息熵为基础,提出基于余弦相似度改进的C4.5决策树算法,若任意两个属性值的信息熵之差在阈值范围内,通过计算其余弦相似度合并在阈值范围内的属性值,并重新计算合并后属性的信息增益率,实现信息系统...     

基于TF-IDF和word2Vec的中文文本自动摘要模型

随着互联网时代的数据爆炸,在短文本信息数量迅速增长的环境下,为了更好地进行中文本摘要模型的计算,本文针对短文本的文本特征提取和相似度计算进行了深入研究。本文将优化的TF-IDF模型和Word2Vec模型结合起来,进而提出一种兼顾短文本统计特征和语义特征的合并加权Word2Vec和TF-IDF的文本特征提取算法,将文本进行向量化表示;随后,在文本的相似度算法中,基于短文本的特征,选取了余弦相似度算法,对短文本间相似度值进行了有效计算。实验结果表明,使用TF-IDF和Word2Vec结合模型与传统单个模型相比,生成出的文摘准确性更高,质量更好。     

一种改进的K近邻算法在网页分类中的应用

K近邻(k-Nearest Neighbor)算法是进行分类时最常用的文本分类算法,基本的K近邻算法是基于余弦向量距离计算相似度,由于特证词权值的计算采用的是TF-IDF方法,使得该算法在文本分类中对于噪声特征非常敏感,本文针对这一问题,提出在网页分类的领域中,根据网页文章的特性,考虑特征词出现不同位置,改进相似度的计算公式,实验证明,提高了分类的准确性。     

面向小样本的岗位模糊匹配推荐算法

近年来,全民考编成为时代趋势,大量政府机构职位如公务员、军队文职等启动线上报考招聘工作。但大量繁杂的岗位信息也为求职者选岗带来了困难。针对选岗慢、选岗难等问题,基于少量人工标注的岗位文本信息,提出了一种新型的精准岗位推荐算法。通过特征构建,明确不同招考信息的匹配规则;通过基于文本分类的ERNIE-BiLSTM-CRF训练实体识别模型,实现长文本岗位描述信息的隐含条件抽取;提出改进的基于动态词向量的加权余弦相似度算法,解决文本相似度计算中无关信息噪音问题。在自标注的数据集上的实验结果表明,上述条件抽取模型的F1值较最优算法提升14.97%,相似度匹配命中率和DCG值分别提升20.5%和22.9%,可有效实现基于小样本的人岗模糊匹配,为求职者提供准确、鲁棒的文职岗位推荐服务。     

融合TextRank算法的中文短文本相似度计算

传统的VSM向量空间模型忽略了文本语义,构建的文本特征矩阵具有稀疏性。基于深度学习词向量技术,文中提出一种融合改进TextRank算法的相似度计算方法。该方法利用词向量嵌入的技术来构建文本向量空间,使得构建的向量空间模型具有了语义相关性,同时采用改进的TextRank算法提取文本关键字,增强了文本特征的表达并消除了大量冗余信息,降低了文本特征矩阵的稀疏性,使文本相似度的计算更加高效。不同模型的仿真实验结果表明,融合改进的TextRank算法与Bert词向量技术的方法具有更好的文本相似度计算性能。     

基于改进特征选择方法的文本情感分类研究

提出了结合情感词典的改进信息增益特征选择方法。首先,针对现有的信息增益特征选择存在注重特征词的文档频率而忽视语料均衡等问题,提出了改进方法。其次,考虑情感词对文本分类的影响,提出了基于情感词典的特征选择（information gain combining sentiment classification,IGSC）算法进行文本分类。该算法通过对文本情感词进行匹配并结合情感词赋权重,实现了特征降维并解决了文本数据稀疏影响分类性能的问题;最后,针对旅游评论数据集对所提出的特征选择方法进行了实验验证及分析。实验结果表明,本文提出的改进文本情感分类特征选择方法在分类准确率、召回率和F值方面均得到了提升,并且具有较好的分类稳定性。     

基于改进信息增益的垃圾邮件过滤研究

信息增益是文本分类中一种有效的特征项选择方法,针对垃圾邮件过滤中的特征项选择问题,提出了一种改进的信息增益方法提取特征词,并采用了最小风险贝叶斯的决策方法,最后在英文语料库上进行实验,实验结果表明改进后的方法降低了过滤器对合法邮件的误判。     

基于信息增益改进贝叶斯模型的汉语词义消歧

词义消歧一直是自然语言处理领域的关键问题和难点之一。通常把词义消歧作为模式分类问题进行研究,其中特征选择是一个重要的环节。该文根据贝叶斯假设提出基于信息增益的特征选择方法,并以此改进贝叶斯模型。通过信息增益计算,挖掘上下文中词语的位置信息,提高贝叶斯模型知识获取的效率,从而改善词义分类效果。该文在8个歧义词上进行了实验,结果发现改进后的贝叶斯模型在消歧正确率上比改进前平均提高了3.5个百分点,改进幅度较大,效果突出,证明了该方法的有效性。     

Research on calculation method of text similarity based on smooth inverse frequency

In order to improve the accuracy of text similarity calculation, this paper presents a text similarity function part of speech and word order-smooth inverse frequency (PO-SIF) based on sentence vector, which optimizes the classical SIF calculation method in two aspects: part of speech and word order. The classical SIF algorithm is to calculate sentence similarity by getting a sentence vector through weighting and reducing noise. However, the different methods of weighting or reducing noise would affect the efficiency and the accuracy of similarity calculation. In our proposed PO-SIF, the weight parameters of the SIF sentence vector are first updated by the part of speech subtraction factor, to determine the most crucial words. Furthermore, PO-SIF calculates the sentence vector similarity taking into the account of word order, which overcomes the drawback of similarity analysis that is mostly based on the word frequency. The experimental results validate the performance of our proposed PO-SIF on improving the accuracy of text similarity calculation.     

红外图像改进非局部均值滤波算法研究

为了有效地滤除红外图像中的噪声,提出了一种改进型非局部均值滤波算法(INLMF)。该算法首先针对传统算法中采用固定尺寸的方形图像块无法有效刻画图像中大量分布的细节信息这一缺陷,结合图像中像素点灰度信息提出了一种图像块自适应划分方法,使得划分后的图像块在尺寸和形状上依赖于图像中灰度信息的实际分布情况;其次引入结构相似度因子对算法中的图像块权重值计算方法进行适当改进;最后分别将INLMF算法与已有的两类改进型NLMF算法对两幅红外监控图像进行滤波,并进行了理论分析和实验验证。结果表明,INLMF算法相对于其余几类算法而言,滤波效果较好,该研究对于提高红外图像滤波效果是有帮助的。     

一种改进的基于知网的句子相似度计算方法

针对基于词项的句子相似度计算存在信息冗余干扰和局部最优的缺陷，提出一种改进的基于知网的句子相似度计算方法。该方法通过增加筛选候选语句以降低冗余信息对准确度造成的干扰，同时在分词和词性标注的基础上，采用改进的带权最大二分图匹配算法获得全局最优匹配。实验结果表明，文中提出的方法有效地提高了句子相似度计算的准确度。     

基于红外遥感气象信息的舰载机飞行安全性评估

为充分利用战场气象信息,提高舰载机飞行的战场安全性,在对红外遥感气象信息特点和优势进行分析的基础上,提出了舰载机在一定气象条件下的作战与训练使用的安全性评估模型。模型包括起降安全指数和往返安全指数两部分,分别分析了主要的相关因素,并根据作训实际提出了评估与拟合计算办法。对于起降安全指数,利用判断矩阵求取不同气象要素的合理权重,提出了独立的客观气象指数的概念并给出了计算方法,然后进行线性加权便可得起降安全指数;对于往返安全指数,则主要根据云雾对舰载机的掩护程度做为安全性计算的基本依据。     

基于NSCT和人工蜂群算法的图像配准

为了增加颅脑肿瘤的诊断信息,提出了基于NSCT(Nonsubsampled ContourletTransform)和改进的人工蜂群算法(Artificial Bee Colony,ABC)的颅脑CT(Computed Tomography)图像和MRI(Magnetic Resonance Imaging)图像的配准方法。首先将参考图像和待配准图像进行NSCT变换,分解成高频子带和低频子带,分别提取两幅图像的低频图像作为参考图像和待配准图像,以互信息作为相似性测度,选用刚体变换模型求解空间变换参数,然后提出一种改进的人工蜂群算法来优化配准所需的空间变换参数。实验结果表明,该方法可以有效提高配准速度,具有较好的配准效果。