基于短信文本信息流的多热点事件挖掘

短信文本信息流携带了丰富的信息资源,为了在其中挖掘出多热点事件,给出了短信文本信息流在线分检算法,该方法采用特征词共现频度定义了特征词相关度,综合前导信息集合及信息产生频率定义了短信文本相似度。并且每聚类到一个时间段后,就对已聚类的短信文本进行周期分类。该算法对大数量短文本信息流的多热点事件检索效率较高,同时减少了信息的误检和漏检的可能性。在真实数据集上与Single-Pass算法进行比较实验,其结果表明了各项指标都有不同程度的提高。     

一种基于文本先分类再聚类的互联网热点信息发现方法

针对互联网热点信息发现的需求,提出一种基于先分类再聚类的互联网信息热点发现及分析系统构建方法.通过对互联网样本信息文本的特征提取,构建文本向量空间模型,使用Maxent最大熵分类模型对文本进行分类,对分类结果使用OPTICS聚类算法获取文本热点簇,最终获取有效热点信息.实验证明,通过先分类再聚类的方法可以有效避免语义类别不同但字面意义混淆的文章对聚类算法的影响,有效提高聚类结果的精度和运算效率.     

基于事件分析的Web地震新闻时空信息挖掘研究

针对Web地震新闻挖掘的需求,采用网络爬虫抓取新闻文本作为研究语料,采用改进的TF-IDF(Term Frequency-Inverse Document Frequency)算法对语料集进行文本训练,选取权值较大的特征词初步识别地震类文档;采用特征词构成要素描述地震事件,构建了地震事件的知识框架;基于框架的要素特征词匹配从地震类文档中获取候选事件语句,对候选事件语句进行句法分析,总结出地震要素出现形式和规律,构造抽取规则,编写抽取算法,完成了地震事件识别和提取实验,并对地震事件提取的精度进行分析和评价,验证了该方法具有较高的地震事件识别和提取精度,是一种有前景的Web专题事件挖掘的途径.     

基于CRF模型的短文本信息流话题提取

为更有效地在中文短文本信息流中进行话题提取,给出了一种基于CRF模型的话题提取方法。根据短文本信息流的特点,定义了短文本信息流中关键词语相似度。充分利用上下文信息对特征信息进行全局归一化的处理,进一步得到全局的最优值。在真实的短信文本信息集上将此方法与决策树方法进行比较,取得了较明显的优势。     

基于改进K-MEANS算法的舆情热点自动发现

目前的网络舆情分析系统一般采用输入的关键词进行检索,无法及时发现未知的热点事件。针对这一问题,设计实现了一个具有实用意义的舆情信息分析系统,并将改进的K-MEANS算法应用于文本聚类来自动发现当前的热点主题。运行结果表明,系统可以及时发现热点话题并对事件实时追踪。     

一种基于文本分类的特征选择方法

文本分类中通常采用向量空间模型(VSM)来表示文本特征,如何选择最能够表达文本主题的特征词,从而减少特征空间维数,降低时空复杂度,是一个十分重要的问题。针对此问题本文提出了采用截集模糊C-均值(S2FCM)聚类进行类间特征降维,该方法以最大隶属度原则为指导,在保持模糊聚类的同时,提高收敛速度,并且能够提高特征选择的正确性。同时在算法中使用改进的隶属度、聚类中心计算方法并使用非随机方法确定初始聚类中心。最后实验表明采用该方法选择的文本特征项进行文本分类能够收到比较好的分类结果。     

基于多视图的文本聚类改进方法

近年来,随着自然语言处理技术的发展,聚类技术在文本处理领域中的作用愈发凸显。目前,国内多视图文本聚类的相关研究进展仍处于起步阶段,通常运用的聚类方法是基于文本的单一领域来展现特定方面的聚类情况,但越来越多的文本聚类研究从单视图向多视图的方向转变。提出了一种以LDA主题模型和TF-WIDF特征提取算法作为特征向量组,基于谱聚类的改进型多视图半监督文本聚类方法。该方法基于半监督的协同训练（Co-training）算法,通过对协同训练算法中的文本标记方式进行改进,实现无监督性质的多视图协同训练算法。实验结果表明:改进算法相较于传统单视图文本聚类算法,很大程度上避免了单视图算法的偶然性和局限性,提高了文章整体聚类的准确度。     

利用单词超团的二分图文本聚类算法

鉴于目前传统文本聚类方法中利用文档间的相似度进行聚类存在的问题,在传统的文本挖掘基础上提出了一种新的文本聚类算法——利用单词超团的二分图文本聚类算法。该算法用文档中单词的关联模式来评估文档间的相似度及主题类别预测,并利用图划分策略来大大降低文档相似度比较算法的复杂度,同时将超团作为特征结构的扩展,可以在一定范围内减少语言信息的丢失,提高聚类效果。经实验证明该算法具有较高的有效性。     

面向舆情分析的短文本频繁模式聚类算法

基于短文本的舆情分析是当前信息挖掘与情感分析领域的研究重点,针对网络环境中大量的短文本信息的鲜明特点,本文突破了传统基于词的分类方法,提出一种基于后缀数组频繁模式发现的聚类算法,利用后缀数组频繁模式精确去重算法得到关键词库,结合局部性原理对位置点聚类之后作有意义字串挖掘,进而进行文本舆情分析,以便及时动态了解网络群体的情感方向以及社会舆情热点。     

半监督语义动态文本聚类算法

针对传统的动态文本聚类将描述方式不同的同类文本划分到不同组中;以及聚类类别个数与真实类别数之间差距明显等问题,该文提出了一种半监督语义动态文本聚类算法（SDCS）。该算法以语义表征文本的方式来捕获文本间的语义关系,在聚类过程中动态学习类别语义,让文本能根据语义准确聚类。同时该算法利用半监督聚类的方法对新类的产生进行监督,学习符合实际情况的聚类结果。实验结果表明该文提出的算法是有效可行的。     

Text retrieval algorithm that decreases confusion

To overcome the problem that the confusion between texts limits the precision in text re- trieval, a new text retrieval algorithm that decrease confusion （DCTR） is proposed. The algorithm constructs the searching template to represent the user＇ s searching intention through positive and negative training. By using the prior probabilities in the template, the supported probability and anti- supported probability of each text in the text library can be estimated for discrimination. The search- ing result can be ranked according to similarities between retrieved texts and the template. The com- plexity of DCTR is close to term frequency and mversed document frequency （TF-IDF）. Its distin- guishing ability to confusable texts could be advanced and the performance of the result would be im- proved with increasing of training times.     

潜在语义分析技术在自动评卷系统中的应用

提出了一种基于潜在语义分析（LSA）的相似文本匹配算法,并将其应用于自动评卷系统中．首先,在充分考虑词项之间相关性的基础上,在低维空间中表示学生答案文本与标准答案文本,然后利用奇异值分解方法模型对其进行了改进;其次,利用LSA技术,以学生答案文本与标准答案文本之间的余弦相似度作为相似性准则,根据相似度值确定该题的得分．实验结果表明,该算法充分考虑了文本语义信息,评分效果较好,是实现基于语义评卷系统的有益探索．     

结合背景差分与光流法的人群状态突变检测

针对群体性异常事件中人群状态突变场景发生时的运动特征,提出结合背景差分和光流法的检测算法.对图像背景差分提取前景寻找特征点,利用光流法预测特征点位置,将特征点以光流运动方向为依据划分后处理数据,得到累积加速度进行判断.该算法弥补了单独使用背景差分算法检测准确率低和单独使用光流法检测效率低的缺陷,通过将特征点以光流运动方向划分处理数据,大幅度提高了检测的准确性和稳定性.经过实验测试,结果表明,该算法在人群状态突变异常事件检测中有较高的准确性,能够满足实时性要求,较同类检测算法在综合性能上有显著提高.     

一种句子级别的中文文本复制检测方法

该文提出了一种句子级别的中文文本复制检测方法。该方法以句子为基本复制检测单位,运用最长公共子序列算法计算两篇文本之间的重复度,根据所得的重复度值来检测两篇文本是否存在复制现象以及复制的程度。在方法中,剔除句子的其他成分,提取句子中的名词作为句子的文本特征,增加了算法的鲁棒性;建立句子与文档的倒排索引,可快速索引得到存在该句子的所有文档的集合,提高了算法的速度,为大规模文本复制检测提供了一种可行的方法。实验表明,该算法对于普通网页文本复制检测能取得很好效果。     

SMS4算法安全性研究

在基于汉明重量的简单能量泄露模型下,我们发现SMS4算法中某些操作会泄露出密钥信息,从而容易受到差分能量分析攻击。通过分析与实验我们证明了该攻击的可行性。随后提出两种对SMS4算法的改进,使其能抵御差分能量分析攻击,由此增强SMS4算法的安全性。     

基于上下文语义的新闻人名纠错方法

新闻文本中的人名纠错存在以下难点:1）人名中含有错误字段会影响甚至改变文本语义表达,故无法用传统命名实体识别方法识别句中人名;2）人名字段的特殊性极易产生重名或者歧义,使得误报率增加,并提升了人名纠错的难度。为此,本文提出了一种基于上下文语义的新闻人名纠错方法。该方法使用卷积神经网络提取文本语义信息,并使用词激活力模型计算文本中其他词语与人名字段的关联程度来捕捉并使用文本上下文语义信息。同时,针对文本中人名字段中含有错误而导致的识别效果低下的问题,使用人名实体边界识别算法提高对文本中疑似含有错误人名的识别提取效果。实验结果表明,该方法能够有效地识别文本中的人名并对其中的错误内容进行纠正。     

面向短文本情感分析的词扩充LDA模型

针对短文本在情感极性判断上准确率不高的缺点,在隐含狄利克雷分配(latent Dirichlet allocation, LDA)的基础上提出一种适用于短文本的情感分析模型。该模型在短文本中按词性寻找情感词汇,并对其进行有约束的词语扩充形成扩充集合,增强情感词汇之间的共现频率。将扩充集合加入文本中已发现的情感词汇,使得短文本长度增加并且模型可以提取到情感信息,模型通过这种方法将主题聚类变成情感主题聚类。该模型使用4 000条带有正负情感极性的短文本进行验证,结果表明该模型准确率比情感主题联合模型提高约11%,比隐含情感模型提高约9.5%,同时可以发现更多的情感词汇,证明该模型对于短文本能够提取更丰富的情感特征并在情感极性分类上准确率较高。     

融合表情符号与短文本的微博多维情感分类

表情符号已成为网络语言重要组成部分,是分析社交媒体情感的主要特征之一.目前分析社交媒体情感符号的方法多针对Emoji,对颜文字的情感倾向没有相应分析.为获取中文媒体的多维度情感并分析热点话题的群体情感走向,本文以微博为例提出一种新的融合表情符号与短文本的多维情感分类方法.在该框架中,采用深度学习模型分析文本与Emoji组合部分、颜文字部分,分别计算两部分的7种情感强度,挖掘各部分与情感标签的深层次关联,并设计计算模型来反映语句包含的多维情感属性,实现对语句多维情感强度的检测.实验选择NLPCC2014数据集和爬取的带有颜文字的微博数据集进行验证,实验证明当文本与Emoji组合、颜文字占比分别为0.6和0.4时情感分类效果最好,且含颜文字的语句情感分类性能指标始终高于不含颜文字的语句,这表明融合表情符号和短文本的形式有效提高了情感检测精度.该方法为研究群体情感趋势提供了更细粒度的分析,为中文社交媒体的情感分析提供了新思路.