一种基于本体论的文本特征选取方法

针对文本特征向量高维数的问题,给出了一种基于本体论的文本特征选取方法.通过由专业领域本体所建立的概念树,把文本的特征项映射到概念,同时进行了特征项频度到概念频度的转换,使得选取得到的特征概念能够很好表征文本的内容.实验结果表明,与未进行特征概念选取相比,采用此方法选取得到的特征概念能够在尽可能减少对文本分类精度的影响下,达到降低特征维数的目的.     

基于信息熵理论的特征权重算法研究

文本表示是使用分类算法处理文本时必不可少的环节,文本表示方法的选择对最终的分类精度起着至关重要的作用。针对经典的特征权重计算方法TFIDF（Term Frequency and Inverted Document Frequency）中存在的不足,提出了一种基于信息熵理论的特征权重算法ETFIDF（Entropy based TFIDF）。ETFIDF不仅考虑特征项在文档中出现的频率及该特征项在训练集中的集中度,而且还考虑该特征项在各个类别中的分散度。实验结果表明,采用ETFIDF计算特征权重可以有效地提高文本分类性能,对ETFIDF与特征选择的关系进行了较详细的理论分析和实验研究。实验结果表明,在文本表示阶段考虑特征与类别的关系可以更为准确地表示文本;如果综合考虑精度与效率两个方面因素,ETFIDF算法与特征选择算法一起采用能够得到更好的分类效果。     

基于FastText和关键句提取的中文长文本分类

FastText是一种准确高效的文本分类模型,但直接应用在中文长文本分类领域存在准确度不高的问题.针对该问题,提出一种融合TextRank关键子句提取和词频-逆文本频率(Term Frequency-Inverse Document Frequency,TF-IDF)的FastText中文长文本分类方法.该方法在FastText模型输入阶段使用TextRank算法提取文本的关键子句输入训练模型,同时采用TF-IDF提取文本的关键词作为特征补充,从而在减少训练语料的同时尽可能保留文本分类的关键特征.实验结果表明,此文本分类方法在数据集上准确率达到86.1％,比经典的FastText模型提高了约4％.     

面向文本分类的基于最小冗佘原则的特征选取

在文本分类中，为了降低计算复杂度，常用的特征选取方法（如IG）都假设特征之间条件独立。该假设将引入严重的特征冗余现象。为了降低特征子集的冗余度，本文提出了一种基于最小冗余原则（minimal Redundancy Principle，MRP）的特征选取方法。通过考虑不同特征之间的相关性，选择较小冗余度的特征子集。实验结果显示基于最小冗余原则方法能够改善特征选取的效果，提高文本分类的性能。     

一种基于TFIDF的网络聊天关键词提取算法

随着Internet的普及，即时通讯软件（IM software）也就是网络聊天软件越来越多地服务于人们的日常生活。利用聊天双方的聊天信息来提供更好的服务成为研究者们的重要课题，而如何提取聊天文本中的关键词又成为此类研究的重点。聊天文本不同于普通的文章，它是一种动态输入的文本，对于这种文本，传统的TFIDF算法存在着缺陷。文中针对传统TFIDF在处理此类文本时的不足之处，利用一个按主题分类的历史缓存来提高TFIDF算法对于这类文本的处理能力。     

基于CHI值特征选取和覆盖的文本分类方法

利用CHI值特征选取和前向神经网络的覆盖算法,通过对文本进行分词的预处理后,实现文本的自动分类。该方法利用CHI值进行特征选取即特征降维,应用覆盖算法进行文本分类。该方法将CHI值特征选取和覆盖算法充分结合,在提高了分类速度的同时还保证了分类的准确度。应用该方法对标准数据集中的文本进行实验,并在不同的维数上与SVM算法、朴素贝叶斯方法的实验结果进行了比较。结果表明,与SVM算法和朴素贝叶斯方法相比较,覆盖算法在准确度上更好。并且,维数的选择对分类的精确度影响很大。     

基于二次熵的互信息特征选取方法的研究

随着全球网络的普及应用，大量没有统一结构和管理的在线资源急需进行处理，高效的网页自动分类方法是从网上海量信息中提取所需信息的关键技术，特征选取又是文本分类挖掘的重要基础，本文以广义信息论为理论基础，提出了基于二次熵的互信息特征选取方法，独立评估特征集中的每个特征，分析特征和类别的关系，从高维的特征空间中选取出对文本分类有效的特征，降低了文本特征空间的维数，提高了文本分类的性能。     

文本分类TF-IDF算法的改进研究

中国互联网环境的发展,让大量蕴含丰富信息的新词得以普及。而传统的特征词权重TF-IDF（Term Frequency and Inverted Document Frequency）算法主要考虑TF和IDF两个方面的因素,未考虑到新词这一新兴词类的优势。针对特征项中的新词对分类结果的影响,提出基于网络新词改进文本分类TF-IDF算法。在文本预处理中识别新词,并在向量空间模型表示中改变特征权重计算公式。实验结果表明把新词发现加入文本预处理,可以达到特征降维的目的,并且改进后的特征权重算法能优化文本分类的结果。     

一种基于聚类的文本特征选择方法

传统的文本特征选择方法存在一个共性，即通过某种评价函数分别计算单个特征对类别的区分能力，由于没有考虑特征间的关联性，这些方法选择的特征集往往存在着冗余。针对这一问题，提出了一种基于聚类的特征选择方法，先使用聚类的方法对特征间的冗余性进行裁减，然后使用信息增益的方法选取类别区分能力强的特征。实验结果表明，这种基于聚类的特征选择方法使得文本分类的正确性得到了有效的提高。     

基于空白条方向拟合的复杂文本图像倾斜检测

针对扫描背景不定且含有图表信息的复杂文本图像，提出了一种有效的倾斜检测方法。该方法首先通过对梯度图像的统计分析，自适应地选取到了包含文字的特征子区；在特征子区内，论文把文字行间的空白条带看作一条隐含的线，用优化理论计算出空白条带的倾斜角度，这也就是文本的倾斜角度。实验结果表明，该倾斜检测方法不受扫描背景、边界大小、文本布局及行间距等情况的限制，具有速度快、精度高、适应性强的特点。     

基于DSR和BGRU模型的聊天文本证据分类方法

即时通信等社交软件产生的聊天文本内容证据数据量大且聊天内容含有"黑话"等复杂语义,数字取证时无法快速识别和提取与犯罪事件有关的聊天文本证据.为此,基于DSR(dynamic semantic representation)模型和BGRU(bidirectional gated recurrent unit)模型提出一个...     

用于聊天词汇的权重计算方法CDTF*IDF

随着聊天室的广泛使用,对聊天内容监控也变成亟待解决的问题.在聊天室监控中,为衡量聊天数据中词汇对聊天内容的描述能力,现在一般直接采用文本词汇的权重计算方法;然而,这种方法忽视了聊天数据与静态文本结构上的差异,导致计算出的权重并不能准确反应词汇描述聊天内容的能力.针对聊天数据的固有特点,提出了一种专门针对聊天数据的词汇权重计算方法CDTF*IDF.该方法通过分别计算词汇在不同数据源中的权值并汇总、并对重点词汇提高权重等方式来计算聊天数据的词汇权重.基于IRC聊天室内容监控的实验表明:该方法能较好地衡量聊天词汇的权重,同时基于该方法的监控系统能够准确地识别出聊天数据中的话题.     

中文网络聊天语言的奇异性与动态性研究

随着互联网走入社会生活,网络聊天逐渐成为一种新的沟通渠道,网络聊天语言便应运而生。这类语言的日益丰富,给语言信息处理带来了新的挑战。研究发现,困难主要来自网络聊天语言的奇异性和动态性。本文借助真实网络聊天语言文本,对网络聊天语言的奇异性和动态性进行详细分析和归纳,并设计了面向解决奇异性和动态性问题的网络聊天语言文本识别与转换方法。我们先以网络聊天语言语料库为基础建立网络聊天语言模型和语言转换模型,通过信源–信道模型实现网络聊天语言向标准语言的转换。但该方法过于依赖网络聊天语言语料库,虽然能较好解决奇异性问题,但不能处理动态性问题。因此,我们进而以标准汉语语料库为基础建立文字语音映射模型,对信源–信道模型进行改进,最终有效解决了网络聊天语言的动态性问题。     

Examining students’ online interaction in a live video streaming environment using data mining and text mining

This study analyses the online questions and chat messages automatically recorded by a live video streaming (LVS) system using data mining and text mining techniques. We apply data mining and text mining techniques to analyze two different datasets and then conducted an in-depth correlation analysis for two educational courses with the most online questions and chat messages respectively. The study found the discrepancies as well as similarities in the students’ patterns and themes of participation between online questions (student–instructor interaction) and online chat messages (student–students interaction or peer interaction). The results also identify disciplinary differences in students’ online participation. A correlation is found between the number of online questions students asked and students’ final grades. The data suggests that a combination of using data mining and text mining techniques for a large amount of online learning data can yield considerable insights and reveal valuable patterns in students’ learning behaviors. Limitations with data and text mining were also revealed and discussed in the paper.     

Developing a Chat Reference Training Program

ABSTRACT

In the last few years, chat reference services have been implemented by public, college and university libraries. One important aspect of the chat reference service is library staff training. Literature shows that this is a vital step in offering a chat reference service. Library staff need to be well-trained in areas of chatting, reference interviewing in a digital environment and using electronic resources, such as the Internet and databases. This article discusses the chat reference training program at the University of Nevada, Las Vegas. The following text provides an outline for establishing a chat training program including planning, organization, implementation and assessment. Areas of discussion include the chat reference interview, chatting and patron management techniques.     

Topic Identification in Dynamical Text by Complexity Pursuit

The problem of analysing dynamically evolving textual data has arisen within the last few years. An example of such data is the discussion appearing in Internet chat lines. In this Letter a recently introduced source separation method, termed as complexity pursuit, is applied to the problem of finding topics in dynamical text and is compared against several blind separation algorithms for the problem considered. Complexity pursuit is a generalisation of projection pursuit to time series and it is able to use both higher-order statistical measures and temporal dependency information in separating the topics. Experimental results on chat line and newsgroup data demonstrate that the minimum complexity time series indeed do correspond to meaningful topics inherent in the dynamical text data, and also suggest the applicability of the method to query-based retrieval from a temporally changing text stream. This revised version was published online in June 2006 with corrections to the Cover Date.     

基于网络聊天的文本隐写算法

提出一种可应用于纯文本的英文文本隐写算法,通过微调各单词内部相邻字符对的排序嵌入信息.使用矩阵编码提高了嵌入效率,并提出将该算法应用于网络聊天中以增加隐蔽性.实验证明该算法具有良好的不可见性和安全性,容量也较为理想.     

基于GRU+LDA的群聊主题挖掘

社交网络发展迅速,即时消息系统已成为人们日常生活中必不可少的沟通交流工具。在线群聊能使人们迅速交流生活、技术及工作等信息,但是由于群聊信息更新较快,大量的信息导致跟进群聊话题是困难的。传统的主题挖掘模型不能很好地适用于群聊文本的挖掘。通过对群聊文本的特征进行分析,提出一种基于GRU和LDA的群聊会话主题挖掘（GLB-GCTM, GRU and LDA Based Group Chat Topic Mining）模型,解决了传统主题模型不能解决的词语顺序问题。首先,假定每个文档有一个基于高斯分布的主题向量,然后根据GRU原理产生每个词的隐含状态,根据当前词的隐含状态的伯努利分布确定当前词是否为停用词,以决定所使用的语言模型。该方法使用笔者加入的10个QQ群最近3个月的群聊数据集进行试验验证,结合对比实验评估标准,该模型能够有效识别出群聊文本中的主题。     

基于Doc2Vec与SVM的聊天内容过滤

直播系统中用户聊天内容的实时拦截具有非常重大的意义,为了提高分类的准确率和效率,提出了一种基于Doc2Vec与SVM结合的文本分类模型对聊天内容分类,判断聊天内容是否应该被拦截.首先使用Doc2Vec模型将聊天内容表示成密集数值向量的形式,第二部分使用SVM分类器进行分类.通过实验表明,该模型有效地减少了文本表示的维度,提高了训练效率,而且具有的97%的准确率和89.82%召回率,性能优于朴素贝叶斯和基于Doc2Vec的Logistic模型.     

Normalization of Chinese chat language

Real-time communication platforms such as ICQ, MSN and online chat rooms are getting more popular than ever on the Internet. There are, however, real risks where criminals and terrorists can perpetrate illegal and criminal abuses. This highlights the security significance of accurate detection and translation of the chat language to its stand language counterpart. The language used on these platforms differs significantly from the standard language. This language, referred to as chat language, is comparatively informal, anomalous and dynamic. Such features render conventional language resources such as dictionaries, and processing tools such as parsers ineffective. In this paper, we present the NIL corpus, a chat language text collection annotated to facilitate training and testing of chat language processing algorithms. We analyse the NIL corpus to study the linguistic characteristics and contextual behaviour of a chat language. First we observe that majority of the chat terms, i.e. informal words in a chat text, is formed by phonetic mapping. We then propose the eXtended Source Channel Model (XSCM) for the normalization of the chat language, which is a process to convert messages expressed in a chat language to its standard language counterpart. Experimental results indicate that the performance of XSCM in terms of chat term recognition and normalization accuracy is superior to its Source Channel Model (SCM) counterparts, and is also more consistent over time.