基于短文本的独立语义特征抽取算法

提出了一种基于短文本的独立语义特征抽取算法，旨在降低文本向量的稀疏性并提其高语义表示能力。该算法首先采用潜在语义分析降低文本的维数并去除噪声，然后运用独立成份分析方法在潜在语义特征中提取出最能表达语义且相互统计独立的特征。实验表明此算法优于潜在语义索引算法。     

基于多模板匹配和可信度分析的中文文档图像关键词过滤方法*

针对互联网中文文档图像非法信息过滤提出了一种多模板匹配结合可信度分析的方法。该方法克服了传统OCR速度慢的缺点,同时改善了基于图像特征匹配方法对字体和噪音敏感的特性。通过改变关键词搜索方式有效地减小了计算量,提高了识别速度。实验结果表明了该方法的有效性。     

基于语法、语义信息的多滤波器集成边缘检测

本文提出一种基于语法、语义信息的多滤波器集成边缘检测方法.该方法把图像灰度分布的形式所包含的边界信息看成是语义信息,而把不同滤波器所提取出的灰度分布形式的信息看成是语法信息.我们从语法信息出发,按一定的逻辑推出不同种类的边界.最后再用模糊逻辑得出符合实际需要的边缘检测结果.基于本文的思想,本文构造了几种具有选择性和抗噪性的滤波器,利用滤波器得到的语法信息得到语义边界.实验结果表明本文的方法具有较好的边缘检测效果和抗噪能力.     

基于多滤波器集成的边缘检测

该文用多种滤波器从图像中提取灰度分布特征;针对不同类别的边缘,分别用不同的灰度分布特征组合进行检测;把不同类别边缘的检测结果集成以实现图像边缘检测。本文所提方法把边缘检测转化为模式识别问题,从而增加了边缘检测的灵活性,同时也提高了检测质量。实验结果表明该方法具有较好的检测效果和抗噪能力。     

手写金融汉字识别中的可信度估计

由于实际票据中的手写金融汉字书写得并不规范,而且还会受到票据的背景底纹和印章等因素干扰,所以正确识别率很低.为了达到要求的识别精度,必须拒识大量样本,这样就限制了票据识别系统的自动处理率.本文提出一种基于支持向量机的可信度估计方法,其特点是针对每个文字类别,专门构造用于易混淆字判断与可信度估计的支持向量机.该方法充分利用了支持向量机在少量训练样本情况下对两类判断问题的学习能力,可以准确地估计可信度,从而在拒识较少样本的情况下达到要求的识别精度.     

基于自动机的微博在线突发话题检测算法

提出一种基于状态自动机的突发特征检测算法,针对微博数据长度小,语言不规范,噪声大,数据量大的特点,优化预处理过程和状态自动机模型参数;提出一种突发话题聚类算法,对特征词的词频向量表示进行改进,并引入基于词激活力(WAF)的词法特征,使得聚类效果更加准确,得到的突发话题可读性更强.最后通过实验方法验证了算法的可行性.     

用于LDA的无监督特征选择(英文)

As a generative model,Latent Dirichlet Allocation Model,which lacks optimization of topics' discrimination capability focuses on how to generate data,This paper aims to improve the discrimination capability through unsupervised feature selection.Theoretical analysis shows that the discrimination capability of a topic is limited by the discrimination capability of its representative words.The discrimination capability of a word is approximated by the Information Gain of the word for topics,which is used to d...     

智能文本搜索新技术

面对当今互联网上海量的信息,以及搜索信息准确、高效、个性化等需求,提出了一套包括信息检索、信息抽取和信息过滤在内的智能文本搜索新技术.首先举荐了与信息检索新技术相关的企业检索、实体检索、博客检索、相关反馈子任务.然后介绍了与信息抽取技术相关的实体关联和实体填充子任务,以及与信息过滤技术相关的垃圾邮件过滤子任务.这些关键技术融合在一起,在多个著名的国际评测中得到应用,如美国主办的文本检索会议评测和文本分析会议评测,并且在互联网舆情、短信舆情和校园网对象搜索引擎等实际系统中得到了检验.     

一种结构化数据关系特征抽取和表示模型

WAF（词激活力）是一种基于统计的描述词与词关系的算法,WAF不单纯是考虑的词之间的关联,还考虑了词前后顺序,词与词之间的距离,包含了概率和语言规则两种信息量。本文提出一种实体结构化数据的关系特征抽取算法,并基于该特征实现实体聚类。首先提取出实体结构化数据的语义和语境特征,以此来文本建模,然后对每个属性基于WAF值进行相似度计算,最后进行实体聚类。     

基于弱监督和半自动方法的中文关系抽取数据集构建

关系抽取是信息抽取中的一项基础任务,对信息检索、问答系统、知识图谱等有非常重要的意义。现有的关系抽取数据集存在包含类别太少、句子标注困难、不易扩展等缺陷,且只有英文数据集,不能很好地解决中文关系抽取任务。该文采用弱监督和半自动的方法,构建了一份中文关系抽取数据集,弥补了上述不足。首先借助维基百科抽取出丰富的关系对,从百度搜索返回结果及搜狗新闻语料中抽取包含实体对的句子,完成弱监督句子抽取过程。将句子放入RNN关系抽取系统进行打分,选取标注价值高的句子提交人工标注,对标注结果进行处理,最终得到中文关系抽取数据集。