基于页面分块与信息熵的评论发现及抽取*

提出了一种新颖的REA(Review Extract Algorithm)算法进行评论信息的发现与抽取.算法采用了页面分块与信息熵的迭代计算技术实现了评论块的自动发现与抽取.其中,页面分块技术的运用有效地去除了噪声信息;基于块的熵值计算精确定位了每一个用户评论.实验结果证明该算法具有较高的查全率与查准率.     

一种Web评论自动抽取方法

Web用户评论是许多重要应用的信息来源,比如公众舆情的检测与分析,Web用户评论必须从网页中准确地抽取出来.用户生成内容(user-generated content)不受页面模板的限制,这就给Web数据抽取提出了新的挑战:首先,不同用户评论内容的不一致性严重影响了评论记录在DOM树和视觉上的相似性;其次,评论内容在DOM树中是一棵复杂的子树,而且彼此之间在DOM树中的结构相差巨大.为了解决这两个问题,提出了一种完整的解决方案,使用多种技术来实现对用户评论内容的抽取.抽取过程分为两个步骤,基于深度加权的树相似性算法评论记录首先从网页中抽取出来,然后通过比较DOM树中节点的一致性,将纯粹的用户评论内容从评论记录中抽取出来.在多个新闻网站和论坛网站上的实验结果表明,该方法可以达到较高的准确度和效率.     

评论信息抽取技术在网络贸易系统平台上的应用

准确挖掘购物网站中的用户评论对商家和顾客进行有效的推荐具有重要作用.本文研究了现有的网络贸易系统平台的功能模块,给出了用户评论信息抽取的具体方法,并指出用户评论信息抽取模块应用到网络贸易系统平台的优势和实际意义.     

基于功能语义单元的博客评论抽取技术

博客作为一类重要的网络信息资源,其评论信息抽取是舆情分析等研究工作的基础。总结了当前主流的博客评论抽取算法,介绍了页面结构在信息抽取中的应用,并结合人理解网页时充分利用“首页”等指示性短语的特点,提出利用具有明确语义和功能指示作用的功能语义单元来抽取评论信息的技术;详细介绍了抽取过程中涉及的页面结构线性化、功能语义单元识别、正文识别和评论抽取算法等内容。最后,通过实验证明,该技术在博客的正文和评论信息抽取上能取得良好效果。     

Web行情数据的抽取研究

根据“行情数据常表现为最大的表格区域”等规律，提出了先识别最大表格再自动抽取行情数据的抽取算法，该算法无需用户定义目标区域即可自动抽取并存储数据。     

Web行情数据的抽取研究

根据“行情数据常表现为最大的表格区域“等规律,提出了先识别最大表格再自动抽取行情数据的抽取算法,该算法无需用户定义目标区域即可自动抽取并存储数据.     

用户评论中产品特征的抽取及聚类

在用户评论中蕴含了大量的产品特征和用户对这些特征的观点和态度.本研究提出了基于Apriori关联规则算法的产品特征抽取方法,利用与种子特征集合的互信息和与观点词的共现度对候选特征进行过滤;并提出了一种特征自动聚类方法,以特征词间的字符串相似度和语义相似度以及特征所对应的观点词作为衡量产品特征之间关联程度的特征,采用K-means聚类算法对产品特征进行聚类.本研究采用大众点评网对美食店铺的评论语料,对该方法进行了数据实验,实验结果初步验证了该方法有效性.     

中文产品评论结构化引擎

为实现网络上非领域相关的中文产品评论信息的搜索及结构化,设计并实现中文产品评论结构化引擎,该引擎通过抓取网络上指定产品的评论,抽取评论中的特征与意见,判断意见的极型,将评论以（特征,意见,极型）的结构化形式输出给用户。其中特征意见抽取解决了产品隐形特征抽取问题。实验结果表明该引擎的特征意见召回率与准确率、意见极型判断准确率等指标可以满足用户需要。     

产品特征的层次关系获取

产品评论挖掘用来对用户发表到网络上的众多评论内容进行信息提取,从而获得用户对产品的部件或功能的褒贬评价。现有的产品评论挖掘研究中没有对上下位的特征、同一特征的不同词语表达进行处理。首先对厂家规格说明文档的结构化表示进行挖掘获得厂家规格特征及其关系,再使用Bootstrapping弱监督方法从网站编辑评测文章中抽取出用户的描述特征及与规格特征之间的层次关系。应用该方法在手机领域的产品特征关系进行了抽取,实验结果显示获得的产品特征之间的层次关系很好的效果。     

基于特征的用户评论自动摘要

电子商务网站允许用户对商品发表评论,用户评论通常含有用户对商品的主观性体验,常被潜在顾客作为比较不同商品并作出购买选择的参考,也可被生产厂商作为市场反馈调查的数据来源.然而,由于电子商务的发展,热门商品常常拥有成百甚至上千条用户评论,这使得阅读所有评论十分耗时.提出了一种基于特征的用户评论自动摘要方法,能够自动生成简洁、全面的摘要 .首先自动从评论中识别用户评价的商品特征,根据特征对评论句分类,然后使用句子抽取的方法生成摘要 .实验证明该特征识别和特征过滤算法的查准率平均可达81%,查全率为52%.相较于Hu和Liu使用的频繁项集挖掘算法.查全率降低了6%,而查准率提高了24%,F1值提高为6%.算法更加注重特征识别的查准率,总体的摘要效果比较好.     

基于启发式强化学习的动态CRE偏置选择算法

随着通信用户数量的不断增长,低功率基站逐渐出现负载不均衡问题,小区边缘用户受到的干扰逐步增加,从而导致整个小区的通信质量降低。为解决该问题,针对双层异构网络场景,提出一种基于启发函数进行小区范围扩展(CRE)偏置值动态选择的HSARSA(λ)算法。利用启发函数改进强化学习中的SARSA(λ)算法,通过该算法寻找出最优CRE偏置值,以缓解宏基站高热点负载压力并提高网络容量。仿真结果表明,相比SARSA(λ)和Q-Learning算法,HSARSA(λ)算法的边缘用户吞吐量分别提高约7%和12%,系统能效分别提高约11%与13%,系统通信质量得到较大提升。     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

基于DOM的评论发现及抽取模型研究

Internet发展至今,除了静态的网页文本,目前出现较多的是基于动态文本的BBS评论、电子商务评论等.如何自动挖掘这些评论信息,变得日益重要.提出了一种新颖的评论算法进行评论信息的发现与抽取.采用了DOM技术对页面进行分块,同时结合信息熵的迭代计算技术实现了评论块的自动发现与抽取.     

基于LSTM的商品评论情感分析

随着电子商务的发展,产生了大量的商品评论文本.针对商品评论的短文本特征,基于情感词典的情感分类方法需要大量依赖于情感数据库资源,而机器学习的方法又需要进行复杂的人工设计特征和提取特征过程.本文提出采用长短期记忆网络（Long Short-Term Memory）文本分类算法进行情感倾向分析,首先利用Word2vec和分词技术将评论短文本文本处理为计算机可理解的词向量传入LSTM网络并加入Dropout算法以防止过拟合得出最终的分类模型.实验表明：在基于深度学习的商品评论情感倾向分析中,利用LSTM网络的短时记忆独特特征对商品评论的情感分类取得了很好的效果,准确率达到99%以上.     

基于情感极性与SMOTE过采样的虚假评论识别方法*

为了有效识别商品虚假评论,提出一种基于情感极性与SMOTE过采样的虚假评论识别方法。首先,根据在线虚假评论的特点,构建一个多维虚假评论特征模型。其次,在情感极性算法中增加了情感极性均值和情感极性标准差等统计指标来全面刻画虚假评论。最后,针对虚假评论中的类不平衡问题,使用SMOTE算法优化随机森林分类模型,从而提高虚假评论识别效果。基于大众点评网的真实评论数据进行了多组实验,实验结果表明该方法在正负样本不平衡的虚假评论数据集中具有更高的准确率、召回率及F值。综合考虑情感极性和正负样本不平衡等因素可帮助电商平台有效过滤虚假评论,为消费者提供更加真实可靠的评论数据。     

A strategy for acquiring customer requirement patterns using laddering technique and ART2 neural network

With the increasing interest and emphasis on customer demands in new product development, customer requirements elicitation (CRE) and evaluation have secured a crucial position in the early stage of product conceptualization. As such, it is highly desired to have a systematic strategy for soliciting customer requirements effectively, and subsequently, analyzing customer orientations quantitatively. For this purpose, a customer-oriented approach has accordingly been proposed and investigated in this study. It concerns both breadth and depth perspectives of customer requirements acquisition as well as customer and marketing analysis. This prototype system comprises two interrelated components, namely, the CRE and the customer/marketing analysis (CMA) modules. The process starts from the voice of customers and ends with the identified opportunities from marketing analysis. In the prototype system, the laddering technique has been employed to enable CRE via the so-called customer attributes hierarchy (CAM). In addition, the adaptive resonance theory, particularly ART2, neural network has been applied as a toolkit for further customer and marketing analysis. A case study on wood golf club design is used to demonstrate and validate this approach.     

无参考图像质量评价综述

图像质量对人类视觉信息的获取影响很大, 如何在没有参考图像的情况下准确地评价失真图像的质量是一个关键但又非常困难的问题. 本文回顾了近20年来无参考图像质量评价发展的主要技术. 首先,介绍了这一领域常用的衡量评价算法性能的技术指标,以及几个网上共享的典型图像质量评价数据库; 然后,对各种无参考图像质量评价算法进行详细的分类介绍和特点评析; 最后,基于典型数据库对近几年的一些非特定失真图像质量评价方法进行了性能测试和比较. 目的是为这一领域的研究人员提供一个较为全面的、有价值的文献参考.     

Quaternary Fixed-Polarity Reed-Muller expansion computation through operations on disjoint cubes and its comparison with other methods

A new algorithm for calculating quaternary Fixed-Polarity Reed-Muller (FPRM) spectra is described in this paper. The presented algorithm directly converts array of disjoint cubes representation of a quaternary function into its FPRM spectral coefficients. The main advantage of this algorithm is that it requires less memory space than other algorithms. Since each spectral coefficient can be calculated independently of other spectral coefficients, the algorithm can be implemented using parallel programming. Brief reviews and experimental results of several existing algorithms for the calculation of quaternary FPRM spectra are also included in this paper together with experimental results of the new algorithm for comparison purpose.     

基于特征检索的中文短评生成

针对从大数据评论语料库中检索出与新闻主题相关且含有情感倾向性的中文评论的研究较少的问题,研究在不同新闻粒度下的特征检索方法,从中文评论语料库中检索生成评论。采用主题特征检索的方法检索出与新闻主题特征相关的评论;采用情感特征融合的检索方法从主题特征检索的结果中生成所需情感倾向性的评论。实验结果表明,在新闻标题粒度下生成评论的主题相关性最高;采用主题特征融合的检索方法和情感特征融合的检索方法比单一检索方法生成准确率更高。     

情感分析在电影推荐系统中的应用

基于用户的协同过滤推荐算法是通过分析用户行为寻找相似用户的集合,其核心是用户兴趣模型的建立以及用户间相似度的计算。传统的用户推荐算法是根据用户评分或者物品信息等行为数据进行个性化推荐,准确率比较低。充分考虑在线评论对于用户之间兴趣相似度的作用,通过对评论的情感分析,构建准确的用户兴趣模型,若用户在评论中表现出来的相似度越高,则表示用户之间的兴趣越相似。实验表明,和传统的基于用户的协同过滤推荐算法相比,基于评论情感分析的协同过滤推荐算法,无论准确率还是召回率都有明显提高。