基于动态记忆和双层重构强化的知识图谱至文本转译模型

知识图谱转译文本(Graph-to-Text)是知识图谱领域中一个新的任务,旨在将知识图谱转化为描述该知识的可读性文本。随着近年来研究的不断深入,知识图谱转译文本的生成技术已经被应用于商品评论生成、推荐解释生成、论文摘要生成等领域。现有方法中的转译模型均采用先规划后实现的方式,未能根据已生成文本动态调整规划且未按静态内容规划对知识进行跟踪,导致文本前后语义不连贯。为了提高生成文本语义的连贯性,文中提出了基于动态记忆和双层重构强化的知识图谱至文本转译模型,通过静态内容规划、动态内容规划和双层重构机制这3个阶段,弥补了知识图谱与文本之间的结构化差异,在生成文本的同时侧重关注各三元组中的重要内容。与现有的生成模型相比,该模型不仅能缓解知识图谱与文本之间的结构化差异,还提高了定位关键实体的能力,从而使生成的文本具有更强的事实一致性和语义连贯性。在WebNLG数据集上进行了广泛实验,结果表明,在知识图谱转译文本的任务上,所提模型与现有模型相比,内容规划更加准确,生成文本语句间的逻辑合理且关联性更强,在BLEU,METEOR,ROUGE,CHRF++等指标上优于现有模型。     

用户粒度级的个性化社交文本生成模型

针对开放性的社交文本领域的文本生成技术生成的文本内容缺少个性化特征的问题,提出了一种用户级的细粒度控制生成模型,即PTG-GPT2-Chinese(Personalized Text Generation Generative Pre-trained Transformer 2-Chinese）。所提模型基于GPT2(Generative Pre-trained Transformer 2.0）结构设计了Encoder-Decoder模型框架。首先在Encoder端对用户的静态个性化信息建模并编码,在Decoder端添加了双向独立的注意力模块,用于接收该静态的个性化特征向量,并利用原始GPT2结构中的注意力模块捕获用户文本中的动态个性化特征;然后,动态加权融合各注意力模块分数并参与后续解码,从而自动生成以用户个性化特征属性作为约束的社交文本;此外,为了解决用户基本信息的语义稀疏性导致的生成文本偶尔与某些个性化特征存在矛盾的问题,采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成,最终实现个性化的社交文本生成。实验结果表明,与GPT2模型相比,所提模型...     

一种大数据环境下的在线社交媒体位置推断方法

随着在线社交媒体的快速发展和可定位设备的大量普及,地理位置作为社交媒体大数据中一种质量极高的信息资源,开始在疾病控制、人口流动性分析和广告精准投放等方面得到广泛应用.但是,由于大量用户没有指定或者不能准确指定位置,社交媒体上的地理位置数据十分稀疏.针对此数据稀疏性问题,提出一种基于用户生成内容的位置推断方法UGC-LI(user generate content driven location inference method),实现对社交媒体用户和生成文本位置的推断,为基于位置的个性化信息服务提供数据支撑.通过抽取用户生成文本中的本地词语,构建一个基于词汇地理分布差异和用户社交图谱的概率模型,在多层次的地理范围内推断用户位置.同时,提出一个基于位置的参数化语言模型,计算用户生成文本发出的城市.在真实数据集上进行的评估实验表明:UGC-LI方法能够在15km偏移距离准确定位64.2%的用户,对用户所在城市的推断准确率达到81.3%;同时,可正确定位32.7%的用户生成文本发出的城市,与现有方法相比有明显的提高.     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

结合内容特征提取和弹幕文本的短视频推荐模型构建及仿真

针对现有短视频推荐准确率不高的问题，提出一种融合视频内容与弹幕文本分析的短视频推荐方法。该推荐方法中首先采用LDA模型提取弹幕文本主题，然后提取出短视频内容特征，再根据短视频的高光时刻生成候选推荐列表；在候选推荐列表生成基础上，运用RNN对用户的长期兴趣进行建模，使用门控单元GRU处理短期兴趣，最终提出了一种结合长短期的短视频推荐模型，对用户进行推荐。结果证明，深度学习方法可最大化地获取短视频的内容特征，提高处理效率；结合用户长短期兴趣的短视频推荐模型在准确率、召回率以及MRR平均倒数排名等评价指标上优于其他目前使用广泛的推荐模型。由此说明，提出的推荐方法，可以更好地运用在实际推荐中。     

加入目标指导的强化对抗文本生成方法研究

针对有监督的深度神经网络文本生成模型容易造成错误累积的问题,提出一种基于强化对抗思想训练的文本生成模型。通过将生成对抗网络鉴别器作为强化学习的奖励函数及时指导生成模型优化,尽量避免错误累积;通过在生成过程中加入目标指导特征帮助生成模型获取更多文本结构知识,提升文本生成模型真实性。在合成数据和真实数据集上的实验结果表明,该方法在文本生成任务中,较之前的文本生成模型在准确率和真实性上有了进一步的提高,验证了加入目标指导的强化对抗文本生成方法的有效性。     

基于用户意图的微博文本生成技术研究

微博是个人和组织用户分享或获取简短实时信息的重要社交平台,微博文本自动生成技术能帮助用户在微博平台上快速实现各种社交意图。为辅助用户发表博文并表达社交意图,提出一种基于用户意图的微博文本生成技术,以挖掘提取微博文本特征,并在给定微博主题的条件下生成与用户意图相一致的微博文本。采用预训练语言模型与微调相结合的方法,在预训练语言模型GPT2上实现联合主题和用户意图的文本控制生成,以及具备用户对话功能的文本预测生成。实验结果表明,该技术生成的文本具有较高的可读性且符合微博文本语言风格,结合主题和5类用户意图的生成样本人工评分达77分以上。     

公安信息服务平台的智能人机对话生成方法研究

针对公安信息服务平台人机对话答非所问、服务能力低下的问题，研究提出了通过LSTM优化CNN模型的对话意图识别方法，将用户的对话分为意图清晰和意图不明的两种类型。对清晰意图的对话采用人工规范模块文本生成，而对于意图不明的对话则采用注意力机制优化的Seq2Seq模型进行对话生成。同时本次研究对LSTM-CNN意图识别模型和优化的Seq2Seq文本生成模型进行数据集仿真实验，LSTM-CNN的平均识别精度为0.943,召回率0.922,F1值为0.932,高于其他文本识别算法；而优化的人机对话系统对话生成答非所问的情况仅有4%,低于传统的文本生成方法。本次研究提出的公安信息服务平台的智能人机对话生成方法性能优越，可以有效提高公安工作的服务水平。     

TP-AS: 一种面向长文本的两阶段自动摘要方法

随着互联网上信息的爆炸式增长,如何有效提高知识获取效率变得尤为重要。文本自动摘要技术通过对信息的压缩和精炼,为知识的快速获取提供了很好的辅助手段。现有的文本自动摘要方法在处理长文本的过程中,存在准确率低的问题,无法达到令用户满意的性能效果。为此,该文提出一种新的两阶段的长文本自动摘要方法TP-AS,首先利用基于图模型的混合文本相似度计算方法进行关键句抽取,然后结合指针机制和注意力机制构建一种基于循环神经网络的编码器—解码器模型进行摘要生成。通过基于真实大规模金融领域长文本数据上的实验,验证了TP-AS方法的有效性,其自动摘要的准确性在ROUGE-1的指标下分别达到了36.6%(词)和33.9%(字符),明显优于现有其他方法。     

基于对抗式生成网络的电力用户意图文本生成

回答用户问询是电力营业厅的重要业务,使用智能系统识别用户意图可以大量减少人力成本、简化工作流程。真实的电力用户文本规模小、获取困难,从而导致智能系统深度学习效果仍待提升。为了解决语料不足的问题,提出一种基于对抗式生成网络的用户问询文本生成方法。实验通过将生成的文本加入训练集,使得RNN意图识别网络在测试集上的准确率由79. 6%提升到82. 1%。实验采用BLEU算法为评价方法,验证生成文本和真实文本的高相似度。由此证明使用用户问询文本生成模型可以生成符合实际需求的电力用户问询文本。     

IPTV service based on a content-zapping paradigm

Internet protocol television (IPTV) generically designates a real-time distribution service for multimedia contents over an IP network, such as the Internet. There are many advantages of IPTV deployment over current digital or air broadcast TV signals: integration, the use of the switched internet protocol (IP), the possibility to build home networks that can be used to share multimedia contents over different devices, the easy implementation of video on demand services and the usage of better compression and encryption standards. In order to implement this kind of service, it is extremely useful to have a system that can efficiently classify multimedia contents and users and distribute them in a customized way. This paper proposes a novel IPTV service for the distribution of personalized multimedia contents over IP networks based on the concept of content-zapping, in contrast to traditional channel-zapping: each client system receives a multimedia streaming that is automatically composed by the system based on the user preferences and the user will only interact with the system by requesting a content change or marking a content as favorite. The paper will describe the general functionality of the service and will present the detailed architecture of the IPTV server, the key component of the service infrastructure. The server must maintain a list of media contents residing in other systems and must keep a dynamic classification of the multimedia contents that are stored in its database. This classification is built and gradually refined based on the interactions between clients and multimedia contents. Special attention is given in the paper to the classification model, describing the general ideas that are used to automatically suggest multimedia contents to a specific user (that is characterized by his complete profile). A specific content may be suggested to the user based on the knowledge of the user profile and/or based on specific and dynamic information, such as the user position, the local temperature, date and time. The availability of this information obviously depends on the specific user device that is being used. The proposed system allows any client device to connect, allowing a high level of interoperability. It is also possible to use all the device capabilities and sensors, like Global Positioning System (GPS), accelerometers, light sensors, noise sensors, etc., thus creating a context environment that helps classify each user profile. These context-awareness mechanisms applied to mobile devices with wireless network (802.11b/g/n, WiMAX, GSM, UMTS, etc.) capabilities allow a better user experience and more accurate multimedia suggestions, due to the deep knowledge about the user device, network and environment. The system also allows the users to suggest contents to other users in the same “group of friends”. Several performance tests were already conducted and the results obtained show that the proposed system is very stable and fast, even for high increases on the number of users.     

交互式植物建模系统

植物建模是研究植物的形态结构及其生长发生过程的重要手段,也是计算机图形学的研究热点之一.文中设计出一套满足用户需要的、可以生成各种不同的植物形态结构的交互式植物建模系统.根据植物枝干的形态特征,在建模过程中首先采用迭代的方法生成若干不同的分枝,然后根据全局算法将不同的分枝组合成植物的整体分枝结构.用户可以通过系统提供的交互式界面调整参数,控制每一步的生成结果;在叶片建模过程中,结合植物形态学知识可提供大量的叶片模型以及叶序排列模式,用户选择相应的叶片模型或根据需要添加新的叶片模型.实验结果表明,该系统操作简单方便,生成的植物真实感较强.     

基于评论主题分析的评分预测方法研究

推荐系统(recommender system)广泛应用于电子商务网站。目前流行的基于协同过滤的推荐算法利用用户的历史评分来预测用户对物品的喜好程度。随着互联网的发展,如今的电子商务网站越来越注重与用户的交互,于是产生了大量的用户生成内容(user generated content),如评论、地理位置、好友关系等。相对评分来说,用户对物品的评论从用户或者物品的各个角度具体表达了用户的观点。利用这些信息更有助于挖掘用户的喜好。该文提出一种基于词向量的方法挖掘用户评论信息,并结合协同过滤的方法设计新的推荐算法,来改善评分预测的效果。实验结果表明,该算法较大程度上提高了评分预测精度。     

基于超图网络的产品设计知识智能推荐方法研究

面向产品设计的知识管理系统中,为了提高知识库中海量设计知识推荐的效率和效果,从产品结构知识、过程知识以及知识标识三个维度构建了设计知识文档超图网络,利用hyper2vec技术建立了知识表示模型,生成了知识特征向量库。采用用户行为信息,提出了基于超边序列的Markov知识推荐模型,预测候选知识文档。通过知识特征向量相似度扩充候选集,建立个性化用户兴趣模型对候选推荐集进行过滤和排序。在冷镦机专利的知识服务系统中进行应用验证,实验表明该推荐方法在推荐准确度和多样性方面有着良好的效果,验证了其可行性和有效性。     

Modeling the user's conceptual knowledge in BGP-MS,a user modeling shell system1

The paper describes the modeling of a user's conceptual knowledge in the general user modeling shell system BGP-MS. On the one hand, BGP-MS is a workbench for the develment of a user model in a particular application domain. It supports the definition of the architecture of the individual user model, and of the architecture and the contents of user stereotypes. A rich representation language for conceptual knowledge, a partition mechanism, and flexible graphics-based interfaces are at the disposal of the user model developer. On the other hand, BGP-MS is a runtime user modeling tool aimed at fulfilling central tasks of a user modeling component in an application system. In this mode, the system offers a functional interface for accessing and updating the model of the current user, as well as basic domain-independent inference mechanisms, support for inferences defined by the developer, and a customizable stereotype management utility. The usefulness of BGP-MS will be demonstrated by illustrating how it can support the user modeling of various recently developed application systems.     

融合知识感知和时间感知的用户偏好网络

在知识感知推荐领域,基于嵌入传播的方式可以挖掘知识图谱的结构化信息,也能够获取n跳实体间的语义信息,但随着传播范围的增加,嵌入传播方式会丢失部分结构化信息,且以这种方式所获得的用户向量表示是粗粒度的,不能充分表征用户的偏好。针对以上问题,提出了一种融合知识感知和时间感知的用户偏好网络(FKTUPN)。首先在嵌入层生成知识图谱的一阶嵌入向量,同时单独为用户偏好进行细粒度的建模;然后用随机游走的方式划分时间槽,进行时间上下文编码,获取图结构的上下文信息,并将该结构化信息嵌入到关系向量中;随后通过知识感知注意力机制区分嵌入表示的贡献并递归传播;最终在预测层中聚合不同传播层次的用户和项目表示,将两种表示相乘后得到推荐结果。实验表明,该模型在Amazon-book、Last-FM以及Yelp三个数据集上的recall@20、NDCG@20指标得分均高于对比的基线模型,细粒度的用户偏好表示以及结构化信息的充分利用能够有效提高推荐的准确度。     

基于改进Canopy聚类的协同过滤推荐算法

推荐系统通过建立用户和信息产品之间的二元关系,利用用户行为产生的数据挖掘每个用户感兴趣的对象并进行推荐,基于用户的协同过滤是近年来的主流办法,但存在一定局限性：推荐时需要考虑全部用户,而单个用户往往只与少部分用户类似。为了解决这个问题,提出了基于改进Canopy聚类的协同过滤推荐算法,将用户模型数据密度、距离与用户活跃度结合,计算用户数据权值,对用户模型数据进行聚类。由于结合了Canopy的聚类思想,同一用户可以属于不同的类,符合用户可能对多领域感兴趣的情况。最后对每个Canopy中的用户进行相应的推荐,根据聚类结果与用户评分预测用户可能感兴趣的对象。通过在数据集MovieLens和million songs上与对比算法进行MAE、RMSE、NDGG三个指标的比较,验证了该算法能显著提高推荐系统预测与推荐的准确度。     

The development of OCPL, object conceptual prototyping language

This paper describes the development of OCPL (object conceptual prototyping language), an object–knowledge representation language. The language is based on CPL, conceptual prototyping language, developed at the Free University of Amsterdam. CPL has been extended to allow for the explicit representation of object-oriented constructs. These constructs include facilities for application system definition, generation and usage. A restricted use of the constraint model of CPL allows for systematic representation of events from which appropriate user interfaces can be generated. The paper describes OCPL and its relationship to CPL and related work. It also illustrates how the constraint model can be used to represent dynamics and provide intelligent user support.     

The user modeling shell system BGP-MS

BGP-MS is a user modeling shell system that can assist interactive software systems in adapting to their current users by taking the users' presumed knowledge, beliefs, and goals into account. It offers applications several methods for communicating observations concerning the user to BGP-MS, and for obtaining information on currently held assumptions about the user from BGP-MS. It provides a choice of two integrated formalisms for representing beliefs and goals, and includes several types of inferences for drawing additional assumptions based on an initial interview, observed user actions, and stereotypical knowledge about pre-defined user subgroups. BGP-MS is a customizable software system that is independent from applications, operates concurrently with them, and interacts with them through inter-process communication. For tailoring BGP-MS to a specific application domain, the developer must select those components of BGP-MS that are needed in this domain and fill them with relevant domain-dependent user modeling knowledge. This paper first summarizes the user modeling services that BGP-MS provides to application programs at runtime. It discusses the representational and inferential foundations that determine the scope and the limits of these services, and also gives a detailed example illustrating the interaction between the various system components. It describes interfaces that are available to application developers for tailoring BGP-MS to the specific user modeling needs of their application domains. Finally, it compares the system with all other major user modeling shell systems, and describes a first application that employs BGP-MS for adapting hypertext to users' terminological knowledge.The managing UMUAI editor for this paper was Sandra Carberry, University of Delaware.