一种大数据智能化语义分析系统

本文基于scrapy构建分布式爬虫系统爬取今日头条、微博、微信公众号等新闻媒体文章以及相关评论,通过文本去重、文本过滤等数据清理手段,采用分词、关键词提取、文本摘要等自然语言处理算法挖掘文本价值,并以此为基础建立基于neo4j图数据库的知识图谱,通过知识图谱建立智能语义分析系统。     

基于近端策略优化与对抗学习的对话生成

对话生成是自然语言处理的重点研究方向，对抗生成网络GAN最近在对话生成领域得到了较好的应用。为了进一步改善对话生成的质量，并且解决GAN训练过程中判别模型返回奖励重复利用率低从而导致模型训练效率低的问题，提出一种基于近端策略优化PPO的对话生成算法PPO_GAN。该算法通过GAN模型生成对话，通过判别模型区分生成的对话与真实的对话。并采用近端策略优化的方法训练GAN，能处理GAN在对话生成时导致的反向传播不可微分的情况，在保证生成模型单调非减训练的同时，通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。实验结果表明，对比于极大似然估计与Adver-REGS等对话生成算法，PPO_GAN算法提高了对话训练的效率并且改善了对话生成的质量。