用户粒度级的个性化社交文本生成模型

针对开放性的社交文本领域的文本生成技术生成的文本内容缺少个性化特征的问题，提出了一种用户级的细粒度控制生成模型，即PTG-GPT2-Chinese(Personalized Text Generation Generative Pre-trained Transformer 2-Chinese）。所提模型基于GPT2(Generative Pre-trained Transformer 2.0）结构设计了Encoder-Decoder模型框架。首先在Encoder端对用户的静态个性化信息建模并编码，在Decoder端添加了双向独立的注意力模块，用于接收该静态的个性化特征向量，并利用原始GPT2结构中的注意力模块捕获用户文本中的动态个性化特征；然后，动态加权融合各注意力模块分数并参与后续解码，从而自动生成以用户个性化特征属性作为约束的社交文本；此外，为了解决用户基本信息的语义稀疏性导致的生成文本偶尔与某些个性化特征存在矛盾的问题，采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成，最终实现个性化的社交文本生成。实验结果表明，与GPT2模型相比，所提模型...