基于对比学习和GIF标记的多模态对话回复检索

社交媒体网站上使用GIF(Graphics Interchange Format)作为消息的回复相当普遍。但目前大多方法针对问题“如何选择一个合适的GIF回复消息”,没有很好地利用社交媒体上的GIF附属标记信息。为此,提出基于对比学习和GIF标记的多模态对话回复检索（CoTa-MMD）方法,将标记信息整合到检索过程中。具体来说就是使用标记作为中间变量,文本→GIF的检索就被转换为文本→GIF标记→GIF的检索,采用对比学习算法学习模态表示,并利用全概率公式计算检索概率。与直接的文本图像检索相比,引入的过渡标记降低了不同模态的异质性导致的检索难度。实验结果表明,CoTa-MMD模型相较于深度监督的跨模态检索（DSCMR）模型,在PEPE-56多模态对话数据集和Taiwan多模态对话数据集上文本图像检索任务的召回率之和分别提升了0.33个百分点和4.21个百分点。     

基于模糊C均值算法的类合并聚类算法研究

针对FCM（Fuzzy C-Means）算法对于初始聚类中心敏感,并只适合于发现球状类型簇的缺陷,提出采用冗余聚类中心初始化的方法降低算法对初始聚类中心的依赖,并先暂时将大簇或者延伸形状的簇分割成用多个小类表示,再利用隶属度矩阵提供的信息合并相邻的小类为大类,对FCM算法进行改进。实验结果显示改进的FCM算法能够在一定程度上识别不规则的簇,并减小FCM算法对初始聚类中心的依赖。