应用于不平衡多分类问题的损失平衡函数

传统分类算法一般要求数据集类别分布平衡,然而在实际情况中往往面临的是不平衡的类别分布。目前存在的数据层面和模型层面算法试图从不同角度解决该问题,但面临着参数选择以及重复采样产生的额外计算等问题。针对此问题,提出了一种在小批量内样本损失自适应均衡化的方法。该算法采用了一种动态学习损失函数的方式,根据小批量内样本标签信息调整各样本损失权重,从而实现在小批量内各类别样本总损失的平衡性。通过在caltech101和ILSVRC2014数据集上的实验表明,该算法能够有效地减少计算成本并提高分类精度,且一定程度上避免了过采样方法所带来的模型过拟合风险。     

基于多核学习的协同滤波算法

协同滤波是当前推荐系统中一种主流的个性化推荐算法,通过近似用户对商品的评价进行推荐。核函数是解决非线性模式问题的一种方法。协同滤波通常会选用不同的核函数来分析用户之间的影响关系。由于单核函数无法适应于复杂多变场景。因此,结合多个核函数成为一种解决方法。多核学习能够针对场景来组合各个核函数以获取更好的结果。本文提出了一种基于多核学习的协同滤波算法。该算法在现有核函数的基础上,优化各个核函数的权重以匹配数据的分布。在大众点评数据集和Foursquare数据集上的实验结果表明：基于多核学习的协同滤波算法比经验给定的相似函数的性能要高,具有更好的普适性。     

基于混合自注意力机制的神经机器翻译

编码器-解码器结构是神经机器翻译最常用的一种框架，许多新型结构都基于此框架进行设计以改善翻译性能。其中，深度自注意力网络是非常出色的一种网络结构，其利用了自注意力机制来捕获全局的语义信息。然而，这种网络却不能有效地区分每个单词的相对位置，例如，依赖单词究竟位于目标单词的左边还是右边，也不能够捕获当前单词的局部语义。为了缓解这类问题，该文提出了一种新型的注意力机制，叫做混合注意力机制。该机制包含了对自注意力网络设计的多种不同的特定掩码来获取不同的语义信息，例如，全局和局部信息，以及左向或者右向信息。最后，该文提出了一个压缩门来融合不同类型的自注意力网络。在三个机器翻译数据集上的实验结果表明，该文方法能够取得比深度自注意力网络更好的结果。