基于多核学习的投影非负矩阵分解算法

非负矩阵分解(NMF)把给定的数据矩阵分解成低维的非负基矩阵和对应的系数矩阵,两者之间存在必然联系。为此,研究者将基矩阵转换为系数矩阵的投影,进一步提高分解效率。但是该方法无法处理非线性数据,核函数的引入部分解决了此问题,却同时导致核函数参数选择的问题。基于多核学习理论,提出了一种多核学习的投影非负矩阵分解(MKPNMF)算法,该算法有效地避免了核函数参数选择的问题,同时提高了学习性能。在实际人脸数据上的实验结果表明,MKPNMF较已有的NMF类方法具备明显的性能优势。     

Model falsification using set‐valued observers for a class of discrete‐time dynamic systems: a coprime factorization approach

This article introduces a new method for model falsification using set‐valued observers, which can be applied to a class of discrete linear time‐invariant dynamic systems with time‐varying model uncertainties. In comparison with previous results, the main advantages of this approach are as follows: The computation of the convex hull of the set‐valued estimates of the state can be avoided under certain circumstances; to guarantee convergence of the set‐valued estimates of the state, the required number of previous steps is at most as large as the number of states of the nominal plant; and it provides a straightforward nonconservative method to falsify uncertain models of dynamic systems, including open‐loop unstable plants. The results obtained are illustrated in simulation, emphasizing the advantages and shortcomings of the suggested method. Copyright © 2013 John Wiley & Sons, Ltd.     

实行(列)对称矩阵的QR分解

提出了行(列)倒置矩阵与行(列)对称矩阵的概念,研究了它们的性质,获得了一些新的结果,给出了实行(列)对称矩阵的QR分解的公式,它们可极大地减少行(列)对称矩阵的QR分解的计算量与存储量,而且不会降低数值精度.     

结合Transformer的轻量化中文语音识别

近年来,深度神经网络模型在语音识别领域成为热门研究对象。然而,深层神经网络的构建依赖庞大的参数和计算开销,过大的模型体积也增加了其在边缘设备上部署的难度。针对上述问题,提出了基于Transformer的轻量化语音识别模型。首先使用深度可分离卷积获得音频特征信息;其次构建了双半步剩余权重前馈神经网络,即Macaron-Net结构,并引入低秩矩阵分解,实现了模型压缩;最后使用稀疏注意力机制,提升了模型的训练速度和解码速度。为了验证模型,在Aishell-1和aidatatang_200zh数据集上进行了测试。实验结果显示,所提模型与Open-Transformer相比,所提模型在字错误率上相对下降了19.8%,在实时率上相对下降了32.1%。     

基于迁移学习的卷积神经网络通道剪枝

卷积神经网络在计算机视觉等多个领域应用广泛,然而其模型参数量众多、计算开销庞大,导致许多边缘设备无法满足其存储与计算资源要求。针对其边缘部署困难,提出使用迁移学习策略改进基于BN层缩放因子通道剪枝方法的稀疏化过程。本文对比不同层级迁移方案对稀疏化效果与通道剪枝选取容限的影响;并基于网络结构搜索观点设计实验,探究其精度保持极限与迭代结构的收敛性。实验结果表明,对比原模型,采用迁移学习的通道剪枝算法,在精度损失不超过0.10的前提下,参数量减少89.1%,模型存储大小压缩89.3%;对比原剪枝方法,将剪枝阈值从0.85提升到0.97,进一步减少参数42.6%。实验证明,引入迁移策略更易实现充分的稀疏化,提高通道剪枝阈值选取容限,实现更高压缩率;并在迭代剪枝的网络结构搜索过程中,提供更高效的搜索起点,利于快速迭代趋近至搜索空间的一个网络结构局部最优解。     

基于深度学习的多元信息嵌入推荐模型

传统的矩阵分解法只能简单提取低阶信息,特征组合单一,无法挖掘更多隐含信息。依赖稀疏的评分表已经无法满足个性化推荐。MovieLens数据集是研究推荐系统的经典数据集。通过改进神经协同过滤模型,使用多个嵌入层对MovieLens数据集所有信息进行嵌入分析,充分挖掘隐含信息,使得推荐算法更有实用意义。通过在MovieLens-100k和MovieLens-1m上设置多组对照实验表明,该改进模型不仅学习了更多信息,而且与神经协同过滤模型相比,其错误率显著减小。     

深度矩阵分解推荐算法

协同过滤推荐算法中的矩阵分解因其简单、易于实现,得到了广泛的应用.但是矩阵分解通过简单的线性内积建模用户和物品之间的非线性交互关系,限制了模型的表达能力.为此,He等人提出了广义矩阵分解模型,通过非线性激活函数和连接权重,将矩阵分解推广到广义矩阵分解,为模型赋予建模用户和物品间的二阶非线性交互关系的能力.但是广义矩阵分解模型是一个浅层模型,并不能很好地建模用户和物品间高阶交互关系,一定程度上可能会影响模型性能.受广义矩阵分解模型启发,提出了深度矩阵分解模型（deep matrix factorization,简称DMF）,在广义矩阵分解模型的基础上引入隐藏层,利用深层神经网络来学习用户和物品间高阶交互关系.深度矩阵分解模型不仅解决了简单内积的线性问题,同时还能够建模用户和物品间的高阶交互,具有很好的表达能力.此外,在MovieLens和Anime两个数据集上进行了大量丰富的对比实验,验证了模型的可行性和有效性;同时,通过实验确定了模型的最优参数.     

基于多种信息组合模式的非负矩阵分解链路预测模型

针对基于拓扑结构相似性的链路预测算法中网络稀疏性和噪声问题,提出一种基于非负矩阵分解的链路预测模型。该模型从微观与宏观两个层面出发,融合网络内部和外部的辅助信息,减轻了网络稀疏性造成的影响,提升了算法预测的整体性能。提出的三种信息组合模式体现出宏观与微观角度下的信息融合策略。在13个真实网络数据集上的实验结果展示了算法预测性能上的优越性。     

融合注意力LSTM的神经张量分解推荐模型

针对结合深度学习模型的协同过滤算法未考虑关联数据的多维交互随时间动态变化的问题,该文提出一种融合时间交互学习和注意力长短期记忆网络的张量分解推荐模型(LA-NTF)。通过采用基于注意力机制的长短期记忆网络从项目文本信息中提取项目的潜在向量,然后使用融合注意力机制的长短期记忆网络来表征用户—项目关系数据在时间上的多维交互,最后将用户—项目—时间三维张量嵌入多层感知器中,学习不同潜在因子之间的非线性结构特征,从而预测用户对项目的评分。在两个真实数据集上的大量实验表明,与其他传统方法和基于神经网络的矩阵分解模型相比,方根误差(RMSE)和平均绝对误差(MAE)指标均有明显提升,说明LA-NTF模型可显著改善各种动态关系数据的评级预测任务。     

基于约化乘法表的绝热量子整数分解算法

绝热量子计算模型是一种极具潜力的量子计算模型。报告一种基于约化乘法表的绝热量子整数分解方案及其在6量子~16量子比特内的数值仿真实验结果。这种方案采用约化的乘法表将整数分解问题转化为优化问题,从而将分解问题所需要的量子比特降低到n(n为待分解整数的二进制位宽)。实验结果表明新的绝热量子整数分解算法只需要多项式时间来求解此优化问题。