基于矩阵分解的卷积神经网络改进方法

针对传统卷积神经网络（CNN）在训练过程中优化难度高的问题,提出基于矩阵分解的CNN改进方法。首先,通过矩阵分解将模型卷积层在训练期间的卷积核参数张量转换为多个参数矩阵的乘积,形成过参数化;其次,将这些额外的线性参数加入网络的反向传播,并与模型的其他参数同步更新,以改善梯度下降的优化过程;完成训练后,将矩阵乘积重新还原为标准卷积核参数,从而使推理期间前向传播的计算复杂度与改进前保持一致。选用简化QR分解和简化奇异值分解（SVD）,在CIFAR-10数据集上进行分类效果实验,并用不同的图像分类数据集和初始化方式作进一步的泛化实验。实验结果表明,基于矩阵分解的VGG和残差网络（ResNet）对7个不同深度模型的分类准确率均高于原网络模型,可见矩阵分解方法可以让CNN更快地达到较高的分类准确率,最终收敛得到更好的局部最优。     

基于动态卷积概率矩阵分解的潜在群组推荐

近年来,群组推荐由于其良好的实用价值得到了广泛关注.然而,已有的群组推荐方法大多都是根据分析用户对服务的评分矩阵直接将个体用户的推荐结果或个体用户偏好进行聚合,没有综合地考虑用户-群组-服务这三者间的联系,导致群组推荐效果欠佳.受潜在因子模型与状态空间模型启发,结合评分矩阵、服务描述文档以及时间因素,共同分析用户-群组-服务间的联系,提出了一种基于动态卷积概率矩阵分解的群组推荐方法.该方法首先利用基于卷积神经网络的文本表示方法获取服务潜在特征模型的先验分布;然后,将状态空间模型与概率矩阵分解模型相结合,获得用户潜在偏好向量与服务特征向量;之后,对用户偏好向量运用聚类算法来发现潜在的群组;最终,对群组中的用户偏好采取均值策略融合成群组偏好向量,并与服务特征向量共同生成群组对服务的评分,实现群组推荐.通过在MovieLens数据集上与同类方法进行对比实验,发现所提方法的推荐有效性与精确性上更具有优势.     

基于深度学习的矩阵分解推荐模型

通过对深度学习和矩阵分解技术进行结合,设计一个深度神经网络对用户和物品进行特征提取,形成用户隐向量和物品隐向量的方法,计算这两个隐向量的内积得到用户对物品的评分预测.为提高推荐精度,提出使用显式数据和隐式数据并设计新的损失函数能够同时计算这两类数据损失的方法.在两个公开数据集上的实验结果表明,该方法比基线模型在HR和N...     

融合标签信息的卷积矩阵分解推荐算法

当今各类推荐系统中存在着冷启动、数据稀疏性的问题,严重影响其推荐质量。为了有效缓解由于数据不完整导致的推荐效果不理想,提出一种融合标签信息的卷积矩阵分解推荐算法TaSoConvMF(Convolutional Matrix factorization Recommendation Algorithm Fusing Social Tagging)。该算法将卷积神经网络融合进概率矩阵分解模型,并利用评分矩阵和标签矩阵联合监督,运用联合概率矩阵分解计算用户-资源、用户-标签、资源-标签三个矩阵的隐式向量,根据评分矩阵多次对模型参数进行优化。该算法通过在豆瓣评分数据集和MovieLens10M数据集上进行多次实验,采用RMSE指标进行评估,预测结果表明推荐效果有所提升。     

用于个性化推荐的条件卷积隐因子模型

在推荐系统中,传统的矩阵分解无法提取用户和物品特征,而神经协同过滤(NCF)在分解模型中增加多层感知器,但不能有效利用用户和物品ID之外的辅助信息.为此,提出一种新的条件卷积方法.通过将物品特征作为输入,将用户特征作为卷积核,达到权值不共享的目的,使得条件卷积具有更强的特征提取和组合能力以及不增加参数量的特性.在此基础上,条件卷积能够融入多种辅助信息进行个性化推荐.实验结果表明,与NCF模型相比,该方法在隐性反馈数据中推荐命中率提升3.11%,在显性反馈数据中评分预测误差降低2.47%.     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络(CNN)拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据.首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤...     

结合矩阵分解的混合型社会化推荐算法

推荐系统是用来解决当今时代信息过载的重要工具。随着在线社交网络的出现和普及,一些基于网络推荐算法研究的出现,已经引起研究者的广泛关注。信任是社会网络中的重要信息之一,通常用来改进基于社交网络的推荐系统,然而,大多数信任感知的推荐系统忽略了用户有不同行为偏好在不同的兴趣域;本文不仅考虑了用户间特定域信任网络,并且结合推荐项目之间特征属性信息,提出了一种新型社会化推荐算法(H-PMF)。实验表明,H-PMF算法在评分误差和推荐精度上都取得了更好的效果。     

融合矩阵补全与深度矩阵分解的推荐算法

深度矩阵分解采用深层非线性映射,从而突破了矩阵分解中双线性关系影响推荐系统性能的瓶颈,但它没有考虑用户对未评分项目的偏好,且对于稀疏性较高的大规模数据其推荐性能不具有优势,为此提出一种融合矩阵补全与深度矩阵分解的推荐算法.首先通过矩阵补全模型将原始评分矩阵中的未知元素进行填补,然后依据补全后的矩阵,利用深度学习模型分别构建用户和项目潜在向量.最后,在MovieLens和SUSHI数据集上进行测试,实验结果表明,与深度矩阵分解相比,所提算法显著地提高了推荐系统的性能.     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据。首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤波器重构下一层卷积层;然后,将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩,低维卷积层采取剪枝方法,而高维卷积层被分解为三个级联卷积层;最后,将压缩后的模型进行微调,使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明,所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%,同时在树莓派4B系统上达到1.4倍的前向计算加速,有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

融合邻域模型与矩阵分解模型的推荐算法

协同过滤推荐算法是目前构建推荐系统最为成功的算法之一,它利用已知的一组用户对物品喜好数据来对推测用户对其他物品的喜好,其中,能够直接刻画用户与项目潜在特征的矩阵分解模型和通过分析物品或者项目间相似度的邻域模型是研究的热点.针对这两个模型存在的不足,提出了一种将邻域模型与矩阵分解模型有效结合的方法,进而构建了一个改进的协同过滤推荐算法,提高了预测准确性.实验结果验证了改进算法的正确性与有效性.     

基于图卷积与外积的协同过滤推荐模型

推荐系统帮助用户主动找到满足其偏好的个性化物品并推荐给用户.协同过滤算法是推荐系统中较为经典的算法,但是其会受到数据冷启动和稀疏性的限制,具有可解释性差和模型泛化能力差等缺点.针对其缺点进行研究,通过将原始的评分矩阵以用户—项目二部图的形式作为输入,将图卷积神经网络设计为一种图自编码器的变体,通过迭代的聚合邻居节点信息得到用户和项目的潜在向量表示,并在其基础上结合卷积神经网络,提出了一种基于卷积矩阵分解的推荐算法,提升了模型的可解释性和泛化能力,同时融合辅助信息也解决了数据的稀疏性问题,并使推荐的性能分别得到了1.4％和1.7％的提升.为今后在基于图神经网络的推荐方向上提供了一种新的思路.     

融合社交因素和评论文本卷积网络模型的汽车推荐研究

汽车作为较高价值和个性化的消费品,使得用户购车决策过程较一般商品更为复杂.本文主要研究社交环境和评论文本两方面对用户购车决策过程的影响,提出了融合社交因素和评论文本卷积网络的汽车推荐模型（Social and comment text CNN model based automobile recommendation,SCTCMAR）.SCTCMAR首先定义了基于购买用途需求的社交圈,在此基础上提出了个人偏好计算方法,并引入了偏好相似度;其次,设计了卷积网络模型学习汽车评论文本的隐特征;然后将社交影响量化因素和评论文本特征有机融合注入推荐模型,并采用低阶矩阵分解技术进行模型计算.另外,本文使用GloVe预训练词嵌入模型,产生了SCTCMAR的另一个版本SCTCMAR+.最后,将SCTCMAR、SCTCMAR、FMM（Flexible mixture model）、TR（Trust rank）、Random sampling在课题组爬取后经清理、去重和整合的266995个用户、702辆汽车信息的真实数据集上进行精确率、召回率和平均倒序排名三个指标的多粒度实验比较,结果表明本文提出的SCTCMAR+和SCTCMAR具有良好的推荐性能.     

基于非负矩阵分解的语音深层低维特征提取方法

作为一种基于深层神经网络提取的低维特征,瓶颈特征在连续语音识别中取得了很大的成功。然而训练瓶颈结构的深层神经网络时,瓶颈层的存在会降低网络输出层的帧准确率,进而反过来影响该特征的性能。针对这一问题,本文基于非负矩阵分解算法,提出一种利用不包含瓶颈层的深层神经网络提取低维特征的方法。该方法利用半非负矩阵分解和凸非负矩阵分解算法对隐含层权值矩阵分解得到基矩阵,将其作为新的特征层权值矩阵,然后在该层不设置偏移向量的情况下,通过数据前向传播提取新型特征。实验表明,该特征具有较为稳定的规律,且适用于不同的识别任务和网络结构。当使用训练数据充足的语料进行实验时,该特征表现出同瓶颈特征几乎相同的识别性能;而在低资源环境下,基于该特征识别系统的识别率明显优于深层神经网络混合识别系统和瓶颈特征识别系统。     

基于正负反馈矩阵的SVD推荐模型

矩阵奇异值分解技术已经被广泛应用在个性化推荐系统之中。通过矩阵奇异值分解可以提高个性化推荐的准确度。传统的奇异值分解模型对整个矩阵进行分解,得到 user 和 item 两个特征矩阵,然后进行评分预测,并未考虑不同范围的评分包含的不同信息。通过计算评分中的临界值,把评分矩阵拆分成两个矩阵,称为正反馈矩阵和负反馈矩阵。再基于两个反馈矩阵的特征来完成对评分的预测。在实验数据方面,使用MovieLens的数据集,对传统的奇异值分解模型(SVD)和基于超图的奇异值分解模型(HSVD)进行改进。实验结果表明,引入偏好区分概念的模型PSVD、PHSVD,其推荐效果都优于原模型。     

基于矩阵分解的DeepWalk链路预测算法

现有的链路预测方法的数据来源主要是基于邻居、路径和随机游走的方法,使用的是节点相似性假设或者最大似然估计,尚缺少基于神经网络的链路预测研究。基于神经网络的一些研究表明,基于神经网络的DeepWalk网络表示学习算法可以更加有效地挖掘到网络中的结构特征,已有研究证明DeepWalk等同于分解目标矩阵。因此,提出了一种基于矩阵分解的DeepWalk链路预测算法(LPMF)。该算法首先基于矩阵分解的DeepWalk算法分解得到网络的表示向量;然后通过余弦相似度计算每对节点之间的相似度,构建目标网络的相似度矩阵;最后利用相似度矩阵,在三个真实的引文网络中进行链路预测实验。实验结果表明,提出的链路预测算法性能优于现存的20余种链路预测算法。这充分表明了LPMF能够有效地挖掘网络中节点之间的结构关联性,而且在实际网络的链路预测中能够发挥出较为优异的性能。     

一种融合信任和项目卷积描述信息的PMF算法

针对现有概率矩阵分解(PMF)技术的个性化推荐系统在采用社交网络中信任信息时常常忽视项目相关描述文档信息的问题,提出一种融合用户信任和通过卷积网络以获取项目描述等信息的PMF模型.首先,利用用户偏好信息和行为轨迹信息构建一种新的信任网络;然后,通过卷积神经网络从项目描述文档中提取项目潜在的特征向量;最后,在概率矩阵分解过程中同时利用评分数据、信任网络中用户的信任信息和项目的描述信息,计算用户和项目的潜在特征向量以预测评分并进行个性化推荐.为验证算法的有效性,选择3种算法在4个数据集上进行对比,实验结果表明所提出的算法在推荐精确度和鲁棒性方面优于其他3种算法.     

应用改进卷积神经网络的网络安全态势预测方法

针对神经网络态势预测模型训练复杂度高的问题,提出了一种基于改进卷积神经网络的态势预测方法。结合深度可分离卷积与分解卷积技术的优点,提出了一种基于复合卷积结构的改进型卷积神经网络安全态势预测模型,实现了态势要素和态势值的映射。实验仿真结果证明,相比于已有的典型预测方法,该方法明显降低了复杂度,减少了预测时间,并提升了预测准确率。     

基于递归神经网络的散文诗自动生成方法

针对中文散文诗歌的自动生成,提出一种基于循环神经网络的时序性文本生成方法.通过现有语料库构建好一个词语集后,首先给定若干关键词,在聚类模型生成的词语集基础上进行关键词扩展生成首句.在确定首句的基础上,利用上下文模型对已生成内容进行压缩和上文特征获取,最后将之前上下文内容传递给递归神经网络模型实现后续句子的生成.该方法中首句生成的过程利用语言模型中的词汇集扩展,并通过上下文模型获取关联实现上下句的映射关系.本文采用BLEU自动评测方式和人工评测方式,建立起较为标准的评测系统,实验结果证实了该方法的有效性.     

基于快速非负矩阵分解和RBF网络的高光谱图像分类算法

提出一种处理AVIRIS高光谱图像数据的计算机分类算法。首先采用投影梯度（Projected Gradient）改进的非负矩阵分解（NMF）方法对高光谱数据进行特征提取,大大降低了分解过程中两个子迭代问题的时间复杂度,而后利用径向基函数神经网络（RBFNN）分类器对提取结果进行分类。结果表明,与传统NMF和主成分分析相比,PGNMF|RBF算法消耗时间最少,分类精度最高,6类地物的分类精度达到83.34%。该算法在保留非负矩阵分解明确物理意义的基础上,获得了更快的分解速度和更高的分类精度,在高光谱图像分类领域具有较大的应用潜力。