基于矩阵分解的卷积神经网络改进方法

针对传统卷积神经网络（CNN）在训练过程中优化难度高的问题,提出基于矩阵分解的CNN改进方法。首先,通过矩阵分解将模型卷积层在训练期间的卷积核参数张量转换为多个参数矩阵的乘积,形成过参数化;其次,将这些额外的线性参数加入网络的反向传播,并与模型的其他参数同步更新,以改善梯度下降的优化过程;完成训练后,将矩阵乘积重新还原为标准卷积核参数,从而使推理期间前向传播的计算复杂度与改进前保持一致。选用简化QR分解和简化奇异值分解（SVD）,在CIFAR-10数据集上进行分类效果实验,并用不同的图像分类数据集和初始化方式作进一步的泛化实验。实验结果表明,基于矩阵分解的VGG和残差网络（ResNet）对7个不同深度模型的分类准确率均高于原网络模型,可见矩阵分解方法可以让CNN更快地达到较高的分类准确率,最终收敛得到更好的局部最优。     

基于动态卷积概率矩阵分解的潜在群组推荐

近年来,群组推荐由于其良好的实用价值得到了广泛关注.然而,已有的群组推荐方法大多都是根据分析用户对服务的评分矩阵直接将个体用户的推荐结果或个体用户偏好进行聚合,没有综合地考虑用户-群组-服务这三者间的联系,导致群组推荐效果欠佳.受潜在因子模型与状态空间模型启发,结合评分矩阵、服务描述文档以及时间因素,共同分析用户-群组-服务间的联系,提出了一种基于动态卷积概率矩阵分解的群组推荐方法.该方法首先利用基于卷积神经网络的文本表示方法获取服务潜在特征模型的先验分布;然后,将状态空间模型与概率矩阵分解模型相结合,获得用户潜在偏好向量与服务特征向量;之后,对用户偏好向量运用聚类算法来发现潜在的群组;最终,对群组中的用户偏好采取均值策略融合成群组偏好向量,并与服务特征向量共同生成群组对服务的评分,实现群组推荐.通过在MovieLens数据集上与同类方法进行对比实验,发现所提方法的推荐有效性与精确性上更具有优势.     

基于深度学习的矩阵分解推荐模型

通过对深度学习和矩阵分解技术进行结合,设计一个深度神经网络对用户和物品进行特征提取,形成用户隐向量和物品隐向量的方法,计算这两个隐向量的内积得到用户对物品的评分预测.为提高推荐精度,提出使用显式数据和隐式数据并设计新的损失函数能够同时计算这两类数据损失的方法.在两个公开数据集上的实验结果表明,该方法比基线模型在HR和N...     

融合标签信息的卷积矩阵分解推荐算法

当今各类推荐系统中存在着冷启动、数据稀疏性的问题,严重影响其推荐质量。为了有效缓解由于数据不完整导致的推荐效果不理想,提出一种融合标签信息的卷积矩阵分解推荐算法TaSoConvMF(Convolutional Matrix factorization Recommendation Algorithm Fusing Social Tagging)。该算法将卷积神经网络融合进概率矩阵分解模型,并利用评分矩阵和标签矩阵联合监督,运用联合概率矩阵分解计算用户-资源、用户-标签、资源-标签三个矩阵的隐式向量,根据评分矩阵多次对模型参数进行优化。该算法通过在豆瓣评分数据集和MovieLens10M数据集上进行多次实验,采用RMSE指标进行评估,预测结果表明推荐效果有所提升。     

用于个性化推荐的条件卷积隐因子模型

在推荐系统中,传统的矩阵分解无法提取用户和物品特征,而神经协同过滤(NCF)在分解模型中增加多层感知器,但不能有效利用用户和物品ID之外的辅助信息.为此,提出一种新的条件卷积方法.通过将物品特征作为输入,将用户特征作为卷积核,达到权值不共享的目的,使得条件卷积具有更强的特征提取和组合能力以及不增加参数量的特性.在此基础上,条件卷积能够融入多种辅助信息进行个性化推荐.实验结果表明,与NCF模型相比,该方法在隐性反馈数据中推荐命中率提升3.11%,在显性反馈数据中评分预测误差降低2.47%.     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据。首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤波器重构下一层卷积层;然后,将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩,低维卷积层采取剪枝方法,而高维卷积层被分解为三个级联卷积层;最后,将压缩后的模型进行微调,使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明,所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%,同时在树莓派4B系统上达到1.4倍的前向计算加速,有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量，限制了其在嵌入式系统等资源受限设备上应用的问题，提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法，其核心思想是以均值和方差作为评判权值贡献度的依据。首先，以Lenet5为剪枝模型，网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器，而使用保留的滤波器重构下一层卷积层；然后，将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩，低维卷积层采取剪枝方法，而高维卷积层被分解为三个级联卷积层；最后，将压缩后的模型进行微调，使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明，所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%，同时在树莓派4B系统上达到1.4倍的前向计算加速，有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

融合矩阵补全与深度矩阵分解的推荐算法

深度矩阵分解采用深层非线性映射,从而突破了矩阵分解中双线性关系影响推荐系统性能的瓶颈,但它没有考虑用户对未评分项目的偏好,且对于稀疏性较高的大规模数据其推荐性能不具有优势,为此提出一种融合矩阵补全与深度矩阵分解的推荐算法.首先通过矩阵补全模型将原始评分矩阵中的未知元素进行填补,然后依据补全后的矩阵,利用深度学习模型分别构建用户和项目潜在向量.最后,在MovieLens和SUSHI数据集上进行测试,实验结果表明,与深度矩阵分解相比,所提算法显著地提高了推荐系统的性能.     

融合邻域模型与矩阵分解模型的推荐算法

协同过滤推荐算法是目前构建推荐系统最为成功的算法之一,它利用已知的一组用户对物品喜好数据来对推测用户对其他物品的喜好,其中,能够直接刻画用户与项目潜在特征的矩阵分解模型和通过分析物品或者项目间相似度的邻域模型是研究的热点.针对这两个模型存在的不足,提出了一种将邻域模型与矩阵分解模型有效结合的方法,进而构建了一个改进的协同过滤推荐算法,提高了预测准确性.实验结果验证了改进算法的正确性与有效性.     

结合矩阵分解的混合型社会化推荐算法

推荐系统是用来解决当今时代信息过载的重要工具。随着在线社交网络的出现和普及,一些基于网络推荐算法研究的出现,已经引起研究者的广泛关注。信任是社会网络中的重要信息之一,通常用来改进基于社交网络的推荐系统,然而,大多数信任感知的推荐系统忽略了用户有不同行为偏好在不同的兴趣域;本文不仅考虑了用户间特定域信任网络,并且结合推荐项目之间特征属性信息,提出了一种新型社会化推荐算法(H-PMF)。实验表明,H-PMF算法在评分误差和推荐精度上都取得了更好的效果。     

自动化张量分解加速卷积神经网络

近年来,卷积神经网络（CNN）展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习（AutoML）的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.     

基于卷积神经网络的自适应样本加权脑机接口建模

针对脑机接口系统手动提取特征而产生的信息丢失与过拟合问题,建立了一个纯数据驱动的端到端的卷积神经网络模型.同时,为了解决卷积神经网络（convolutional neural network,CNN）需要大量数据而单人脑电数据量小的问题,建立了一套使用多人数据来建立目标用户模型的方法.通过分析其他人数据对目标个体模型的适应程度,清除那些对于目标模型贡献为负的样本.然后,在CNN网络的训练过程中,使用了一种元学习技术,赋予每一个训练数据一个权值.在训练CNN网络时,每一步网络参数更新之后,元学习器会根据训练集中数据样本对于最终模型的影响,自适应的调整每个样本数据的权值.实验结果表明,所提方法得到了比传统方法更好的分类精度,验证了所提方法的有效性.     

基于卷积神经网络的表情识别

在传统静态表情识别研究基础上,提出一种简单的人脸裁剪方法,再用浅层卷积神经网络进一步提取特征并进行表情识别。以CK+和JAFFE为实验数据集,进行预处理效果对比实验、数据增强实验、单种表情识别实验和跨数据集六分类实验。结果表明,针对数据量较少的情况,提出的表情识别方法效果明显且鲁棒性更优。     

基于并联卷积神经网络的图像去雾

针对现有的单幅图像去雾问题,提出了一种基于并联卷积神经网络的单幅图像去雾算法,以端对端的方式实现图像去雾.首先,使用雾天RGB图像YUV变换的Y、U和V分量构建并联卷积神经网络,自适应获得雾霾特征;网络结构由两个子网络组成,较深的网络预测清晰图像的亮度通道,较浅的网络预测色度通道和饱和度通道.最后,采用递归双边滤波,对...     

融合长短期记忆网络与广义矩阵分解的神经协同过滤模型

在实现推荐的过程中,用户对项目的浏览和关注的时间顺序是推荐算法中重要的数据信息,同一用户在不同时间对项目的喜好不同对推荐结果也有着一定的影响.本文在神经协同过滤模型的框架下,提出将长短期记忆网络和广义矩阵分解进行融合,同时捕捉用户的短期偏好和长期偏好.利用长短期记忆网络对时序数据的强拟合能力,学习用户的短期偏好信息,捕...     

卷积神经网络结构优化综述

近年来, 卷积神经网络(Convolutional neural network, CNNs)在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展, 其强大的特征学习能力引起了国内外专家学者广泛关注.然而, 由于深度卷积神经网络普遍规模庞大、计算度复杂, 限制了其在实时要求高和资源受限环境下的应用.对卷积神经网络的结构进行优化以压缩并加速现有网络有助于深度学习在更大范围的推广应用, 目前已成为深度学习社区的一个研究热点.本文整理了卷积神经网络结构优化技术的发展历史、研究现状以及典型方法, 将这些工作归纳为网络剪枝与稀疏化、张量分解、知识迁移和精细模块设计4个方面并进行了较为全面的探讨.最后, 本文对当前研究的热点与难点作了分析和总结, 并对网络结构优化领域未来的发展方向和应用前景进行了展望.     

基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.     

基于改进卷积神经网络的交通标志识别方法

针对传统卷积神经网络时间成本高的不足,对卷积神经网络进行了改进,减少其卷积核的数量,增加池化方式.为解决真实场景中自动驾驶系统和辅助驾驶系统中的道路交通标志识别问题,将改进的卷积神经网络运用到道路交通标志识别当中,以达到在较短时间内识别出交通标志的目的.以图形数据集GTRSB实景交通标志图像数据作为样本,用改进的卷积神经网络对实景交通标志进行识别,其识别总体准确率达到98.38%.实验结果表明,本方法可以在保持较高识别准确率的同时减少其识别的时间.     

基于卷积神经网络和注意力模型的文本情感分析*

随着社交网络的兴起,使越来越多的用户针对各类事件更加方便的表达自己的观点。为了发现用户对于某个事件的态度,面向文本信息的情感倾向性分析逐步成为一个研究热点。已有的研究方法大多是根据手工标注好的情感词典,对文本信息使用朴素贝叶斯、支持向量机、最大熵方法等机器学习算法进行情感分析。但是,通过手工方式建立情感词典是一项费时费力的工作,为了避免对情感词典的依赖,本文提出基于卷积神经网络和注意力模型相结合的方法进行文本情感分析的研究。实验表明,本文提出的相关方法较已有的机器学习方法与单纯的卷积神经网络方法较明显的提高。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支.现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能.该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型.该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利...