面向深度学习图像分类的GPU并行方法研究

针对深度学习图像分类场景中多GPU并行后传输效率低的问题,提出一种低时间复杂度的Ring All Reduce改进算法。通过分节点间隔配对原则优化数据传输流程,缓解传统参数服务器并行结构的带宽损耗。基于数据并行难以支撑大规模网络参数及加速延缓的问题,根据深度学习主干网络所包含的权重参数低于全连接层权重参数、同步开销小、全连接层权重大与梯度传输开销过高等特点,提出GPU混合并行优化算法,将主干网络进行数据并行,全连接层进行模型并行,并通过改进的Ring All Reduce算法实现各节点之间的并行后数据通信,用于基于深度学习模型的图像分类。在Cifar10和mini ImageNet两个公共数据集上的实验结果表明,该算法在保持分类精度不变的情况下可以获得更好的加速效果,相比数据并行方法,可达到近45%的提升效果。     

基于用户偏好和可疑度的推荐方法研究

针对传统推荐算法在推荐过程中存在忽略用户偏好、用户恶意虚假信息和时间序列等问题,本文引入用户兴趣模型,结合用户可疑度与时间效应计算更新用户相似度,经过深度学习网络得到最佳推荐目标。为避免出现数据过拟合情况,在利用贪心思想训练用户数据时,给隐含层和可见层均加上了用户偏好,一定程度上提高深度学习网络的自学习能力。将改进的算法与传统协同过滤推荐算法在Movie Lens 数据集上做推荐对比实验,实验证明：相对于传统的推荐算法,改进的推荐算法可以大大提高项目推荐的精确度。     

HRS-DC：基于深度学习的混合推荐模型

针对传统的矩阵分解算法,仅利用评分信息作为推荐依据,当评分数据稀疏时,不能准确获取隐式反馈,影响推荐的准确性,充分利用辅助信息进行隐式特征的提取成为研究热点之一,提出一种基于深度学习的推荐模型HRS-DC,利用深度神经网络和卷积神经网络从辅助信息中分别提取出用户和项目的隐性特征向量,再将特征向量经过改进的神经协同过滤得出新的评分矩阵。通过在三个真实的数据集上进行验证,与概率矩阵分解（PMF）、协同过滤主题回归（CTR）、协同过滤深度学习（CDL）、卷积矩阵分解ConvMF算法相比提高了评分预测的准确性,也在一定程度上缓解了冷启动问题。     

基于深度学习的混合推荐算法

针对传统的推荐系统存在推荐精度较低且冷启动较严重的问题,综合考虑评论文本与评分而提出改进的稀疏边缘降噪自动编码与近邻项目影响力的矩阵分解模型相结合的混合推荐方法。通过改进的稀疏边缘降噪自动编码模型从商品评论文本中来提取商品特征,将用户评论与评分联合,同时综合考虑了近邻用户对于目标用户的影响,将近邻项目影响力整合到矩阵分解算法之中,与传统的协同深度学习模型(CDL)和混合SDAE模型相比,最高可提升8. 370%。     

基于混合自编码器的协同过滤推荐算法优化

协同过滤算法已广泛应用在推荐系统中,在实现新异性推荐功能中效果显著,但仍存在数据稀疏、扩展性差、冷启动等问题,需要新的设计思路和技术方法进行优化.近几年,深度学习在图像处理、目标识别、自然语言处理等领域均取得突出成果,将深度神经网络模型与推荐算法结合,为构建新型推荐系统带来新的契机.本文提出一种新式混合神经网络模型,该模型由栈式降噪自编码器和深度神经网络构成,学习得到用户和项目的潜在特征向量以及用户-项目之间的交互行为模型,有效解决数据稀疏问题从而提高系统推荐质量.该推荐算法模型通过MovieLens电影评分数据集测试,实验结果与SVD、PMF等传统推荐算法和经典自编码器模型算法作对比,其推荐质量得到显著提升.     

众筹项目推荐:面向隐式反馈的深度学习协同过滤

目前,在推荐系统研究中,用户的隐式反馈,以及极度稀疏的数据,已成为影响协同过滤推荐效果的主要问题.针对这一现象,本文提出了深度学习协同过滤算法,先利用卷积神经网络,对用户-项目矩阵的隐层特征进行学习,再结合协同过滤,对用户-项目的交互信息进行建模,并将两种特征融合预测推荐列表.以众筹平台的数据为实验对象,比较模型中各参数对推荐效果的影响,并设计与基线方法的对比实验.实验结果表明:均匀采集负反馈,并在一定卷积层数的网络中,数据稀疏度越高,效果越好;对比基线方法,本文提出的算法在公开数据集(Yahoo!Movie)上取得了最好的推荐结果.本文提出的算法有助于提高众筹平台的融资成功率,同时也丰富了推荐系统的研究体系.     

基于Cross-DeepFM的军事训练推荐模型

为了将推荐系统应用到军事训练领域,充分发挥军事训练大数据在个性化训练方面的价值,提出了一种基于深度学习的混合推荐模型Cross-DeepFM。首先采集和预处理真实军事训练数据,构建出自定义军事训练数据集;然后将深度残差神经网络、深度交叉网络和因子分解机相结合,设计了Cross-DeepFM模型结构并对模型细节进行分析;最后在自定义军事训练数据集上进行了实验与分析比较。实验结果表明,该模型与主流推荐模型相比具有更高的准确度,可有效完成军事训练个性化推荐任务。     

机器学习和深度学习的并行训练方法

并行计算技术广泛用于对一些特定问题进行更进一步的优化,从而突破性地降低算法的时间消耗。近年来,随着大数据和人工智能的快速发展,在进行大规模深度学习模型的训练时,时间消耗成为一个重要的考虑因素。在模型的训练过程中,由于各个样本之间互不相关的性质,使得模型的训练过程可以利用并行技术来很好地优化。本文以最基础的线性回归作为模型的任务,测试了并行化方法在深度学习模型中的可行性,并对比了不同节点下的性能提升幅度。本文所提出的并行训练方法的时间复杂度为■,根据该时间复杂度,可以合理地根据待解决问题的规模来选择合适的并行化策略。     

深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络（Convolutional Neural Network,CNN）模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。     

基于栈式降噪自编码器的协同过滤算法*

针对协同过滤推荐准确性的现状进行了研究,提出一种基于栈式降噪自编码器的协同过滤算法。栈式降噪自编码器是一种典型的深度学习网络模型,具有强大的特征提取能力。用户对项目的评分作为输入,训练网络,学习出项目的隐含特征编码,用PCA对项目属性降维并计算属性相似性,结合隐性编码计算的相似性作为最终结果,根据最终的项目相似性产生TOP-N推荐列表。Movielens数据集的实验表明,新算法能够有效提升推荐结果的召回率,一定程度上解决了评分矩阵稀疏和项目之间没有共同用户评分就不能计算相似性的问题。     

大数据下基于特征图的深度卷积神经网络

针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce)。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL(feature map pruning based on Taylor loss),预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS(information sharing strategy)的萤火虫优化算法IFAS(improved firefly algorithm based on ISS),根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了...     

基于多线程并行强化学习的数据库索引推荐

建立索引是提高数据库性能的一个重要方法。目前随着强化学习算法的发展,出现了一系列使用强化学习解决索引推荐问题（index selection problem,ISP）的方法。针对现有的深度强化学习索引推荐算法训练时间长,训练不够稳定的问题,提出了一个基于A2C的索引推荐算法PRELIA。该算法加入负载索引扫描行数特征矩阵,并对奖励值进行归一化处理,旨在提高索引选择的准确性和效率,减少索引空间占用。在不同数据集上的实验结果表示,该算法可以在保证与比较的算法相当的索引推荐质量同时,推荐出的索引占用更小的存储空间,同时训练时间比基线算法时间提高了4倍以上。     

基于变分自编码器的评分预测模型

深度学习模型具有鲁棒性差的局限性,常见的如在图片中增加特定的噪声会影响到图片的分类和预测结果。近期有学者将深度学习引入到推荐系统中,因此在推荐系统中也存在噪声对推荐精度影响的问题。针对深度推荐模型的鲁棒性问题,基于变分自编码器（Variational Auto-Encoder,VAE）提出了新的评分预测模型REVAE （REcommender Variational Auto-Encoder）。该模型为了训练模型对噪声干扰的鲁棒性,在传统的VAE上增加了一层隐层表示,利用后验分布对隐层表示进行约束,并在该隐层上增加了噪声,通过重构输入数据,训练得到具有抗噪能力的推荐算法模型。在公开的Movielens数据集上进行的实验结果表明,REVAE可以有效降低噪声对模型的干扰,使得整个模型更具有健壮性,相比其他评分预测算法具有更好的推荐效果。     

结合时间特征的协同过滤深度推荐算法

针对推荐算法中的数据稀疏性和冷启动问题,提出了基于卷积神经网络的结合时间特征的协同过滤深度推荐算法（CNN-deep recommend algorithm with time,C-DRAWT）与基于多层感知机的结合时间特征的协同过滤深度推荐算法（MLP-deep recommend algorithm with time,M-DRAWT）。算法进行数据预处理,利用二进制来编码用户与项目的信息,缓解了one-hot编码的书籍稀疏性问题。提取出用户与项目的隐藏特征,将用户和项目的特征融合时间戳特征,分别输入到优化后的卷积神经网络和多层感知机进行,得到最新时刻的推荐项目。两个算法经过基于MovieLens-1M数据集的对比实验验证,得到的F1-Score值平均提高了0.78%,RMSE值平均提高了2.7%。结果表明,该方法能够缓解数据稀疏性和冷启动问题,相比较于之前的模型具有较好的推荐效果。     

关注长尾物品的推荐方法

针对推荐系统算法中覆盖率和多样性偏低所带来的长尾问题,提出了一种长尾物品的推荐框架以及关注长尾物品的推荐算法FLTI。长尾物品的推荐框架是基于卷积神经网络（CNN）模型构建的,分为数据处理层、推荐算法层和推荐列表生成层。将FLTI算法加入到了框架中的推荐算法层,该算法首先计算了频繁推荐项以及非频繁推荐项,然后采用使用长尾物品替换频繁推荐项的方法来满足系统中指定的长尾比例。实验结果表明,在Movielens 1M和BookCrossing数据集上,FLTI算法比传统的基于用户的协同过滤（UserCF）算法、基于物品的协同过滤（ItemCF）算法、奇异值分解（SVD）推荐算法以及协同去噪自动编码（CDAE）算法在覆盖率指标上最多提高了51%,多样性指标上最多提高了59%。     

改进并行粒子群算法优化RBF神经网络建模

针对已有神经网络功放建模的建模精度不高,易陷入局部极值等问题,提出一种新的改进并行粒子群算法（Improved Parallel Particle Swarm Optimization,IPPSO）。该算法在并行粒子群算法的基础上引入自适应变异操作,防止陷入局部最优;在微粒的速度项中加入整体微粒群的全局最优位置,动态调节学习因子与线性递减惯性权重,加快微粒收敛。将该改进算法用于优化RBF神经网络参数,并用优化的网络对非线性功放进行建模仿真。结果表明,该算法能有效减小建模误差,且均方根误差提高19.08%,进一步提高了神经网络功放建模精度。     

基于元学习的深度哈希检索算法

随着移动互联网技术的发展,图像数据的规模越来越大,大规模图像检索任务已经成为了一个紧要的问题。由于检索速度快和存储消耗低,哈希算法受到了研究者的广泛关注。基于深度学习的哈希算法要达到较好的检索性能,需要一定数量的高质量训练数据来训练模型。然而现存的哈希方法通常忽视了数据集存在数据类别非平衡的问题,而这可能会降低检索性能。针对上述问题,提出了一种基于元学习网络的深度哈希检索算法。所提算法可以直接从数据中自动学习加权函数。该加权函数是只有一个隐含层的多层感知机（MLP）,在少量无偏差元数据的指导下,加权函数的参数可以和模型训练过程中的参数同时进行优化更新。元学习网络参数的更新方程可以解释为：较符合元学习数据的样本权重将被提高,而不符合元学习数据的样本权重将被减小。基于元学习网络的深度哈希检索算法可以有效减少非平衡数据对图像检索的影响,并可以提高模型的鲁棒性。在CIFAR-10等广泛使用的基准数据集上进行的大量实验表明,在非平衡比率较大时,所提算法的平均准确率均值（mAP）最佳;在非平均比率为200的条件下,所提算法的mAP比中心相似度量化算法、非对称深度监督哈希（ADSH）算法和快速可扩展监督哈希（FSSH）算法分别提高0.54个百分点,30.93个百分点和48.43个百分点。     

支持增量式更新的大数据特征学习模型

大数据具有高速变化特性,其内容与分布特征均处于动态变化之中,目前的前馈神经网络模型是一种静态学习模型,不支持增量式更新,难以实时学习动态变化的大数据特征。针对这个问题,提出一种支持增量式更新的大数据特征学习模型。通过设计一个优化目标函数对参数进行快速增量式更新,为了在更新过程中保持网络的原始知识,最小化平方误差函数。对于特征变化频繁的数据,通过增加隐藏层神经元数目网络对结构进行更新,使得更新后的网络能够实时学习动态变化大数据的特征。在对网络参数与结构更新之后,通过权重矩阵SVD分解对更新后的网络结构进行优化,删除冗余的网络连接,增强网络模型的泛化能力。实验结果表明提出的模型能够在尽可能保持网络模型原始知识的基础上,通过不断更新神经网络的参数与结构实时学习动态大数据的特征。     

深度融合辅助信息的跨域推荐算法

协同过滤已成功用于为用户提供个性化的产品和服务,然而它面临数据稀疏和冷启动的问题。一种解决方案是结合辅助信息,另一种是从相关领域学习知识。综合考虑了这两个方面,提出一种深度融合辅助信息的跨域推荐算法CICDR,它集成了集体矩阵分解和深度迁移学习。该算法通过Semi-SDAE和矩阵分解（MF）在源域和目标域中进行建模,学习评分信息和辅助信息中的有效特征向量,并利用用户的隐式反馈信息来做出更准确的推荐。通过这种方式,在两个领域中学习到的用户和项目潜在因素为推荐保留了更多的语义信息。通过非完备正交非负矩阵三分解（IONMTF）产生桥接两个相关领域的公共潜在因素,以缓解目标域中的冷启动和数据稀疏问题。在三个真实数据集上与四种经典算法进行对比,验证了提出算法的有效性,进一步提高了推荐精度和用户满意度。