基于隐私保护的联邦推荐算法综述

推荐系统通过集中式的存储与训练用户对物品的海量行为信息以及内容特征, 旨在为用户提供个性化的信息服务与决策支持. 然而, 海量数据背后存在大量的用户个人信息以及敏感数据, 因此如何在保证用户隐私与数据安全的前提下分析用户行为模式成为了近年来研究的热点. 联邦学习作为新兴的隐私保护范式, 能够协调多个参与方通过模型参数或者梯度等信息共同学习无损的全局共享模型, 同时保证所有的原始数据保存在用户的终端设备, 较之于传统的集中式存储与训练模式, 实现了从根源上保护用户隐私的目的, 因此得到了众多推荐系统领域研究学者们的广泛关注. 基于此, 对近年来基于联邦学习范式的隐私保护推荐算法进行全面综述、系统分类与深度分析. 具体的, 首先综述经典的推荐算法以及所面临的问题, 然后介绍基于隐私保护的推荐系统与目前存在的挑战, 随后从多个维度综述结合联邦学习技术的推荐算法, 最后对该方向做出系统性的总结并对未来研究方向与发展趋势进行展望.     

一种基于差分隐私保护的协同过滤推荐方法

由于推荐系统需要利用大量用户数据进行协同过滤,会给用户的个人隐私带来相当大的风险,如何保护隐私数据成为推荐系统当前面临的重大挑战.差分隐私作为一种新出现的隐私保护框架,能够防止攻击者拥有任意背景知识下的攻击并提供有力的保护.针对推荐系统中的隐私保护问题,提出一种满足差分隐私保护的协同过滤推荐算法.首先,构建用户和项目的潜在特征矩阵,有效降低数据稀疏性;然后,采用目标扰动方法对矩阵中添加满足差分隐私约束的噪声得到噪矩阵分解模型;通过随机梯度下降算法最小化相关联的正则化平方误差函数来获取模型中的参数;最后,应用差分隐私矩阵分解模型进行评分预测,并在MovieLens和Netflix数据集上对算法的有效性进行评价.实验结果证明:所提出方法的有效性能够在有限的精度损失范围内进行推荐并保护用户隐私.     

Integrating similarity and dissimilarity notions in recommenders

Collaborative recommenders rely on the assumption that similar users may exhibit similar tastes while content-based ones favour items that found to be similar with the items a user likes. Weak related entities, which are often considered to be useful, are neglected by those similarity-driven recommenders. To take advantage of this neglected information, we introduce a novel dissimilarity-based recommender that bases its estimations on degrees of dissimilarities among items’ attributes. However, instead of using the proposed recommender as a stand-alone method, we combine it with similarity-based ones to maintain the selective nature of the latter while detecting, through our recommender, information that may have been overlooked. Such combinations are established by IANOS, a proposed framework through which we increase the accuracy of two popular similarity-based recommenders (Naive Bayes and Slope-One) after their combination with our algorithm. Improved accuracy results in experimentation on two datasets (Yahoo! Movies and Movielens) enhance our reasoning. However, the proposed recommender comes with an additional computational complexity when combined with other techniques. By using Hadoop technology, we developed a distributed version of IANOS through which execution time was reduced. Evaluation on IANOS procedures in terms of time performance endorses the use of distributed implementations.     

基于区块链的联邦学习: 模型、方法与应用

近年来, 人类社会快速步入大数据时代, 数据安全与隐私保护已成为发展大数据生态及相关数字经济的关键问题. 联邦学习(Federated learning)作为分布式机器学习的一种新范式, 致力于在保护数据隐私的同时从分布式本地数据集中训练全局模型, 因而获得了广泛和深入的研究. 然而, 联邦学习体系面临的中心化架构、激励机制设计和系统安全等技术挑战仍有待进一步研究, 而区块链被认为是应对这些挑战的有效解决方案, 并已成功应用于联邦学习的许多研究和实践场景. 在系统性地梳理现阶段区块链与联邦学习集成研究成果的基础上, 提出基于区块链的联邦学习(Blockchain-enabled federated learning, BeFL)概念模型, 阐述其中的若干关键技术、研究问题与当前研究进展, 探讨该领域的应用场景以及有待进一步研究的关键问题, 并讨论未来发展的潜在方向, 致力于为构建去中心化和安全可信的数据生态基础设施、促进数字经济与相关产业的发展提供有益的参考与借鉴.     

机器学习中的隐私攻击与防御

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.     

差分隐私综述

差分隐私是2006年由DWORK提出的一种新型的隐私保护机制,它主要针对隐私保护中,如何在分享数据时定义隐私,以及如何在保证可用性的数据发布时,提供隐私保护的问题,这两个问题提出了一个隐私保护的数学模型。由于差分隐私对于隐私的定义不依赖于攻击者的背景知识,所以被作为一种新型的隐私保护模型广泛地应用于数据挖掘,机器学习等各个领域。本文介绍了差分隐私的基础理论和目前的研究进展,以及一些已有的差分隐私保护理论和技术,最后对未来的工作和研究热点进行了展望。     

Hybrid Recommender Systems: Survey and Experiments

Recommender systems represent user preferences for the purpose of suggesting items to purchase or examine. They have become fundamental applications in electronic commerce and information access, providing suggestions that effectively prune large information spaces so that users are directed toward those items that best meet their needs and preferences. A variety of techniques have been proposed for performing recommendation, including content-based, collaborative, knowledge-based and other techniques. To improve performance, these methods have sometimes been combined in hybrid recommenders. This paper surveys the landscape of actual and possible hybrid recommenders, and introduces a novel hybrid, EntreeC, a system that combines knowledge-based recommendation and collaborative filtering to recommend restaurants. Further, we show that semantic ratings obtained from the knowledge-based part of the system enhance the effectiveness of collaborative filtering.     

Conversational Collaborative Recommendation – An Experimental Analysis

Traditionally, collaborative recommender systems have been based on a single-shot model of recommendation where a single set of recommendations is generated based on a user’s (past) stored preferences. However, content-based recommender system research has begun to look towards more conversational models of recommendation, where the user is actively engaged in directing search at recommendation time. Such interactions can range from high-level dialogues with the user, possibly in natural language, to more simple interactions where the user is, for example, asked to indicate a preference for one of k suggested items. Importantly, the feedback attained from these interactions can help to differentiate between the user’s long-term stored preferences, and her current (short-term) requirements, which may be quite different. We argue that such interactions can also be beneficial to collaborative recommendation and provide experimental evidence to support this claim.     

LDA-CF: 一种混合协同过滤方法

推荐系统是一种克服信息过载的重要工具,其中最流行的方法是协同过滤。该文提出一种结合潜在因素模型和邻域方法的混合协同过滤方法LDA-CF。我们首先将评分矩阵转换成伪文档集合,使用LDA(Latent Dirichlet Allocation)主题模型发现用户和物品潜在因素向量;然后在低维潜在因素空间计算用户和物品相似度;最后采用邻域方法预测未知评分。在MovieLens 100k数据集上的实验表明: 在评分预测任务中,LDA-CF取得的MAE性能指标优于传统的邻域方法。因此,LDA可以有效地从评分矩阵中发现对计算相似度十分有用的用户和物品低维特征表示,在一定程度上缓解了数据稀疏问题。     

CROC: A New Evaluation Criterion for Recommender Systems

Evaluation of a recommender system algorithm is a challenging task due to the many possible scenarios in which such systems may be deployed. We have designed a new performance plot called the CROC curve with an associated statistic: the area under the curve. Our CROC curve supplements the widely used ROC curve in recommender system evaluation by discovering performance characteristics that standard ROC evaluation often ignores. Empirical studies on two domains and including several recommender system algorithms demonstrate that combining ROC and CROC curves in evaluation can lead to a more informed characterization of performance than using either curve alone.     

广域推荐:社会网络与协同过滤(英文)

商务企业应用数据挖掘技术向潜在客户推荐产品。大多数推荐系统聚焦研究兴趣于特定的领域,如电影或书籍。使用用户相似度或产品相似度的推荐算法通常可以达到较好效果。然而,当面临其他领域问题时,推荐常变得非常困难,因为数据过于稀疏,难以仅基于购买历史发现用户或产品间的相似性。为解决此问题,提出使用社会网络数据,通过对历史的观察提高产品推荐有效性。利用人工协同过滤和基于社会网络的推荐算法的最新进展进行领域推荐工作。研究显示社会网络的应用对于产品推荐具有很强的指导作用,但是,高的推荐精度需以牺牲召回率为代价。数据的稀疏性意味着社会网络并不总是可用,在这种情况下提出一种解决方案,很好地利用了社会网络的有效信息。     

基于云计算技术的个性化推荐系统

传统的协同过滤推荐技术在大数据环境下存在一定的不足。针对该问题,提出了一种基于云计算技术的个性化推荐方法：将大数据集和推荐计算分解到多台计算机上并行处理。在对经典ItemCF算法MapReduce化后,建立了一个基于Hadoop开源框架的并行推荐引擎,并通过在已商用的英语训练平台上进行学习推荐工作验证了该系统的有效性。实验结果表明,在集群中使用云计算技术处理海量数据,可以大大提高推荐系统的可扩展性。     

协同深度学习推荐算法研究

针对当用户评分较少时,推荐系统由于数据稀疏推荐性能显著降低这一问题,介绍了协同深度学习算法（Collaborative In Deep Learning,CIDL）.本算法首先对大量数据进行深度学习,然后对数据文本进行挖掘提取词汇表,最后对评级（反馈）矩阵进行协同过滤,从而得出对用户的推荐项目.本文使用真实的电影数据进行实验,与另外四种优秀算法进行对比,证明该算法可以真实有效得解决由于数据稀疏使得性能降低的问题,并提高推荐的准确度.