大数据系统和分析技术综述

首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.     

对等点播系统中节点搜索机制研究

对等点播系统(P2P-VoD)中的跳转操作需要高效的节点搜索,如何快速查找到“合适”的节点是个挑战.“合适”包含两方面因素:(1)内容匹配;(2)物理性能匹配.而传统的方法大部分只涉及对前者的研究.文中提出了一种层次化的搜索模型(简称Mediacoop),不仅可以让搜索到的节点在内容上满足要求,而且在物理性能上也能满足要求.具体而言,Mediacoop首先利用播放距离来索引全部节点,再利用延迟特征优选内容上已经符合要求的节点.在NS2模拟器上的实验表明,Mediacoop在用户体验和系统开销上均优于传统的方法.同时,在实际系统CoolFish中的部署和运行也验证了Mediacoop的实用性.     

基于多任务下载的P2P-VoD系统的测量与分析

近些年,P2P点播系统(P2P-Vo D)受到广泛关注,其大多研究工作基于理论性的传统假设,这些假设在真实的系统中是如何表现的不得而知。因此,在真实P2P-Vo D系统中对传统假设进行全面的测量和验证就显得十分迫切。对实际运行的P2P-Vo D系统Cool Fish进行了大量的测量与分析,发现了一些不同于以往假设的结果:节点加入不是简单地服从泊松分布;观看时间和影片流行度不呈严格的正相关性;跳转频率和影片流行度不呈负相关。最后对这些结果进行了深入的分析和讨论。     

大数据时代的个人隐私保护

随着信息技术的发展,以Web2.0技术为基础的博客、微博、社交网络等新兴服务和物联网以前所未有的发展速度产生了类型繁多的数据,而云计算为数据的存储提供了基础平台,这一切造就了大数据时代的正式到来.大数据中蕴藏着巨大的价值,是企业的宝贵财富.但大数据同时也带来了巨大的挑战,个人隐私保护问题就是其中之一.迅速发展的互联网已经成为人们生活中不可或缺的一部分,人们在网络上留下了许多数据足迹,这些数据足迹具有累积性和关联性,将多处数据足迹聚集在一起,就可以发现个人的隐私信息.恶意分子利用这些信息进行欺诈等行为,给个人的生活带来了许多麻烦或经济损失,因此大数据的个人隐私问题引起了工业界和学术界的广泛关注.首先介绍了大数据时代个人隐私保护的相关概念,讨论了个人隐私保护面临的挑战和研究问题;然后从数据层、应用层以及数据展示层叙述了个人隐私保护所使用的技术,探讨了个人隐私保护的相关法律以及行业规范的几个重要方面;最后提出了大数据个人隐私保护的进一步研究方向.