稀疏数据中基于高斯混合模型的位置推荐框架

协同过滤和概率模型是位置推荐中的常用方法,但前者没有考虑用户的移动模式,后者也难以用于稀疏数据集。针对上述问题,面向稀疏数据构建基于高斯混合模型的位置推荐框架GMMSD。按时间段划分用户签到的历史数据,通过数据预处理获取用户-区域矩阵,并利用矩阵分解算法提高稀疏数据的推荐准确度,学习高斯混合模型以预测用户出现在不同区域的概率分布,从而进行位置推荐。在真实数据集上的实验结果表明,GMMSD可以有效提高稀疏数据中位置推荐的准确度。     

一种基于移动用户位置的网络服务推荐方法

伴随着无线通信技术和智能移动终端的快速发展,基于位置的服务(location-based services,简称LBS)以其移动性、实用性、随时性和个性化的特点,在军事、交通、物流等诸多领域得到了广泛的应用,成为最具发展潜力的移动增值业务之一。在一个基于位置的网络服务推荐框架的基础上,给出了一种基于位置的移动用户偏好相似度计算方法,同时证明了其满足近邻相似测度的一般性质;然后,提出一种符合社会学概念的信任值计算方法。把它们应用于基于移动用户位置的网络服务推荐过程中,从而形成了一种基于移动用户位置的网络服务推荐方法。该方法有效地提高了网络服务推荐的准确性和可靠性,同时缓解了推荐过程中可能存在的数据稀疏性以及冷启动问题。最后,通过公开的MIT数据集验证了该推荐方法的准确度和可行性。     

一种基于协同稀疏和全变差的高光谱线性解混方法

稀疏分解是高光谱图像（Hyperspectral image,HSI）解混中的常用方法,为了克服传统稀疏解混方法只重视挖掘空间相关性而忽视稀疏性精确刻画的缺点,本文提出一种新的基于协同稀疏和全变差（Total variation,TV）相结合的高光谱空谱联合线性解混方法,从而进一步提高解混的精度.该方法基于已知光谱库的高光谱稀疏线性回归模型,利用TV正则项对高光谱邻域像元间的相关性进行约束;同时,协同稀疏性被用来刻画丰度系数的行稀疏性,从而表明协同稀疏先验对空谱联合解混精度的提高至关重要;最后采用交替方向乘子法求解模型.模拟高光谱数据实验结果定量地验证本文方法能够比现有同类方法获得更精确的解混结果,同时真实高光谱数据实验结果定性地验证了本文方法的有效性.     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

一种缓解协同过滤算法数据稀疏性的方法

协同过滤算法是推荐系统中最古老的算法之一,同时也是当今推荐系统中使用最广泛的一种算法。但是在简单,效率高的同时,协同过滤算法还存在数据稀疏性,冷启动等一些问题.本文针对其数据稀疏性的问题,提出了一种根据兴趣度预测用户未评分项目的方法。最后通过基于Netflix数据集的实验结果表明,该方法能够更好的处理稀疏矩阵,能缓解数据稀疏问题,从而提高了协同过滤算法的准确性。     

一种基于径向基函数与模糊自适应共振的电子商务推荐方法*

针对协同过滤推荐算法面临数据稀疏特征时推荐效果较差,存在冷启动、稀疏性、可扩展性等问题,提出应用径向基函数神经网络(RBFN)去解决传统协同过滤的缺点,有效地对稀疏性数据进行平滑处理,得到消除稀疏性后的完全评价矩阵。并提出通过模糊自适应共振神经网络对用户相似性聚类进行改进,进行实时推荐。实验评价结果表明,该方法与传统协同过滤推荐方法相比,无论在推荐精度还是推荐相关性上都更为有效。     

基于标签的强化学习推荐算法研究与应用*

针对协同过滤推荐算法性能稳定性往往受到数据稀疏性影响的问题,在强化学习的框架下提出一种基于标签的协同过滤推荐算法,利用标签模拟用户兴趣来构造非稀疏的个性化数据,并将模拟数据与历史用户访问数据相结合进行协同过滤推荐。实验结果表明,引入基于标签的个性化数据可以有效提升协同过滤算法的性能,且对两种数据的有效结合可以获得最好的效果。     

基于GEP-RBF的协同过滤数据稀疏性问题研究

针对传统协同过滤推荐算法的数据稀疏性问题,提出了基于GEP-RBF的协同过滤推荐算法.该算法对目标用户偏好的分类范畴进行了分析,构建了局部用户-项目评分矩阵,同时利用GEP优化RBF神经网络,预测局部用户-项目评分矩阵的缺失评分,平滑评分矩阵,并给出了用户评分项目交集阈值修正相似度的方法,提高用户相似度计算的准确性.实验结果表明,该算法能有效地缓解数据稀疏性问题,从而提高了协同过滤推荐系统的推荐质量.     

Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

协同过滤推荐系统中数据稀疏问题的解决*

介绍了现有协同过滤推荐的几种主要算法.它们对数据稀疏性问题都有一定的缓和作用.通过在数据集MovieLens上的实验,分析了各个算法在不同稀疏度下的推荐质量,为针对不同数据稀疏度的系统实现提供了可靠依据.     

Inferring demographics from human trajectories and geographical context

The advances of positioning technologies and the widespread use of mobile devices bring us massive data with location information, or so-called big geo-data. One important part of big geo-data is massive digital human trajectories recorded by location-enabled mobile terminals and social apps. Digital human trajectories have been studied to learn more about human mobility and human activity. Existing research has shown that there exist strong associations between trajectory patterns and demographics. Given that demographics are essential information to various domains but not easy to acquire timely and on a large scale, inferring demographics from human trajectories has attracted attention from academia. In this paper, we proposed a demographics inferring framework suitable for big geo-data processing. Trajectory patterns were quantified from both spatiotemporal and semantic perspectives. Spatiotemporal features extracted from trajectories directly were used for capturing how people traveled in space and time. Semantic features obtained by attaching geographical context to trajectories were to reflect activities people conducted. Spatiotemporal and semantic features were organized into feature vectors and then input to supervised classification models to infer demographics. GPS trajectories and land use data in Beijing were used to validate the framework. Results show that the inference accuracies of marital status and residency status achieve 80% and thus prove the feasibility of our framework. This study can facilitate decision making in both business and social studies, such as personalized recommendation, commercial site selection and urban planning.     

一种高效的移动对象伴随模式挖掘算法

从时空维度中寻找轨迹相似、时间相近的对象集合,即挖掘移动对象的伴随模式,在基于地理位置的用户行为分析中被广泛使用.然而现有移动对象相似性挖掘算法难以处理时间连续、空间离散、时空相关并且数据量大的时空数据.针对此类数据,设计基于滑动窗口、Apriori性质和贪心选择策略的宽度优先搜索算法,对移动对象伴随模式挖掘问题进行求解.同时结合基于哈希的迭代剪枝算法和基于摘要信息的剪枝算法,设计两层剪枝算法以去除冗余的中间结果.在真实数据上的实验结果表明,与仅使用哈希迭代或摘要信息的剪枝算法相比,该算法的剪枝效率较高,并且能够稳定去除99%以上的冗余数据.     

时空轨迹序列模式挖掘方法综述

在全球定位、移动通信技术迅速发展的背景下涌现出了海量的时空轨迹数据,这些数据是对移动对象在时空环境下的移动模式和行为特征的真实写照,蕴含了丰富的信息,这些信息对于城市规划、交通管理、服务推荐、位置预测等领域具有重要的应用价值,而时空轨迹数据在这些领域的应用通常需要通过对时空轨迹数据进行序列模式挖掘才能得以实现。时空轨迹序列模式挖掘旨在从时空轨迹数据集中找出频繁出现的序列模式,例如： 位置模式（频繁轨迹、热点区域）、活动周期模式、语义行为模式,从而挖掘时空数据中隐藏的信息。总结近年来时空轨迹序列模式挖掘的研究进展,先介绍时空轨迹序列的数据特点及应用,再描述时空轨迹模式的挖掘过程：从基于时空轨迹序列来挖掘位置模式、周期模式、语义模式这三个方面来介绍该领域的研究情况,最后阐述现有时空轨迹序列模式挖掘方法存在的问题,并展望时空轨迹序列模式挖掘方法未来的发展趋势。     

大数据随机样本划分模型及相关分析计算技术

设计了一种新的适用于大数据的管理和分析模型——大数据随机样本划分（Random sample partition,RSP）模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持统计意义上的一致,因此,每个RSP数据块是大数据的一个随机样本数据,可以用来估计大数据的统计特征,或建立大数据的分类和回归模型。基于RSP模型,大数据的分析任务可以通过对RSP数据块的分析来完成,不需要对整个大数据进行计算,极大地减少了计算量,降低了对计算资源的要求,提高了集群系统的计算能力和扩展能力。本文首先给出RSP模型的定义、理论基础和生成方法;然后介绍基于RSP数据块的渐近式集成学习Alpha计算框架;之后讨论基于RSP模型和Alpha框架的大数据分析相关计算技术,包括：数据探索与清洗、概率密度函数估计、有监督子空间学习、半监督集成学习、聚类集成和异常点检测;最后讨论RSP模型在分而治之大数据分析和抽样方法上的创新,以及RSP模型和Alpha计算框架实现大规模数据分析的优势。     

基于模式挖掘的用户行为异常检测

行为模式通常反映了用户的身份和习惯，该文阐述了针对Telnet会话中用户执行的shell命令，利用数据挖掘中的关联分析和序列挖掘技术对用户行为进行模式挖掘的方法，分析了传统的相关函数法在应用于序列模式比较时的不足，提出了基于递归式相关函数的模式比较算法，根据用户历史行为模式和当前行模式的比较相似度来检测用户行为中的异常，最后给出了相应的实验结果。     

使用R对1995-2011年我国水资源状况的分析

缓解水资源危机,合理开发利用水资源,关键是从时空维度量化水资源,分析和挖掘出有价值的知识和规律。R是一种免费的软件,具有丰富的统计计算和图形展现等功能,已成为大数据分析、挖掘和展现的利器。在概述水资源数据特点的基础上,以1995—2011年全国各省份水资源统计数据集为例,介绍如何使用R对水资源数据进行分析,包括假设检验、趋势分析等。结果既能通过图形化方式清晰直观地看到不同地区、省份的空间维度下,水资源按时间的变化情况,也可以快速选择出最佳趋势拟合方式等,符合领域业务要求。     

行为大数据,通宏洞微与人类决策——计算社会科学的兴起与发展

大数据和e-Science究竟能为社会科学研究带来什么,其本质属性、结合点、关键技术特征、展开路径和发展前景如何?本文概述行为大数据的本质特征和深化分析方法、一体化建模与社会科学计算实验平台构建及人文社会逻辑推理等相关内容,探索破解现实复杂情景中人类决策内在奥秘的可行途径,由此促使社会科学研究在与科技创新的深度结合中进一步突显人文特色;并结合实际应用简述若干案例,以更好地解释和展现计算社会科学缘何兴起及发展前景。     

一种Web挖掘的框架

随着Web信息量的增长，Web用户也迅速增长，如何在海量信息中找出用户需要的信息变得更加重要。基于Web服务器日志，分析在线用户的浏览行为，挖掘Web数据并找出用户的遍历模式已经成为一个新的研究领域。针对Web站点的结构，给出了一个Web挖掘的完整框架，允许在分析复杂的遍历模式时加入约束条件，然后对框架中算法的执行效率和执行准确性进行比较和分析，同时展望了Web挖掘的未来研究方向。     

Learning behavior patterns from video for agent-based crowd modeling and simulation

This paper proposes a novel data-driven modeling framework to construct agent-based crowd model based on real-world video data. The constructed crowd model can generate crowd behaviors that match those observed in the video and can be used to predict trajectories of pedestrians in the same scenario. In the proposed framework, a dual-layer architecture is proposed to model crowd behaviors. The bottom layer models the microscopic collision avoidance behaviors, while the top layer models the macroscopic crowd behaviors such as the goal selection patterns and the path navigation patterns. An automatic learning algorithm is proposed to learn behavior patterns from video data. The learned behavior patterns are then integrated into the dual-layer architecture to generate realistic crowd behaviors. To validate its effectiveness, the proposed framework is applied to two different real world scenarios. The simulation results demonstrate that the proposed framework can generate crowd behaviors similar to those observed in the videos in terms of crowd density distribution. In addition, the proposed framework can also offer promising performance on predicting the trajectories of pedestrians.     

轨迹大数据异常检测:研究进展及系统框架

定位技术与普适计算的蓬勃发展催生了轨迹大数据,轨迹大数据表现为定位设备所产生的大规模高速数据流。及时、有效地对以数据流形式出现的轨迹大数据进行分析处理,可以发现隐含在轨迹数据中的异常现象,从而服务于城市规划、交通管理、安全管控等应用。受限于轨迹大数据固有的不确定性、无限性、时变进化性、稀疏性和偏态分布性等特征,传统的异常检测技术不能直接应用于轨迹大数据的异常检测。由于静态轨迹数据集的异常检测方法通常假定数据分布先验已知,忽视了轨迹数据的时间特征,也不能评测轨迹大数据中动态演化的异常行为。面对轨迹大数据低劣的数据质量和快速的数据更新,需要利用有限的系统资源处理因时变带来的概念漂移,实时检测多样化的轨迹异常,分析轨迹异常间的因果联系,继而识别更大时空区域内进化的、关联的轨迹异常,这是轨迹大数据异常检测的核心研究内容。此外,融合与位置服务应用相关的多源异质数据,剖析异常轨迹的起因以及其隐含的异常事件,也是轨迹大数据异常检测当下亟待研究的问题。为解决上述问题,对轨迹异常检测技术的研究成果进行了分类总结。针对现有轨迹异常检测方法的局限性,提出了轨迹大数据异常检测的系统架构。最后,在面向轨迹流的在线异常检测、轨迹异常的演化分析、轨迹异常检测系统的基准评测、异常检测结果语义分析的数据融合、以及轨迹异常检测的可视化技术等方面探讨了今后的研究工作。