基于K2算法的精准营销研究

随着电子商务技术的飞速发展,用户量剧增。利用使用者在电商平台上的浏览痕迹对用户行为进行分析,实现商品的精准推荐,已经成为电子商务的一个热点应用技术和领域。用户行为的有效分析强烈地依赖对用户属性、行为和期待数据画像的精准刻画。然而,就目前的方法和技术而言,在数据画像模型的表现能力和推荐算法的处理效率方面还有许多技术挑战。面对上述挑战,利用数据画像和数据画像概率分配模型等概念,提出基于贝叶斯网络的预测推荐算法,通过构建用户行为的先验概率计算可能产生消费的后验概率。对信用卡APP的真实浏览日志数据进行测试,验证了该算法的可行性和有效性。实验表明,基于贝叶斯网络的推荐算法有着高于传统营销模型的准确性。     

基于1DCNN-LSTM的船舶轨迹分类方法

由于监控设备视野有限、代价昂贵等问题,导致基于船舶图像或视频的船舶分类效果欠佳,改进船舶分类方法、提高船舶分类的准确率迫在眉睫。近几年,随着各类轨迹数据采集系统的兴起,通过船舶航行轨迹数据实现船舶类型的分类逐渐成为可能。针对使用传统二维卷积神经网络(Convolutional Neural Network,CNN)对船舶轨迹分类存在特征压缩和时序特征表达能力匮乏的问题,文中提出了一种一维CNN(One-Dimensional CNN,1DCNN)与长短期记忆网络(Long Short-Term Memory,LSTM)相结合的混合分类模型,对采集到的船舶自动识别系统(Automatic Identification System,AIS)数据进行船舶类型识别。首先,针对AIS采集到的船舶轨迹数据进行预处理,过滤噪声数据;然后,针对隐含在船舶轨迹信息中的特征对于1DCNN而言过于隐晦的问题,提出了一种针对大规模航舶轨迹数据的,且1DCNN能够识别的轨迹分布特征向量的构建算法,同时在此基础上提取了LSTM能够识别的时序特征向量;最后,将训练后的1DCNN模型与LSTM模型进行数据融合得到混...     

基于日志挖掘的电商查询建议方法

查询建议可以有效减少用户输入、消除查询歧义,提高信息检索的便捷性和准确率。随着电子商务的发展,查询建议也越来越多地应用于电子商务网站的商品搜索中。然而,传统的基于Web搜索的查询建议方法在电商领域并不能完全适用。针对电商这一特定领域,对不同的查询建议技术进行比较,提出了一种综合考虑用户的搜索以及购物行为的查询建议方法,运用MapReduce技术对用户日志进行挖掘,以此生成检索词词库;并通过在线计算与离线计算结合的方法,为用户提供实时查询建议。实验结果表明,本文提出的基于日志挖掘的电商查询建议方法能有效提高查询建议的准确率,并且具有良好的处理性能。     

面向服务的云-端动态协作方法

边缘计算可以通过将计算转移至边缘设备,以提高大型物联网流数据的处理质量并降低网络运行成本。然而,实现大型流数据云计算和边缘计算的集成面临两个挑战。首先,边缘设备的计算能力和存储能力有限,不能支持大规模流数据的实时处理。其次,流数据的不可预测性导致边缘端的协作不断地发生变化。因此,有必要实现边缘服务和云服务之间的灵活划分。提出一种面向服务的云端与边缘端的无缝集成方法,用于实现大规模流数据云计算和边缘计算的协作。该方法将云服务分成两部分,分别在云端和边缘端上运行。同时,提出了一种基于改进的二分图动态服务调度机制。当产生事件时,可以在适当的时间将云服务部署到边缘节点。基于真实的电能质量监控数据对提出的方法进行了有效性验证。     

面向移动端基于社交关系的图片缓存替换算法

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据用户需求再加载原图的策略。在服务器端也采用缓存技术来加快缩略图产生时间,减少磁盘I/O。但是,当前的缓存机制更多关注的是缓存的访问频率、最近访问时间等因素,并没有过多关注数据生成用户之间的社交关系,也没有考虑移动用户对缩略图和原图的不同访问模式。把缓存划分为两个部分:缩略图缓存区和原图缓存区,提出了基于社交关系的图片缓存替换算法,在传统缓存替换算法的基础上增加用户的社交关系以及缩略图和原图的关联关系,通过计算图片的缓存价值进行缓存替换。实验表明,所提出的基于社交关系的图片缓存替换算法对于缩略图和原图的缓存命中率都有明显提高。     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

基于云架构的交通感知数据集成处理平台

海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数据处理应用的开发存在较高的复杂性并且易于造成大量重复的数据跨节点传输而影响应用性能.针对此问题,通过分析交通感知数据及其处理需求特征,提出一种基于可跨应用共享的时空数据对象的交通感知数据处理模型,通过引入时空数据对象这一新的概念抽象并提供易并行划分的时空数据对象组织及共享支持,实现分布计算中对时空型交通感知数据的优化管理.在此基础上,设计并实现了交通感知数据集成处理平台.通过实际应用和基于真实交通数据的实验测试表明:该平台相对于传统的交通感知数据处理方法及系统在性能及扩展性等方面均具有一定的优势.     

基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。