大数据时代下电子商务发展的机遇和挑战

大数据时代的到来给我国电子商务发展既带来机遇也带来挑战。大数据的应用可以促进电商开展市场营销,有利于个性化和精准的商品推介,有利于挖掘数据潜在价值。但同时,电商也需面对在大量数据中甄别、收集真实有用信息,分析和加工海量数据,活用大数据,解决数据断层问题等挑战。     

基于MapReduce技术的海量文本数据统计方法研究

为了实现海量文本数据的有效发掘和统计,从文本分类与大数据并行处理两个方面着手,研究在海量文本数据挖掘的相关理论知识和MapReduce编程模型的相关技术支撑下的海量文本数据挖掘统计方法。在并行运算模型的开源实现Hadoop平台上,提出了一种简单、有效的文本分类方法——基于MapReduce的平均朴素贝叶斯文本分类算法。     

基于互联网+机器学习的心理健康预警技术

本文利用基于机器学习进行批量处理数据,对心理患者的情感表达文本数据进行大量的训练,并利用训练好的机器学习模型对心理疾病的数据进行心理情感分析,最后得出了用户的心理健康变化情况并对用户进行实时预警。本文实现了一对多跟踪患者的病情发展,实时分析患者心理健康状态,解决心理医生数量匮乏的问题。     

基于LDA的主题分类系统研究

当前人类处于信息爆炸的时代,对于海量的文本数据,可以利用人工智能的工具来提高数据分析处理的效率,来挖掘海量数据的宝藏。文章主要对文本的主题分类算法进行研究,通过改进分类方法并提出可视化方案,使主题分类具有更好的应用价值。首先通过利用LDA主题分类算法进行处理,并提出了一些改进方法使分类效果更优,并最终生成可视化的主题分类结果,进而用于推荐系统、数据挖掘、数据分析等领域。     

海量碎片化网络大数据有效数据快速提取方法

本文提出一种新的海量碎片化网络大数据中有效数据快速提取与恢复方法,对海量碎片化网络大数据中有效数据快速提取问题进行描述,通过Hash表完成对多个单数据流统计结果的处理,以实现海量碎片化网络大数据中有效数据快速提取。实验结果表明,采用所提方法对海量碎片化网络大数据中有效数据进行提取精度和效率均较高。     

面向大数据的建筑能耗与环境实时管理云平台架构设计

实现建筑精细化管理需要面向建筑能耗、环境、设备运行和使用需求等海量数据。提出一种面向大数据的建筑能耗与环境实时管理云平台架构设计,通过应用分布式消息中间件、分布式NewSQL数据库、分布式计算框架等大数据技术,以及深度神经网络与机器学习框架等人工智能技术,满足海量数据集成、存储、处理和分析需求。这些成果可以为建筑高效运行管理提供技术支撑。     

基于机器学习方法的个人信用评价研究

在大数据和互联网技术迅猛发展的背景下,金融大数据平台公司通过自己的平台收集和整理海量数据,完善信用评价维度,运用机器学习方法对个人信用水平进行全面科学评价,因而,商业银行传统个人信用评价面临巨大挑战。从现有个人信用评价体系和方法局限出发,探讨基于机器学习方法的个人信用评价研究的必要性,完善个人信用评价维度和评价体系,明确数据采集的渠道,运用动态脱敏技术进行数据脱敏、LOF检验方法检验数据异常值和随机森林方法补充数据缺失值。接着,运用梯度提升决策树方法筛选重要性指标,通过基于逻辑回归的评分卡模型对筛选后的指标进行处理,输出个人信用评价分。最后,通过BP神经网络对模型进行检验,运用该模型对个人信用水平进行预测。研究表明基于机器学习能够进一步提高个人信用评价的准确性,为商业银行个人信用评价提供科学的依据和参考。     

一种分布式中文微博热点话题的发现方法

针对微博数据文本内容短小、特征词稀疏以及规模庞大的特点,提出了一种基于Map Reduce编程模型的发现微博热点话题的方法。该方法首先利用隐主题分析技术解决了微博内容短小、特征词稀疏的问题,然后利用CURE算法缓解了Kmeans算法对初始点敏感的问题,最后采用基于Map Reduce编程模型Kmeans聚类算法,对海量微博短文本数据进行快速聚类。实验结果表明该方法可以有效提高微博热点话题发现的效率。     

海量铁路机车GIS定位数据分布式处理技术

针对铁路机车海量GIS信息数据及其对铁路调度几种控制系统带来的数据存取问题,采用Hadoop HDFS进行海量GIS数据存取,提出HBase的数据表结构设计及查询方法以及采用MapReduce进行数据分析的分布式处理方法,明确了基于MapReduce对铁路机车GIS信息进行地图匹配以及安全距离计算的方法。试验结果表明:采用Hadoop HDFS进行数据存取具有较高的效率,在需要大量数据存取的情况下,采用MapReduce进行分布式数据分析效率更高,扩展性更好。     

浅谈水务行业工单数据挖掘及应用

水务行业的客服工单数据中储藏着海量的文本结构数据。随着产销差控制工作的深入推进,越来越多的人开始意识到客服工单数据对高层决策,指导降差,监督、评价各部门降差工作,提高服务质量和水平有着极其重要的作用。一、工单数据挖掘问题和难点(一)工单数据挖掘问题文本结构的工单数据挖掘与传统的结构性数据挖掘完全不同。不管是挖掘的思路、方法,还是挖掘理念,都有很大差异。况且,文本结构复杂繁琐,数据质量又差,受各种条件的制约,使得工单数据挖掘停滞不前。