面向大数据的开源推荐系统分析

处在大数据时代,人们面临的重要问题是如何处理庞大的过量信息,并且如何应对数据惊人的增长趋势。论文重点讨论了面向大数据的推荐系统（RS）,分析现有的开源推荐系统,然后通过评价指标（以及大数据的4V定义）阐述开源推荐系统如何应对大数据时代不断变换的挑战。     

电力企业大数据体系架构的研究与应用

电力行业是国民经济以及国家发展战略的重要支撑行业,随着信息技术与电网建设的快速融合与发展,电力大数据已经成为电力行业未来发展的核心。文章从电力企业大数据的需求、处理及应用角度出发,基于计划预算、电网运营、核心资源、关键流程、专题监测等实际开展业务的全流程进行技术和理论研究。以横向协同业务应用构建为突破,构建业务应用与技术统筹机制,建成“数据干净透明,模型规范统一,分析灵活智能”的全业务统一数据流程,以数据需求为导向,以数据深度挖掘、分析、筛选为手段,实现“全业务协同,全流程贯通,全数据共享”。通过全面解析电力企业大数据体系架构,强化全业务数据汇聚与整合,深化总体架构管控,为打造世界一流能源互联网企业提供可靠的技术支撑。     

基于大数据的电商数据信息智能推荐服务及应用研究

随着大数据技术、5G移动网络、物联网和人工智能技术的快速发展,移动互联网和智能手机的普及,数据信息出现了过载现象,如何将数据信息有效地实现智能推荐已成为当前人工智能和大数据领域研究的重点。通过对大数据和电商数据信息智能推荐以及电子商务的概念进行梳理,给出了基于大数据的电商数据信息智能推荐服务及应用系统架构,使大数据在电商领域的应用价值得到了充分体现,对电子商务的进一步发展起到了推动作用。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

基于大数据平台的图像数据库架构的设计与实现

图像识别及其图像修复技术在目前的数字化领域应用非常广泛,在金融、安防领域尤为突出。因此,从经济和实用性角度出发基于大数据的图像修复技术有着广阔的应用前景。但大数据环境下复杂的数据存储是数据图像修复的关键,如何建立一个高效、安全、高容量的基于大数据平台的数据库,是数据库建立需要考虑的关键问题。下文从数据库架构的构成、应用目的、数据量大小、访问量、安全要求等各个角度研究和讨论图像数据库的建立,力求使数据库建立在安全、合理、流畅的数据库架构之上,达到最优的数据库架构模型。     

基于层次模型的大数据架构技术研究

云计算、物联网等技术的兴起,使人类社会数据种类、规模以惊人的速度增长,人类社会迎来了大数据时代.深入研究大数据的架构技术,通过层次建模,对大数据进行规范化表示,实现大数据服务的规范化架构.     

大数据PaaS平台架构的研究

移动互联网应用产生了海量的用户数据行为,这些数据所蕴含的价值能够推进应用和商业模式创新。电信运营商作为移动互联网应用用户的第一触点,可以有效结合运营商智能管道和云计算资源优势,打造面向企业合作伙伴的数据采集、挖掘、共享的生态价值链。从大数据PaaS平台切入,分析如何构建大数据服务环境,并给出后续研究建议和思考。     

利用大数据检测智能电网异常的分层架构

重点研究了智能电网异常分析过程中的大数据分析功能的分层架构.通过对当前电网大数据的数据结构进行分析,同时分析了当前智能电网大数据系统的惯用分析方法,最终形成了4个智能电网大数据分析过程的分析分层架构.第一层直接层可以通过对单节点数据的分析找到单一设备的直接故障,第二层关联层可以通过对多个节点的关联性特征进行时域比较分析...     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.     

基于微服务架构的大数据应用开发创新实践

为解决核电企业面临的海量数据组合查询搜索问题,江苏核电积极开展基于大数据技术和面向微服务架构的应用架构研究。以开源软件体系为依托,采用分层架构设计的方法,将大数据技术平台划分为数据采集层、数据计算层、数据服务层、数据应用层这几个层次。在各个层次上,研究和探索使用主流的大数据技术产品满足对应层次的需要。在应用架构上,创新性使用微服务架构来替代以往的单体应用开发模式,基于业内主流的Spring Cloud技术体系,实现了应用架构的全面微服务化。通过新的应用架构,不仅通过用户实时统计分析的应用开发来验证了微服务相关的服务注册中心、服务配置中心、服务发现、网关路由、服务高可用、服务负载均衡、服务快速API化等相关技术方案,而且为基于大数据与微服务的技术融合提供了一条可工程化的路径。     

智慧水利大数据基础体系架构和标准体系研究

为解决水利大数据概念内涵不清晰,体系架构不统一,标准规范不完善,应用目标不明确等问题,将大数据理论技术与水利行业特点相结合开展水利大数据理论框架的研究。在充分研究调研大数据应用现状基础上,解析水利大数据的体量巨大、复杂多样、新老结合、价值很高、模糊很大、交互性、效能性和共情性等内涵特征;从数据源、管理、计算和应用等4个层面提出适用于智慧水利建设的水利大数据基础体系架构,并从功能、技术、部署角度进行阐述;设计水利大数据实时与离线分析场景的应用框架,用于支撑智慧水利环境下的水利大数据分析和决策;提出水利大数据相关管理规范和应用标准体系框架;总结水资源、水环境水生态、水灾害、水工程、水监督、水行政、水公共服务等水利大数据的应用场景。研究成果符合水利行业实际情况,可以被借鉴用来指导水利大数据的研究和应用工作。     

电力企业大数据基础平台

电力企业各专业均有大数据应用需求,而大数据解决方案和产品路线众多.从一体化企业级信息系统的角度出发,需要构建统一平台,实现大数据应用服务平台化,全面支撑各专业大数据应用需求,避免重复建设.文章分析了电力企业大数据应用需求和技术现状,基于此提出了大数据基础平台的功能架构,最终对平台的设计思想和实现思路进行了详细论述.     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求.通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求...     

基于大数据的发电量预测分析数据平台建设

现有电力企业发电指标统计渠道较分散,发售配电各个环节产生的数据种类繁杂且体量较大,因此针对电力数据质量差、已挖掘价值低的问题,本文采用大数据预测神经网络和数据平台可视化展示的方法,以某发电企业为研究对象,构建了发电量预测的模型及以此为核心的数据平台。发电量预测的应用服务支持PC和APP端,涵盖了某电力企业所有控股电厂及新能源项目,以滚动预测的模式迭代优化算法模型,提高发电量预测精度,有利于安排生产、燃料采购、物资计划,进一步做好污染物排放预测和管控。平台重点实现了数据多维管理和用户界面的可视化展示。数据层面,从源头做好数据采集清洗和数据库实时数据交互;用户层面,更直观形象展示大数据预测从获取数据、数据分析及预处理、数据训练到预测的四个阶段。     

面向电力大数据的云审计研究与应用

随着电网数字化转型的深入开展,电力大数据时代悄然而至,也为电网企业的内部审计带来了挑战,大数据等新技术的推广应用为革新审计模式开拓了新的思路。在此背景下,基于信息融合技术和数据挖掘技术,本文搭建了具备“开放、融合、动态、智能”特点的面向电力大数据的云审计平台,实现电网全业务领域审计数据资源共享。借助该平台,审计人员可以及时、准确地获取数字化审计需要的全业务数据,实现跨系统、跨业务数据分析,并可通过自主搭建审计分析模型,捕获疑点,筛查线索。通过配网项目全过程监督评价模型实践应用,充分验证了云审计可以有效提升审计效率和质量,对防范和化解电网企业经营管理风险起到了积极的促进作用。     

面向医疗临床科研的大数据平台

目前我国医疗信息化建设已有一定历史,各医院积累了大量电子病历临床数据,但数据结构多样。如何利用这些数据以辅助临床诊疗、科研、节约医疗资源、提升医疗效率和医疗质量,成为各医疗科研机构普遍关注的问题。该文提出了一种面向临床科研的大数据平台,构建多源数据采集方式解决信息基础设施不一致的问题：统一化存储方式应对不同数据类型、分布式计算平台提升效率与可拓展性,并对敏感数据去隐私处理;同时,构建临床科研平台辅助临床科研人员进行科研分析。根 据架构搭建集群,在专病分析流程上将原本人工约 4 个月的工作简化到 15 秒左右;数据处理效率方面,由已有平台的 5 天导入 16 692 条数据提升到 10 分钟导入 15 217 026 条数据,速度与数量有了显著提升。该平台有助于完成临床数据采集,建立专病数据库、临床科研、辅助临床诊疗的闭环,为临床科研提供高效一体化的数据平台支持。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。