基于Hadoop平台的地铁NCC数据中心方案研究

线网指挥中心是地铁管理控制中的承上启下的重要环节,接入线网各线路的控制中心,实时的监测线网整体的运营状况;并通过与上级政府交通管理部门系统的对接,将相关数据提交至交通管理系统,配合交通管理部门的工作;数据中心是线网指挥中心的核心环节,存储线网所有线路的生产数据和业务数据;目前线网指挥中心的数据中心都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多,数据的种类和数量都在不断增加,传统数仓暴露出成本高,扩容难,维护困难的缺点;该方案提出的基于Hadoop大数据平台的数据中心建设方案,极大地降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能。     

生物医疗健康大数据应用支撑平台与关键技术

随着生物信息学的不断发展,生物医学领域积累了大量的数据,大数据已经贯穿基础研究、临床诊断、医药开发、健康管理等生物医学领域的各个环节。如何有效存储、管理、分析这些海量数据面临严峻的而挑战。基于超级计算机的计算分析和存储能力,在生物医学大数据处理的异构融合架构,面向生物医学大数据的层次式存储系统,生物医学大数据处理的异构并行计算和多源数据的汇聚机制与分析方法,突破生物医学大数据的汇聚、存储、分析等方面的关键技术,构建一个计算、分析处理和存储融合平台,以满足多种类型生物医学大数据应用的不同需求。     

以固态硬盘为缓存的存储技术研究

在传统数据存储技术的基础上提出以固态硬盘为缓存的存储技术,结合固态硬盘的写缩减技术,实现热点数据与冷数据在内存‐固态硬盘‐机械磁盘之间的分级缓存与存储机制,从而能充分利用内存资源,增强与CPU 的数据交互能力,进而有效提升大数据环境下的数据处理速度。     

一种多特征融合的软件开发者推荐

软件开发者能力评价和协作关系推荐是大数据环境下软件智能化开发领域的一个研究热点.通过分析互联网开发者社区和企业内部开发环境,设计出基于模糊综合评价的开发者能力模型;随后,通过挖掘开发者与任务的动态交互行为、静态匹配度以及开发者能力三个不同维度的特征并结合矩阵分解技术,提出一种能力与行为感知的多特征融合协同过滤开发者推荐方法,最终解决开发者推荐面临的评价矩阵稀疏性和冷启动问题,提升个性化精准推荐效率.从系统层面给出适合大数据环境的多特征融合开发者推荐原型系统实践及对现有开源技术框架的优化改进,实验过程分别基于互联网问答社区StackOverflow和企业内部GitLab环境进行了实验分析.最后,对未来研究可能的问题及思路进行了展望.     

基于OBD技术的驾驶习惯的参数化指标研究

目的驾驶员行为习惯的参数化研究对于评价驾驶员的驾驶水平有很重要的意义。本文根据驾驶习惯具有长期稳定的特点,基于车载诊断系统(OBD)技术分析驾驶参数并获得可靠的驾驶习惯评价指标。方法通过对各驾驶相关的参数进行时序稳定性检验,表明OBD提供的一些指标能作为驾驶习惯的参数化评估指标。结果通过OBD技术提取的一些参数具有时序稳定性,可以作为驾驶习惯的参数化指标。结论驾驶参数的稳定性是很多驾驶行为因果分析的隐含前提,本研究结论不仅能在一定程度上表征驾驶行为习惯,也为驾驶行为的因果研究提供了理论依据。     

有线电视用户行为分析实践

以有线电视网用户行为数据（东方有线2013年第一季度）为基础,实现了用户行为分析的典型应用——个性化节目推荐。实践过程中应用互联网数据处理的大数据技术,包括构建了大数据平台,实现生产大数据的流程,采用SlopeOne和item-to-item算法实现了用户行为分析的典型应用——个性化节目推荐。     

DOP：一种数据开放框架及其应用

数据开放是大数据时代的趋势,而通用工程化的开放数据平台的实施是当前面临的主要问题。本文基于元数据管理和大数据存储,提出数据开放池（Data-Open-Pool,DOP）框架和“目录-数据集-发布”（Catalog-Dataset-Distribution,CDD）数据描述模型,实现数据从采集发布到最终开放的业务逻辑及数据资源在3个层次的描述与管理,最后通过DOP和CDD分层描述模型实现简便的数据开放应用案例,并讨论该框架存在的若干问题。     

高速公路大数据处理现状与挑战

高速公路在日常的运营过程中,产生了海量的、异构的数据,即大数据,这些数据还在快速的增长。大规模产生的数据,给数据的存储和分析带来了巨大的挑战,如何科学、高效的存储这些大数据,并能对其进行快捷的访问和分析,更好的服务于交通,是一个迫在眉睫的问题。首先讨论了高速公路中大数据的来源以及数据的特点,然后分析了研究大数据的意义和大数据处理技术,并分析了这些技术在高速公路大数据中分析中所面临的挑战。     

水利工程建设管理云平台建设与工程应用

设计开发水利工程建设云管理平台和云管理系统的目的是要研究和探索一种创新的水利工程建设的管理模式,一方面需要突破传统的管理模式和机制的束缚,另一方面在实现的技术与方法上也要进行不断地探索与尝试。建立云计算管理平台和系统是一种高效和集约化的建设模式,解决了水利工程实现信息化管理面临的手工管理、传统模式、分散管理、效率低等难题,可以全面提升水利工程建设信息化管理的整体水平,同时也可以提高工程管理的水平和工程质量。笔者在设计开发的过程也提出了很多需要深入研究问题。