基于大数据技术学情监控系统框架设计

借助移动智能终端,利用大数据技术进行挖掘、分析和处理,最终形成对教学过程具有指导意义的有用信息,以增强学生的学习兴趣,提高教学效果。本文以Hadoop为核心构建了学情监控系统,并给出了数据挖掘并行算法。     

基于大数据的配电设备运行状态监控与故障预警系统设计

传统配电设备监控故障预警系统在监控过程中,故障预警存在较大时延,因此,设计一个基于大数据的配电设备运行状态监控与故障预警系统.硬件设计中,为了提高数据采集器的采集和传输精度,设计采样测量值接口,规范其报文格式,添加电流、电压互感器且确定各自的参数,设计网关的整体架构,确定其中芯片的型号;软件设计中,多个控件配合使用,使...     

智能化时代新闻业务大数据监控系统的分析与设计

近年来,随着大数据技术的研发和应用,大数据相关业务的监控也越来越重要。在智能化时代,新闻业务呈现出了新的发展趋势,随着新闻业务的扩展和数据量级的增长,大数据监控系统的构建成为新闻领域重要工作之一。对此,文章首先分析智能化新闻业务的特点和生产模式困境,重点建立新闻业务的大数据监控系统,将监控系统整体上分为六个功能性模块,对监控系统的系统权限、数据监控管理、监控项可视化等功能性模块进行详细的设计,并基于Holt-Winters算法建立监控系统中时间序列预测模型。以期提升大数据监控系统的数据安全监控能力,尽可能减小数据风险和经济损失,促进大数据环境下新闻业务的智能化发展。     

应用大数据技术监控设备运行状态实践

发电厂设备繁多、工艺复杂。传统设备状态巡视因无设备隐患预知,生产运行和管理人员需要对设备主要参数依次浏览或现场巡视,费时费力,且状态是否异常仅能凭个人经验来判断,容易形成设备管理主观化、甚至情绪化的非良性现象。通过搭建大数据平台,筛选设备历史正常工况运行数据,应用大数据融合技术构建发电厂重点或全部设备模型。当模型引入实时生产数据后,平台通过大数据分析一方面将设备实时状态脱离历史正常工况状态方向的微小异动进行报警,另一方面预判出设备隐患部件和预期故障时间。使设备管理可做到重点巡视、提前处置、有备消缺,使设备故障防患于未然,从而提高发电厂整体设备可靠性,为设备管理向状态检修方向迈进提供数据和技术支撑。     

大数据资产管理系统的设计与实现

伴随着大数据时代的到来,存储在云端的数百万的数据想要成为真正的具有价值的资产,就需要一个有效的管理系统对其进行管理,针对云端数据量大、结构复杂等方面的特点,设计并实现一个能够将数据从采集到处理再到清理最后直到产品化的整个生命周期进行管理的系统,并将这些杂乱无章的数据资产化。该系统使用kafka总结结构,将数据的资产化过程分为采集、清洗、产出等多个阶段,并配套的设计了多个丰富系统功能的子系统,能够大大的提高数据资产的使用率。本文介绍了系统的设计和实现过程,详细描述了对系统起到支撑作用的多个子系统,本系统易扩展,可兼容,研究具有一定的现实意义。     

基于SOA的体检数据迁移系统的设计与实现

为满足上级机构的体检数据上报统计要求,以面向服务体系架构(SOA,Service Oriented Architecture)为基础,以准确、高效、非侵入式为目标,设计并实现B/S模式的体检数据迁移系统,详细阐述数据采集、数据转换及迁移过程。该系统能从现有体检信息系统中抽取上级机构需要的体检数据,通过数据转换,迁移到特定的体检数据统计分析系统,进而完成数据上报统计工作。该系统投入使用后,整个数据迁移过程准确、高效,取代了以往医护人员手工录入统计数据的模式,经济社会效益明显。     

网络与业务运行监控系统的设计与实现

随着网络规模的增大以及网络业务复杂性的增强，网络运行监控与业务运行监控的研究已成为网络界非常关注的课题。该文提出了一种分布式网络与业务运行监控系统(DNSOMS)设计方案，研究了关键技术的解决方法。针对专用网络与业务系统的运行监控开展研究，讨论的问题和提出解决方案对相关读者具有一定参考意义。     

基于大数据的工程机械远程监控系统研究

面对信息化时代的到来,数据已海量出现在各个领域,为了有效解决工程机械建设上大数据问题并实现信息的有效推送,文中提出的工程机械GPS远程智能监控系统,将利用GIS、GPS、GPRS等相关技术,构造一个开放性的平台系统,以便于工程机械设备的监管。该平台大大提高了工程机械的管理水平,优化了机械化施工组织。同时,为工程机械行业提供机械设备防盗、抢,设备业主对设备的远程监控等有关的信息增值功能,以实现工程机械的远程监控管理,从而大大提高了工程机械的信息化水平,也进一步提高了我国工程机械产品的国际竞争力,加快了我国工程机械的信息化进程。     

基于大数据远程视频监控Web显示技术

视频监控在高清、智能、大联网时代,正面临着数据洪水的冲击,传统的视频体系架构设计思路正在被挑战。实时显示计算一般都是针对海量数据进行的,一般要求为秒级。基于大数据远程视频监控Web显示技术主要分为两部分：视频数据的入云平台及大数据的实时显示。如何有效地实时显示视频一直是安防领域的研究热点和难点。本文使用的大数据的实时显示主要是数据中心云平台对异地摄像视频数据采集技术、编码技术、视频显示技术、传输技术方式和实时显示技术的研究与分析。本文提出一种基于大数据远程视频监控Web显示技术,能为用户在远程观察,实时、清晰、真实地调阅监控的区域的画面。通过对网络传输速率判断,采用不同机制对本地视频数据进行存储、传送,达到不同网络不同方式实时向web客户端推送实时视频,提高用户实时体验满意度。     

大数据流式计算：关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.     

基于业务流程的财务数据自动化分类系统设计

针对当前的财务数据分类系统误分率较高的问题,设计一种基于业务流程的财务数据自动化分类系统。该系统以财务数据分类算法为中心,在程序加载和交叉编译模式下,采用分布式云计算技术对采集到的财务数据进行融合处理,提取其高阶统计特征量;采用分组样本检验分析方法分析财务数据间的关联性,结合业务流程进行财务数据的属性分类识别;以业务流程的模糊聚类分布为中心矢量,采用分段检测方法实现财务数据的自动化分类;将上述过程采用程序加载方式移植到处理器终端,进行财务数据分类系统的交叉编译控制,实现财务数据的自动化分类系统的设计。仿真实验结果表明,采用该系统进行财务数据自动化分类的准确性较高、误分率较低,提高了财务数据的业务管理和分析能力。     

基于GPS数据可视化的智能拼车软件设计与实现

为减缓交通拥挤,降低污染物排放,提出基于GPS数据可视化的拼车系统体系结构,讨论城市交通路网构建、用户路径信息获取、匹配方案查询、空间数据可视化的设计与实现方法。在此基础上,基于.NET平台开发一套基础软件,基于Processing平台开发拼车信息数据可视化系统。对沈阳市500名真实用户的出行路线进行的分析测试验证了该智能拼车系统的可行性及实用性。     

一种新的基于事件面向服务的BAM系统设计研究*

研究了面向服务的业务活动监控(BAM)系统设计问题。在分析BAM的几类系统模型优缺点的基础上,立足于BAM系统的动态感知、协同工作和实时处理数据,采用事件驱动体系架构,提出了一种基于事件、面向服务的业务活动监控系统模型。该模型以总线的形式构建在企业原有的各个信息系统之上,采用事件作为模块之间基本的通信机制,并对该系统模型中关键技术的设计进行了详细分析。最后通过原型系统的实验表明,该设计方案有良好的应用效果,可以有效地提高模型的计算效率。     

基于Hadoop和Spark的可扩展性大数据分析系统设计

随着社会进步和信息化高速发展,网络数据规模大幅度扩大,面对大规模网络数据环境,基于Hadoop和Spark设计可拓展性大数据分析系统。系统Flume模块的Source组件负责采集大数据,Sink组件将大数据传输至Kafka;分析检测模块采用Spark离线训练可扩展性数据,将训练完成的模型传输到Spark streaming中,依据训练模型特征对普通大数据分类,获取可扩展性大数据。系统软件采用ALS算法、PageRank算法得到可扩展性大数据的有效性与价值度排名,据此向用户推荐优质可扩展性大数据。实验结果显示:系统分析可拓展性大数据精准度高于90%,优于对比系统,且具备低能耗、高稳定性的优点,实际应用价值高。     

基于大数据的辅机设备振动噪声监测分析平台

分析了对辅机设备进行状态监测和分析研究的必要性,创新地将大数据技术应用于该领域,解决了该研究领域中的关键技术难题,设计并实现了一个辅机设备振动噪声大数据监测分析研究平台。平台采用流式数据实时分析技术和实时批处理技术相结合的方式,采用Storm+Hadoop大数据处理架构。一方面,利用Storm以流计算的方式,对噪音、振动、电流、电压、谐波等海量原始数据进行快速计算和处理,并将处理后的数据传输至实时监测中心;另一方面,采用批计算技术,将海量原始数据存储到基于Hadoop的分布式文件系统中,建立大数据库,再采用基于MapReduce的大数据分析技术对海量数据进行数据挖掘和建模。该平台的研究不仅实现了对辅机设备的运行管理的监测和分析,还可以作为辅机设备振动噪声大数据建模和研究的基础。     

商业智能系统数据仓库设计与实现

在介绍数据仓库技术特点的基础上,阐述商业智能系统中数据仓库的设计方法和设计内容,包括采用“需求驱动”和“数据驱动”相结合的设计方法,数据建模流程和数据抽取、转换和装载（extract,transform and load,ETL）策略的设计,并给出一个具体实例实现数据建模和数据装入。     

基于拟态计算的大数据高效能平台设计方法

针对当前大数据应用主要以通用处理器为计算核心,且系统结构单一、能效比低,无法充分满足大数据的计算需求。基于拟态计算模型,提出了一种大数据高效能平台的设计方法。该方法以算粒为基本研究对象,深入剖析大数据应用算法的特征,合理划分各计算子任务;其次,构造体系结构匹配矩阵,并将子任务分配到合理的处理部件上;最后,利用动态电压/频率调节技术和数据布局算法,实现非关键任务的电压控制,并优化关键任务的结构布局。实验结果表明,拟态计算能深度融合各异构计算部件,建立具有灵活、可拓展的体系结构,充分发挥系统整体执行效率,降低功耗,提高能效比。     

基于业务架构平台的烟草CRM系统设计与实现

面向过程和面向对象的传统软件开发模式无法实现企业信息化建设过程中业务需求与信息系统的同步.为了满足大型应用系统客户需求的不断变化和个性化需求,缩短开发周期,基于业务架构平台构建信息系统,以业务导向和驱动,实现业务与技术实现的分离,提升了企业管理和信息系统可重用性,满足了系统的快速开发和良好的适应性、扩展性要求.     

云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。