一个并发数据流接入与动态配置模型

在万物互联的环境下,越来越多的设备接入网络,导致实时性并发数据流激增,对于网络传输、后台分析和存储有着重大考验。为解决传统数据接入与分析的低效率问题,以周期数据接入的方式,使用自定义协议、优化线程池、循环队列周期读写算法(CRW),提高系统的接入性能,增加系统的稳定性;为解决传统数据分析系统的配置问题,根据计算分析系统平均周期数据处理的效率,动态配置数据分析系统的节点。实验表明,数据接入模型在处理高并发请求方面,有较高的处理性能,且时延较低;数据分析系统使用CRW算法和动态配置策略后,数据处理速度显著提高,稳定性增强。     

ETL应用优化设计与实现研究

分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值.     

基于大数据框架的智能电网分析和可视化应用

大数据技术的进步和智能电表的推广,使得智能电网的大量数据能够进行聚合和分析,然而传统的智能电网数据管理系统无法扩展并提供足够的存储和处理能力。为了解决该问题,本文提出了一种基于Lambda架构的智能电网大数据分析系统? 并采用云计算平台进行实现,该系统能够存储各种类型的智能电网数据,可对分布式数据进行并行批处理和实时操作, 为了测试所提出的大数据分析系统的性能,对含360个居民用户的电网数据进行了数据分析和可视化,系统程序在智能电网上的应用结果表明,该大数据系统利用Lambda架构成功克服了智能电网大数据框架的延迟问题,实现了负荷分组和实时可视化。     

基于Spark分布式ETL在海量后勤数据的应用

在处理某大型企业的海量后勤大数据时,传统的基于MapReduce的ETL技术在数据提取、转换过程中,因为频繁进行磁盘读取的原因,存在数据处理效率不足的问题。考虑到Spark是基于内存操作的计算引擎,不依赖于磁盘操作,对数据的提取、转换效率的提升有一定帮助,因此文中采用了基于Spark的分布式ETL技术来处理这些海量数据,并通过实验进行效率比较。     

基于频率评估系统的ETL优化与小区性能评估研究

针对频率评估系统中的ETL处理过程效率较低的问题,在分治算法和贪心算法思想的基础上,提出了一种优化算法——DC-Greedy算法.通过在评估系统中对小区数据进行处理后,基于主成分分析法,研究了单个小区综合性能的评估策略.ETL处理时间和小区综合性能评估值的仿真结果表明,对比一般情况下ETL的穷举处理过程,经过优化后ETL处理效率明显提高;对小区评估策略的评价结果表明该评估方法可以完整地反映小区的综合性能,评估结果图能较直观地呈现小区综合性能水平,达到了预期研究目标.     

电能计量领域中智能技术的使用探究

基于在电能计量领域的优劣势智能技术的分析,以及智能计量装置的计量功能、性能、监测、核查效率和质量、标准化管理,文章详细阐述快速增长的进一步应用。     

一种新的数据分析系统前端展示方案

分析了传统数据分析系统前端展现方案存在的部分不足,对数据分析系统前端展现需求进行了分析,提出了基于Excel和SQL Server AS的前端展现方案,并指出了该方案实践需注意的问题。     

银联数据仓库系统中ETL的设计和实现

针对银联数据的特点，设计实现了银联数据仓库ETL系统。该系统采用模块化的设计方式，增强了系统的可控性和灵活性。元数据模块使ETL系统能够灵活地适应银联业务逻辑的频繁变化；调度模块采用线程池技术．改进了以往多线程技术，提高了数据抽取的效率和系统资源的使用率；日志、监控信息及通知模块解决了系统出错快速恢复的问题。测试表明该ETL系统很好地满足了银联的需求。     

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

基于．NET2．0平台实践教学管理系统的设计与实现

针对传统实践教学管理效率低、时效性差造成大量工作重复的弊端,基于ASe．NET2．0和SQL SEVER2000技术,采用Microsoft Visual Studio2005编程环境开发了一套实践教学管理信息系统,利用WEB技术较好地解决了高校实践教学管理中存在的实际问题。     

大数据技术在智慧城市中的应用

现阶段,各地正积极推动智慧城市建设。智慧城市的特征包括信息共享、系统协同以及智能响应。为实现上述特征,城市各类信息需要汇聚集中,综合处理,实现有效利用。然而城市中的数据具有多源、异构和海量的特征,传统的信息处理技术在面对这类数据时显得力不从心。大数据及相关技术却能有效地解决这些问题。本文介绍了大数据相关技术及其在智慧城市中的应用。     

基于深度学习的雷达自动目标识别架构研究

针对深度学习运用于雷达目标识别时存在的数据量欠缺和数据人工标注难等问题,提出将传统目标识别方法与人工智能技术结合,建立面向应用的新的目标识别架构,通过融合处理以及基于传统方法的机器自动标注,获得更优越的识别效果,大幅减少人工标注的工作量,确保系统在低数据量、低标注数据下仍可维持一定的识别效果。雷达实测数据证明了该识别框架的有效性。     

导轨龙门架有限元分析及辅助系统设计

针对传统导轨龙门架设计周期长、效率低、精度难以得到保证的问题,文中采用Ansys Workbench进行了相关分析和计算,并进行相应的物理实验验证了分析结果的准确性,通过Matlab插值拟合计算,获取区间段内的连续结果,并采用了SQL数据库以及基于.net平台的C#编程技术,将上述各项结果进行数据库的整合,最终搭建了前台辅助系统。该系统方便了设计人员对导轨龙门架的设计过程,提高了设计精确性,并缩短了研发周期,对新产品的设计研发提供了一种新的思路。     

复杂电磁环境下的高速频谱分析技术

为解决传统频谱分析系统存在测试速度慢、对瞬态信号侦测分析不精确、实时性差的问题,提出了频率模板触发技术结合可重构计算,实现系统的超高速数据捕获、侦测与分析。频谱显示采用数字荧光显示技术,信号频谱展现更加实时、直观、精确。实测结果表明：该系统在可接受的性能损失范围内,提高了对信号的分析精确度。可重构计算使系统运行更高效,降低了传统频谱分析方法的能量消耗,使系统在大带宽情况下仍可实现对瞬态信号和复杂信号的实时精准分析。     

基于智能制造与信息化的少人化布电线制造方案

为解决电线电缆企业面临的极限压缩的交货时间和人工成本的难题,提出了一种基于智能制造与信息化的少人化布电线制造方案。该制造方案在信息化方面导入了MES(制造企业生产过程执行系统)和WMS(仓库管理系统)系统,建立了数据管理、生产管理、采购业务一体化管理、财务与业务一体化管理、销售一体化管理等系统。该制造方案依托信息化系统与码垛机器人、AGV(自动导引运输车)小车配合,大大节省了劳动力,节省了空间,实现了安全生产、优质生产、低耗生产、少人化生产、产品快速交付。较之前的传统生产方式,该制造方案的实施,节约了人工15人,生产效率提高了25%。     

基于主机性能评价的视频会议系统优化方案

组播技术的出现为基于P2P的视频会议系统提供了负载更小的开发方案,但在传统的组播技术支持下,分配到每台主机上的负载量依然可观。为解决突发负载问题,文中提出了一种基于主机性能评价的应用层组播算法,利用拓扑信息减少冗余数据在网络上传输,根据主机性能平衡负载分配,减轻主机负担。之后,在此组播算法之上,阐述了一种传统视频会议系统的优化实现方案。     

基于变换域插值的残余码间干扰消除算法

为了在正交频分复用系统中解决符号间干扰以及子信道干扰导致系统性能下降的问题,采用了一种新的基于变换域插值信道估计的残余消除算法的方法,进行了理论分析和实验验证,取得了科学准确的数据。利用MATLAB模拟仿真的结果表明,在宽带无线局域网中,当循环保护前缀长度不足时,采用该算法经过有限次迭代后,正交频分复用系统性能得到明显的改善,同时降低了计算的难度。这一结果对光通信技术的研究是有帮助的。