油库多源设备数据采集和处理系统设计研究

为解决大规模成品油库异构设备的数据采集和实时处理问题,创新性地设计了一种针对成品油库的通用化、高可用性的工业实时数据采集和处理系统,以定义异构数据采集的四层架构,并规范油库设备设计的四层级编码和数据格式化处理规则。按照开放平台通信统一架构(OPC UA)标准协议,对油库多源异构设备进行数据采集和协议转换。利用消息队列遥测传输(MQTT)协议与云平台进行数据转发和传输,同步提出采集的高可用性策略,实现多源异构设备设施与平台端大规模数据的实时采集和交互。云平台端利用Kafka、Storm、MySQL和Redis实现大规模实时数据的高速处理。该系统在多座大型成品油库试点应用,实现对油库安全生产的实时数据采集、处理和预警推送,采集监控点超过5 000个,测试数据采集和处理最大时延低于1.5 s。应用结果证实了该系统的有效性。     

城轨车载信号系统线路调试试验研究

本文介绍了一种通用的城轨车辆车载信号系统线路试验装置,用于车辆组装完成后的调试试验。针对轨道列车车载信号系统在车辆上的布置规律,综合不同供货厂家的车载信号系统与车辆的电气接口特点,制作通用的信号系统线路试验装置。通过输出和采集开关量、模拟量、频率指令,检测车辆信号系统线路的状态,并采用无线通讯方式,实现对各试验装置的远程监控和数据存储。     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

基于InfluxDB的监控设备通用运维管理平台

监控设备大规模安装和应用带来了运维困难的问题.本文研发了一个通用运维管理平台,平台通过前端状态采集装置获取监控设备运行时产生的各种状态信息;平台的运维管理系统汇总、存储状态信息,并提供监控、统计、分析、报警等管理功能以支持运维业务;平台的可视化展示子系统对状态信息进行可视化渲染呈现,为系统运维提供智能化的支持.状态采集装置模块化和冗余设计使得设备具有通用性、可扩展性、高可靠性和易维护性.状态信息具有时序数据特征,运维管理系统使用InfluxDB存储状态信息,大幅度降低了存储空间需求,并保证了数据查询和管理的性能需求.基于InfluxDB的监控设备通用运维管理平台已在多个用户单位安装试用,运行状态良好,具有很好的经济社会效益和推广价值.     

数据采集

本文针对经济和管理领域计算机应用的新问题，运用系统工程思想，提出了数据采集概念，系统完整地归纳出在计算机信息系统各层次采集数据的通用方法及其基本原理，并分析对比各种方法的利弊，从而找到最适合广大非计算机专业的经济和各类管理人员使用的数据采集方法。     

太湖流域人工巡测数据采集系统设计与实现

为提高太湖流域水量、水质人工巡测数据采集的信息化水平,设计开发基于移动端和PC端的人工巡测数据采集系统,研发流量自动计算、走航式ADCP自动解析、多元数据融合等关键技术,实现外业现场多元数据(数字图片、高清视频、地理信息)在线采集和融合服务,有助于提高人工巡测数据采集的时效性,提升现场数据采集处理能力,解决流域各分中心人工采集数据信息孤岛问题,为流域水资源管理保护、水旱灾害防御和智慧太湖透彻感知等提供综合信息服务和技术支撑。     

CCD相机的数据采集与实时处理

通过对CCD光电图像传感器原理的认识,结合单片机,数据采集技术,数字图像分析与处理,实现相机的自动调节和数据的实时处理。研究设计了一种基本的图像采集系统,可以为各种信号的采集和处理提供基本模块,且使用了通用的51单片机实现控制功能。     

基于多维度业务数据融合的继电保护移动运维系统设计及实现

针对继电保护设备台账多端维护及信息与现场不一致、巡检记录繁琐易出错、人工定值校核工作量大且易漏核、智能变电站光纤回路及信号无法可视化展示等运维问题。本文通过构建基于多维度业务数据融合的继电保护移动运维系统,与统计分析系统融合实现台账数据单端维护、多系统共享;与状态检修系统融合实现巡检内容标准化、报告整理智能化;与二次设备在线监视系统及OMS定值整定系统融合实现定值校核智能化,提高校核效率;与SCD管控系统融合实现智能设备虚回路、虚端子及回路关系图形化直观展示。通过上述分析本系统实现变电站继电保护信息自动采集、智能整理、交互融合和网络共享,在降低运维成本的同时,有效提升继电保护设备及二次回路现场运行、检修的作业水平和管理水平。     

基于ARM和B/S模式的网络智能数据采集系统

针对传统数据采集设备是人工到现场采集,或者是必须有PC机辅助的状况,设计了一种集数据的采集、处理、报表、存储和web访问于一体的小型化嵌入式数据采集与处理系统。解决了网络安全问题,实现了有线或者无线自由组网,利用嵌入式数据库和大容量SD卡解决了大量数据的存储问题,并且将数据处理成VML网页数据报表。通过测试,证明具有操作简单、安全稳定、组网与扩展方便、跨平台和实时性好等优点,系统通用性强,二次开发容易。     

大数据分析下的智慧交通自动化运维系统设计

为实现智能交通运维自动化程度、覆盖范围等方面的提升,引入大数据分析下的智慧交通自动化运维系统。将系统架构设计为三层结构,为系统设计多个模块。在数据处理模块中,设计一种能够处理大批量数据的数据处理模块。数据采集模块能够通过大数据分析技术中的物联网感知技术实现数据采集。通过视频质量分析模块能够对视频源实施质量判别。运维管理模块能够实现智慧交通运维信息的管理。故障自动跟踪溯源模块能够通过挖掘和提炼采集数据对推断故障根源。通过硬件与软件相结合实现智慧交通自动化运维。测试设计系统的多个项目,测试结果为系统能够实现该市服务器等设备的完全检测以及其他设备的大面积检测;系统信号丢失检测的检测帧数可达523 214帧/日;系统的外场设备链路重复告警过滤数最高可达912条/月,有着良好的重复告警过滤性能;系统的内外场设备故障溯源性能均良好。说明系统的设计对于提高智慧交通的自动化运维水平有一定意义。     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

基于大数据技术的气象业务监视数据采集处理

气象数据生产过程中秒级数据流量达到6万次/秒,为了对海量气象数据进行实时监控,快速定位数据观测、传输、处理、服务全流程中各环节故障,研发了对监视数据的采集和处理框架.基于REST接口和Flume框架实时采集原始监视信息,采用Kafka实现监视数据流的缓冲和持久化存储,在Spark Streaming流式计算平台上实现对监视数据的预处理、指标计算,并对告警事件进行归并、压缩等处理,最终生成面向运维人员的告警.同时、上述系统采用故障仿真压测技术,对系统可能出现的故障进行了模拟压力测试.实验结果表明,上述框架能有效地解决海量监视数据的高效采集和处理,能够实时捕捉故障并进行有效分析与排除,其处理时效和准确性满足气象综合业务实时监控的需求.     

南疆地区的大规模农田远程监测系统设计?

针对南疆农业信息化需求,本文就实现大范围、远距离、低成本数据监测系统展开研究。设计了一套能实现基本功能的远程农田数据采集系统,在农田现场搭建无线采集网络;采用网络化嵌入式数据采集节点采集农田信息;数据通过无线信道远程传回农田监测中心;服务程序通过网络从采集节点采集数据,并完成处理和存储的工作。通过该系统可方便地查看地农田的状态信息,为从事农业生产、农业指导等工作带来便利。     

电动汽车充电桩数据采集终端设计

针对电动汽车充电桩缺少有效状态监测的情况,设计了基于嵌入式ARM平台的数据采集终端。终端采用模块化设计,包括数据采集处理、ARM处理平台和数据远传等三部分。数据采集部分采用CAN/RS485通讯,抗干扰能力强。通过ARM和无线技术的有效结合,系统能够独立完成充电站系统运行分析所需主要参数的采集、存储和转发工作。该方案对于提高电动汽车充电站运行维护效率,降低运维成本,具有一定的参考价值。     

矿山溜井全景扫描装置研制

针对人工检测溜井方法无法清晰观察矿山溜井井壁情况且存在安全隐患的问题,设计了一种包括数据采集系统、提升系统、井深定位系统和数据处理与视频监视系统的矿山溜井全景扫描装置。数据采集系统通过呈对称布置的4台摄像机采集溜井井壁图像数据,图像数据由千兆网交换机处理后经千兆网线传输到数据处理与视频监视系统,数据处理与视频监视系统将井壁图像展开,显示在视频监视界面上;井深定位系统采集扫描探头在溜井中的深度信息,井深定位程序根据计数轴的周长和深度信息计算出扫描探头在溜井中的深度。实际测试结果表明,该装置能够实现对高深度、大直径、无光源溜井的全景扫描。     

基于知识模型的城轨信号故障诊断系统

目前,城市轨道交通(简称"城轨")信号维护支持系统仅能进行单一故障源报警,无法快速确定位故障原因和指导运维人员处置故障;而城轨信号系统故障种类繁多,诊断分析逻辑复杂,针对不同场景定制化开发故障诊断程序,无法快速响应运维需求且成本高昂.针对该问题,文章基于知识模型研发了一种信息化、平台化的城轨信号故障诊断系统,以实现信号...     

基于LabWindows/CVI的遥测数据采集系统设计

早期导弹弹上控制系统与遥测系统之间信号传输采用数字并行方式,在地面测试系统中通常采用定制数据采集设备进行采集与处理,系统的通用性受到限制。在分析遥测信息传输协议的基础上,基于市场通用数据采集卡及LabWindows/CVI开发环境,设计了信号调理硬件接口模块和软件系统,实现了导弹遥测数据的采集、分析、处理及显示,在实际工程中取得了良好的效果。     

基于大数据的高职院校学生职业素养评价系统构建研究

高职院校学生职业素养评价内容涉及范围广泛，数据异构、来源多元。依据学生职业素养评价指标体系，以Hadoop平台为基础，利用flume+Kafka等大数据技术无缝对接学校各个业务系统并预留人工导入数据接口，构造hive数据仓库解决数据异构问题，打造采集、处理、存储、展示为一体的学生职业素养评价系统，形成评价结果报表和学生“画像”，为引导学生职业规划和个性化发展提供参考。     

人工气候箱数据采集系统的研制

介绍VB6.0的MSComm在人工气候箱数据采集系统应用,通过串口方式将人工气候箱运行数据采集到PC机,同时进行处理、记录、显示、实时绘制曲线,并将数据保存.     

基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式（如基于人工识别、基于牌照识别、基于射频识别等）.然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.