基于数据关联性的无线传感器网络簇内数据管理算法

无线传感器网络(Wireless sensor networks, WSNs)节点能量有限, 能量高效的数据管理和延长网络寿命是该领域的技术难题. 在以簇构建的传感器网络中, 利用节点的计算和分析功能, 提出了基于数据关联性的簇内数据管理算法. 簇头利用误差函数和模糊函数分析成员感知数据的关联性, 获取节点感知数据综合支持度, 由此将成员节点划分为冲突节点、补充节点和可靠节点, 对不同类别节点采用不同的调度规则以便降低簇内能耗和尽可能实现簇间节点能耗均衡, 并给出了簇头数据融合的处理方法. 仿真结果表明算法能够实现簇内数据分类管理, 并能有效降低簇内数据收发量和延长网络寿命.     

试验数据管理系统的应用

TDM系统可以帮助企业客户搭建统一的试验数据管理平台,构造完整规范的试验业务系统。动态建库、Web页面自动生成、海量数据导入是TDM系统的关键功能。     

数据管理利器Solix EDMS

一家位于东亚营业收入超过180亿美元的世界500强保险公司,目前面临着一个日益严重的问题——无法控制其Oracle E—Business套件数据库规模增长,而由此失控性的增长又生出其他一系列的问题,并且已接近危机临界。     

数值模拟网格数据模型设计与实现

在等离子体动力学、电磁学理论等物理问题的数值模拟中,各类数值模拟程序产生了大量复杂结构的科学数据.一方面,计算程序需要以高效率的I/O方式存储数据,另一方面,数据需要在各类程序间很容易地交换与共享.随着数据的规模与复杂度不断增加,传统数据管理方式的局限性日益突出.为此,设计了面向计算物理领域的数据存储模型--数值模拟网格数据模型(JAD),引入元数据管理机制,对数值模拟程序数据对象进行抽象与封装,在HDF5软件库基础上实现了高层I/O函数库(JADLib),集成先进的数据存储技术,提供直观、易用的应用程序编程接口(API),使得数值模拟数据以统一格式高效率地存储.目前,JADLib已推广应用于高功率微波、惯性约束聚变等领域多个数值模拟程序中,与元数据管理系统(JADIS)、并行可视化系统(JaVis)建立了耦合,使得用户可以直接利用这些系统进行数据的浏览、分析及可视化,促进了应用程序间的数据共享.     

基于层次结构的元数据动态管理方法的研究

在大规模分布式存储系统中,元数据高性能服务和扩展性已成为一个重要的研究热点.在元数据服务器(metadata server,MDS)中,将元数据分解为目录对象和文件对象.目录对象为定位性元数据,提供文件所在位置和访问控制;文件对象为描述性元数据,描述文件的数据特性.每个MDS负责所有目录对象和自身的文件对象,同时,以目录对象ID和文件名为关键字的Hash值作为局部元数据查找表的索引,通过Bloom Filter算法将每个MDS的局部元数据查找表压缩成一个摘要,这样既可利用MDS中Cache,提高Cache的命中率,减少磁盘I/O次数,动态扩展MDS,又能够实现快速的元数据查找.     

数据质量多种性质的关联关系研究

信息化时代数据海量增长的同时,用户需要利用多种指标从不同性质方面对数据质量进行评价和改善.但在目前数据质量管理过程中,影响数据可用性的多种重要因素并非完全孤立,在评估机制和指导数据清洗规则时,彼此会发生关联.本文研究了在实际信息系统中适用的综合性数据质量评估方法,将文献所提出以及在实际的信息系统中常用的数据质量性质指标,按其定义与性质进行归纳总结,提出了基于性质的数据质量综合评估框架.随后针对影响数据可用性的四个重要性质:精确性、完整性、一致性、时效性整理出在数据集合上的操作方法,并逐一介绍其违反模式的定义,随后给出其具体关系证明,进而确定数据质量多维关联关系评估策略,并通过实验验证了该策略的有效性.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

面向Cassandra数据库的高效动态数据管理机制

Cassandra数据库是当前通用的数据库之一,同时也被Apache列为重点发展的顶级项目。针对Cassandra分布式数据库系统而言,大量的写请求会造成过多分散的SStable结构以及过高的数据冗余度,进而造成用户读取请求响应速度下降。该问题可以通过系统自动触发的局部数据合并机制或人为干预的整体数据合并机制来解决。然而,不合时机的系统自动局部合并过程会严重降低用户正在执行的读取操作的性能,而过长时间的人为整体数据合并过程又会长时间地占用系统资源,严重制约系统的整体性能。针对此问题,提出了一种面向Cassandra数据库的动态数据管理机制。首先,实时监测系统环境,将数据按照写入时间和大小进行分层分级管理,对合并的时机、参与合并的文件及合并过程分别制定相应的执行策略;其次,通过特定优化手段减少数据的合并时间,以降低合并过程对系统性能的影响。测试结果表明,该管理机制优化了Cassandra数据库的合并过程,提升了系统整体的读取响应速度。     

海洋科学数据管理与可视化平台

海洋科学数据作为我国海洋科技创新发展的战略资源,是一个可持续发展的要素.然而海洋科学数据涉及学科众多、类型复杂、来源多样、格式迥异等特点,数据处理和可视化处理难度大.平台通过引入WebGIS技术,针对海洋科学数据特点,结合海洋科学数据业务,实现海洋数据的一体化管理、分析与可视化处理.     

利用数据管理迎接“零售新纪元”

在全渠道必趋的形势下,企业需创新理念,通过应用准确的定位,借助数据库和整合平台（即数据管理）来打造融合企业线上和线下的渠道,从而将线上的灵活与线下的真实体验有效整合起来,迎接“零售新纪元”,使企业经营效率得到提升。