基于DirectShow的ETL工具的设计

ETL工具从异构数据源抽取数据,并将数据清洗、规范化后装载入数据仓库.数据源的多样性及数据集的复杂性为ETL工具的设计提出了挑战.本文设计并实现了一种基于微软DirectShow技术的ETL工具框架,使用通用数据访问接口屏蔽数据源的差异.将转换图的概念引入ETL工具的设计中,灵活应对复杂的ETL转换.     

基于CS-GPSR的电容层析成像图像重建算法

提出将基于压缩感知(CS)理论的稀疏梯度投影(GPSR)算法应用于电容层析成像(ECT)图像重建过程中.采用离散Fourier变换(DFT)基将原始图像灰度信号进行稀疏化处理;将ECT灵敏度矩阵的各行按随机顺序进行排列,得到ECT系统观测矩阵,同时将测量电容向量的各行按相同顺序进行排列,得到观测投影向量;使用GPSR算法进行图像重建.仿真实验结果表明:基于CS理论的GPSR(CS-GPSR)算法重建图像质量明显优于LBP算法和Landweber迭代算法.本文所述算法可实现较高精度的图像重建,为ECT图像重建的研究提供了一种新的手段.     

基于特征提取和RBF神经网络的ECT流型辨识

针对传统ECT流型辨识方法效率低的问题,提出了一种基于特征提取和径向基函数神经网络相结合的ECT图像流型辨识的方法,该方法通过对各种特征参数的定义,完成对ECT系统测得的电容值进行特征提取,然后将提取的特征值作为RBF神经网络的输入完成流型辨识。仿真和实验结果表明,与基于BP神经网络的图像流型辨识方法相比,该方法具有识别速度快和效率高等优点,为ECT图像流型识别的研究提供了一个新的思路。     

XCT和ECT成像原理及综合对比

:目前在医学成像系统应用较为广泛的为XCT和ECT.由于近些年来疾病的复杂性和多变性,单独的XCT或者ECT诊断已经不能精确的诊断,从而产生了将二者结合的SPECT/CT和PET/CT等综合型成像系统.相信以后在医学成型领域,XCT和ECT二者会被进一步的优化和改进,以满足日后的医生更精确的诊断需求.     

FDT与EDDL达成协议共同为设备集成开发统一方案

4月17日，EDDL合作组织（ECT）与FDT集团宣布双方达成一致，将共同致力于设备集成的统一方案，并使双方的技术都能够兼容。作为该项协议的一部分，FDT集团也将加入ECT组织，成为它的最新成员。FDT与ECT将共同完成这一方案，制定出一个通用的架构，以满足各方面的需求。在接下来的开发过程中，会在用户服务器结构中运用OPC UA统一架构技术。此外，双方还同意把FDT与EDDL技术的优势进行整合。     

面向蛋白质组学数据库的元数据提取与导入工具

本文给出了一种用于提取和导入蛋白质组学元数据的工具,它是"基于元数据的蛋白质组学数据资源共享与整合平台"的一个重要组成部分。该工具被设计为元数据提取、元数据缓存、元数据导入三个模块,为实现从多种蛋白质组学数据源中提取元数据并将其导入元数据库提供了一种有效的解决方案。     

电容层析成像技术的研究现状综述

详细介绍了电容层析成像（ECT）技术的近期研究进展。在简要介绍电容层析成像系统原理的基础上,重点总结了ECT技术的研究现状,包括ECT硬件、图像重建算法和应用研究等。同时,指出ECT技术发展中面临的微弱电容检测、软场特性、图像重建、标定、传感器设计、数据通信和多模态等方面的挑战,并指出了努力的方向。     

嵌入式电容层析成像系统软件平台的构建

针对电容层析成像(ECT)系统体积大,成本高等缺点,开发了基于ARM9处理器的低成本嵌入式电容层析成像(ECT)系统;该系统以嵌入式Linux系统作为软件开发平台,采用MiniGUI实现图形用户界面操作并对整机进行控制;系统采用八电极ECT传感器作为测量装置,在文章构建的嵌入式ECT系统平台上采用LBP算法实现图像重建;实验结果表明该嵌入式系统运行稳定,能实现图像重建,并具有体积小、功耗低、使用简便等特点,目前已应用于ECT实验数据的测试和分析中。     

回字形电容层析成像传感器的成像规律与抗噪声性能分析

电容层析成像(ECT)传感器是一种非接触式的传感器,可以在不干扰原流场的前提下实现实时成像.为提高ECT传感器的抗噪声性能,设计了一种回字形的传感器结构,采用评估误差函数和方差分析的方法,与矩形ECT传感器进行了对比仿真实验,结果表明:回字形ECT传感器具有成像质量稳定、抗噪声性能好的优点.     

ECT系统中高速通讯模块的硬件接口设计

随着我国工业发展脚步的不断加快以及科学技术的不断发展,ECT技术凭借着自身诸多优势被应用到了诸多工业领域当中,并且具有良好的发展前景。本文通过对ECT系统中高速通讯模块的硬件接口设计进行详细分析,从而为今后ECT系统的应用提供一定的参考依据。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...