基于DirectShow的ETL工具的设计

ETL工具从异构数据源抽取数据,并将数据清洗、规范化后装载入数据仓库.数据源的多样性及数据集的复杂性为ETL工具的设计提出了挑战.本文设计并实现了一种基于微软DirectShow技术的ETL工具框架,使用通用数据访问接口屏蔽数据源的差异.将转换图的概念引入ETL工具的设计中,灵活应对复杂的ETL转换.     

基于聚类模式的数据清洗技术

在挖掘前都必须对所要挖掘的数据源进行清洗，以去掉不正确的数据。本文对数据清洗中整合多个数据源的问题做了相关的研究。针对现有检测复制记录技术存在的不足，提出了采用Canopy聚类技术进行聚类复制记录的数据清洗方法，并通过实验结果验证了所提算法的有效性和准确性。     

气象多数据源数据融合模型研究

在总结现有数据融合技术的基础上，对目前的通用多传感器数据融合技术进行了分析。基于气象网络研究领域的多数据源融合问题，提出了气象网络中多数据源的数据融合模型及其采用的主要技术思想，为气象网络中数据信息的多样化和网络结构的异构化带来的复杂的数据融合提供了参考。     

基于共享数据库的多数据源集成

鉴于企业和单位规模不断扩大、业务需求的不断更新，为能够进行更好的管理和决策分析．对于多数据源的集成需求越来越迫切。文中介绍了共享数据库模型，指出了它与数据仓库以及传统操作型数据库之间的差异。还讨论了基于共享数据库的多数据源集成问题，阐述了在数据源集成过程中解决模式冲突、处理异常数据的方法。对共享数据库中数据更新的方法和时机做了简要论述。     

数据转换过程的串行化方法

随着数据仓库和数据集成的发展,数据清洗的工作越来越多,用户在进行数据清洗时需要对数据的内容进行多次处理。在设计清洗的建模过程中,用户可能对同一个数据进行多次的清洗和转换处理,由于步骤多,用户往往不知道清洗和转换步骤出现错误。该文对前述问题进行论述,并针对这种清洗和转换处理中的赋值冲突和范围冲突提出解决方法。     

基于数据源依赖关系的信息评价方法研究

当前很多的数据管理应用都需要从多个数据源集成数据,每个数据源都会提供一组值,并且不同的数据源常常提供相互冲突的数据值.为了提供给用户高质量的数据值,关键是数据集成系统能够解决数据冲突问题,提取出正确的数据值.文中对已有的真值发现算法进行了分析与总结,通过考虑处理同一个值的不同表现形式和改进的选票算法,作者对现有方法给出了改进,改进后的方法可以更有效地在众多冲突数据中找出正确的数据值.     

地理信息系统空间异构数据源集成研究

通过对地理信息系统(GIS)中空间异构数据源的访问和集成，对比了目前比较通用的几种集成技术和方法，讨论了空间异构数据集成的关键理论和技术，着重介绍了基于XML和中间件技术的集成方法。认为XML的最大优点在于它的数据存储格式不受显示格式的制约。随着RDF和VDB的发展，以XML作为集成层的数据描述工具和转换工具，建立具有多数据源集成能力的中间件，能适合空间异构数据源集成的需要。     

基于常量条件函数依赖的冲突消解算法

目前绝大部分冲突消解方法都是基于迭代计算数据源可靠度和事实可信度的机制。当数据源较少时,数据源的可靠度难于进行评估,仅凭投票来消解冲突往往会造成较大误差。针对数据源较少时的冲突消解问题,提出基于常量条件函数依赖的冲突消解算法。根据多个数据源之间的冲突,找出冲突匹配对及对应的冲突候选值集合。考虑常量条件函数依赖中具体到部分实例子集的约束关系,将常量条件函数依赖集作为先验知识,通过判断候选值是否符合常量条件函数依赖来选择正确的候选值,避免了错误数据比例较大时直接投票选择产生的误差。通过两个真实数据集上的对比实验验证了上述算法的有效性。     

基于元数据的数字化校园集成检索研究

探讨元数据应用于数字化校园检索的重要意义,引用XML元数据技术设计元数据字典通用模型,为多个异构数据源提供统一的操作界面,实现数字化校园管理中异构数据源的无缝连接和数据共享。     

面向数据集成的多真值发现算法

大数据时代,大规模数据往往由多个数据源组成并服务于多个数据驱动型应用程序。由于数据源的可信度不同,不同数据源往往会产生数据冲突,使得难以判断哪些信息是真实的。近年来,真值发现方法通过从多个数据源中找到最符合现实的真值来解决冲突而成为研究热门。当前真值发现算通常假设实体某个属性只有一个真值,然而在现实中,实体具有多个真值的情况更为常见。针对多值实体提出了一个多真值发现算法,该算法将多真值发现转化为一个函数优化问题。根据对目标函数的求解选取置信度最高的多个值作为实体的真值。同时在计算描述值的置信度时,提出一种非对称的支持度计算方法,结合相似值的支持对其置信度进行修正。通过多个真实数据集上的实验表明本文算法的准确性优于现有的真值发现算法。     

数据ETL研究与展望

数据ETL(Data Extraction,Transformation and Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石,具有数据抽取、数据转换和数据装载功能。本文综述了ETL发展的背景、目前广泛研究的领域,论述了ETL在异构数据源集成和脏数据的检测与解决两方面面临的挑战,指出ETL将呈现出通用化、高效化、智能化三大发展趋势。     

Design and research of automobile anti-collision warning system based on monocular vision sensor with license plate cooperative target

At present, detection method for the target vehicle based on monocular vision sensor uses the whole vehicle as targets. The automobile anti-collision technology proposed in this paper adopts monocular vision sensor for automobile measurement based on vehicle license plate cooperative target. Monocular vision sensor has advantages of good real-time performance and low cost. The technique can improve the detection capability of vehicle collision avoidance warning systems. In addition to the target vehicle positioning, it can also realize attitude determination. This technology eliminates the limits of road surface roughness and fluctuation. This paper designs the realization scheme of collision warning system based on monocular vision sensor from the automobile license plate cooperative target. Technology roadmap of automobile collision warning system is given. In this paper, license plate frame location is as the research background. The paper presents an analytic solution of positioning method for the license plate frame image. The method uses four vertex characteristics of license plate frame image to locate. Positioning speed of the method is fast. And it has a unique solution. This method can be used to positioning for the license plate frame. Simulation experiment is done for the collision warning location. The simulation results show that this method can locate the position for license plate frame image. License plate is regular shape, uniform, with identity recognition function markers on the automobile body. In the previous research on automotive collision warning and intelligent vehicle, we have not seen the research methods similar to the method introduced in this paper. The research enriches automobile anti-collision technology and theory of intelligent vehicle technology. It can also provide an auxiliary method for navigation and obstacle avoidance research for unmanned vehicle. It has certain scientific significance. Vehicle collision warning system can help the driver judgment, prompting warning, improving driving safety, and has broad application prospects.     

基于J2EE组件的数据集成平台设计

异构数据的集成研究已为热门研点,而在解决信息异构问题时,国内尚没有一个统一的、有效的应用框架。介绍了一种采用组件技术,面向只读应用的异构数据集成平台模型,该平台模型主要用于集成各信息系统的不同类型数据源,为用户提供透明访问各数据源的中间平台。     

融合帧间差分与碰撞算法的快速跟踪预测算法

传统的运动目标跟踪预测算法难以保证机器人对高速运动目标的快速捕捉和提前预测,尤其是运动目标在滑行过程中发生碰撞改变了原有的运动方向,针对这一问题提出了基于帧间差分与碰撞算法相结合的运动目标跟踪预测算法.通过帧间差分法快速识别出平面内运动物体的具体位置和运动速度,根据其运动速度方向判别运动目标是否发生碰撞.当运动目标在运动过程中发生碰撞,采用LS-DYNA显示动力分析软件建立碰撞仿真模型,并用MATLAB拟合仿真数据得到碰撞算法,结合碰撞算法对运动目标的运动轨迹进行预测.结果表明以帧间差分和碰撞算法相结合的运动目标检测跟踪算法对于在平面内运动目标的跟踪预测方面速度更快,完全能够满足机器人对算法快速性的要求.     

基于GML的地理信息集成系统研究

GML已经成为事实上网络环境下空间数据的交换标准。基于GML的空间教据集成是未来Web服务的关键技术之一。提出了以关系型空间数据源为对象,以XQuery为查询语言的地理信息集成系统解决方案。对集成系统内部中间件和包装器的设计与实现进行了研究。     

A Solution of Data Inconsistencies in Data Integration ——- Designed for Pervasive Computing Environment

New challenges including how to share information on heterogeneous devices appear in data-intensive pervasive computing environments. Data integration is a practical approach to these applications. Dealing with inconsistencies is one of the important problems in data integration. In this paper we motivate the problem of data inconsistency solution for data integration in pervasive environments. We define data quality criteria and expense quality criteria for data sources to solve data inconsistency. In our ...     

一种用于RFID系统中的帧长度调整方法

文中提出了一种帧长度调整算法,针对于RFID系统中,使用了帧时隙ALOHA算法作为防碰撞方案的情况。该方法利用一帧周期中碰撞及正确接收的信息推测阅读器有效范围内可能存在的标签数目,从而指导阅读器设定适当的值继续下一帧清点。通过仿真,表明该方法可应用于实际的帧时隙ALOHA算法中,辅助实现多标签的清点,该算法容易实现,且可满足对标签信息的实时处理。     

分组部分时隙帧预测的RFID防碰撞算法

针对最大帧长度受限情况下射频识别中的标签碰撞问题,提出分组部分时隙帧预测ALOHA算法。通过分组操作,限定每次待识别标签数在最大帧长的有效识别范围内。采用部分时隙帧预测,若部分时隙的碰撞或空闲比例超过门限值,则立即调整帧长,从而减少使用的时隙数。实验结果表明,该算法能有效降低使用的时隙数,提高系统识别效率,在标签大量动态变化的情况下,平均识别率可达35.58%,具有良好的适用性。     

分布式自治数据源的联合查询

不同数据源之间数据结构和表示方法的不同以及这些数据源在查询能力上受到的限制，使得对分布式异构数据源的集成和综合查询成为一个困难的问题、基于元数据描述，在语义正确的前提下，根据不同查询条件和不同数据源能力，自动构造查询计划是解决这个问题的一个可行方向，并可以根据实际需要有不同的具体方法，以快速构造查询计划为目的的直观算法，和以充分利用各种数据源尽可能全面构造所有可能的查询计划为目的的闭包算法是其中两种典型的方法，实验表明这两种方法具有不同的特点和适用情况。