移动环境下一种基于日志的数据复制方法

乐观复制方法被广泛应用于移动环境中，提出了一种新的基于日志的数据复制方法，该方法使用相对较小的通信和存储开销，能更有效地记录数据更新以及进行数据同步，和传统的方法比，该方法更适用于小型的数据记录。     

VB定位数据记录的方法

在VB数据库应用程序的开发中,我们经常要查找、修改或删除指定的记录,这些工作都涉及到数据记录的定位问题。在访问一条记录时,必须将当前记录指针移动到指定记录处。如果当前记录指针未定义而试图编辑或修改记录,将产生错误。VB定位数据记录的方法有多种,针对不同的数据访问对象,可以采用不同的定位方法,以缩短定位时间,提高程序执行效率。表1是移动记录指针到不同记录的数据定位方法。     

数据工作期在多表查询中的运用

建立临时关系的目的是使子表的记录指针随父表的记录指针的移动而移动,从而达到同时浏览多个表中数据的目的,本文首先简单介绍了表的关联、数据工作期和临时关系等基本概念,然后通过举例重点介绍了运用数据工作期如何建立表间关联、如何实施查询的步骤和方法。     

一种基于移动设备的DML语言的实现

随着网络和计算机技术的迅速发展，越来越多的移动设备上已经加入了数据库的功能。考虑到移动设备使用数据以及本身性能的特点，参考传统数据库的设计，实现了在一些特定应用中移动设备便于采用的数据控制系统。根据移动处理经常要使用的数据的特点，将数据进行分类，针对移动处理操作的本身特点，设计了数据控制语言（DML），提出了一种能够充分利用移动设备资源的数据组织结构，使移动设备能够快速地响应用户请求。     

冒泡排序算法详解

排序是计算机程序设计中的一种重要运算，其功能是将一个数据元素(或记录)的任意序列，重新排列成一个按关键字有序的序列。通常在排序过程中需要进行两种基本操作：即比较两个关键字的大小和将记录从一个位置移动到另一个位置。若在排序期间数据记录全部存放在内存，则称之为内部排序；若在排序期间全部记     

基于中国观鸟数据的移动对象周期模式发现

移动对象的轨迹数据中包含大量时空信息,挖掘时空信息背后隐藏的周期模式对掌握移动对象变化规律具有重要作用。为此,提出一种三阶段移动对象周期模式检测算法,通过研究轨迹点的时空特征识别并剔除重复数据,利用密度聚类算法发现轨迹点密集区域并找出密集区域中每一类移动对象的周期模式,解决移动对象轨迹周期模式挖掘中轨迹数据重复、采样数据不连续及潜在周期模式发现问题。基于2003年—2015年中国观鸟记录中心、中国观鸟年报等公开数据的实验结果表明,该算法可有效处理轨迹数据并准确挖掘出规律性移动对象的周期模式。     

用电控制器中用电量数据存储方法

本文提出了存储用电量的双存储单元法、单存储单元法和循环法，并研究了各种方法可记录的最大用电量。实验证明，以８０８１为ＣＰＵ、９３Ｃ４６为数据存储器的用电控制器采用循环法存储用电数据，可保证记录最大用电量的要求。     

非确定性查询及其在无约束运动中的应用

为了追踪和记录空间移动对象的运动轨迹，需要记录其在各个采样时刻的空间坐标数据。但是对于采样时刻之间的对象坐标以及上一采样时刻结束，下一采样时刻到来之前的坐标数据的确定仅仅是一种估计，这种估计本身存在一定的非确定性。该文提出了针对时空数据非确定性的时空最近点查询即NN查询（Nearest Neighbor query）的算法NNU（Nearest Neighbur query with Uncenainty），并介绍了其在二维无约束空间运动中的应用。     

阳盘——基于Windows的移动存储设备保护系统

随着信息技术的飞速发展,移动存储设备的使用越来越广泛,然而移动存储设备的丢失甚至是盗用一直困扰着广大用户,并由此引发出一系列数据泄密问题。阳盘-基于Windows的移动存储设备保护系统,其核心是在总体控制移动存储设备使用权限的基础上,加强移动存储设备数据管理,防止设备丢失,找回丢失设备中的重要数据。该系统的主要功能:身份验证检测用户合法性、数据隐藏保护用户私密信息、数据加密防止用户数据泄露、数据回传找回用户丢失数据、日志系统记录设备使用情况、关机提示减少设备丢失几率。经验证,通过以上功能,阳盘系统有效地保护了丢失设备中的用户信息,能帮组用户成功找回丢失的数据,并大大降低了设备丢失的可能。     

基于移动行业的ETL方法及策略探讨

基于移动行业的数据仓库，对数据抽取、数据转换、数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

基于索引偏移的MapReduce聚类负载均衡策略

MapReduce作为一种分布式编程模型,被广泛应用于大规模和高维度数据集的处理中。其采用原始Hash函数 划分 数据,当数据分布不均匀时,常会出现数据倾斜的问题。基于MapReduce的聚类算法,需要多次迭代且不清楚各阶段Reduce的输入数据分布,因此现有的解决数据倾斜的方法并不适用。为解决数据划分的不均衡问题,提出一种当存在数据倾斜时更改剩余分区索引的策略。该方法在Map运行的过程中统计将要分给各reducer的数据量,由JobTrackcr监控全局的分区信息并根据数据倾斜模型动态修改原分区函数;在接下来的分区过程中,Partitioner把即将导致倾斜的分区索引到其余负载较轻的reducer上,使各节点的负载达到均衡。基于Zipf分布数据集和真实数据集,将所提算法与现有的解决数据倾斜的方法进行对比,结果证明,所提策略解决了MapReduce聚类中的数据倾斜问题,且在稳定性与执行时间上优于Hash和基于采样的动态分区法。     

基于压力反馈的MapReduce负载均衡策略

数据倾斜是严重影响MapReduce性能的因素之一.数据倾斜问题的现有解决方法需要用户对应用类型提供针对的分区函数,或是为MapReduce编写额外的采样过程,增加了用户的负担.为解决上述问题,提出了一种基于压力统计的负载均衡策略.该策略充分利用MapReduce中的混洗阶段,在reducer准备数据的同时进行统计,以获取全局数据分布.系统根据数据分布情况对负载较重节点进行调度,平衡整个集群负载,而无需用户提供额外的输入.此外,考虑到上层不同的应用类型,引入了压力反馈机制来进一步提高调度策略的性能.实验结果表明,提出的负载均衡调度策略的性能优于默认策略性能.     

数据本地性感知的MapReduce负载均衡策略

现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降。为解决上述问题,提出了一种数据本地性感知的负载均衡策略。充分利用YARN中资源管理的新特性,在Map阶段对内存数据溢写的同时进行统计以获取数据分布,根据数据分布情况及各节点的计算能力进行任务调度,减少网络传输开销的同时尽量保证各节点的负载平衡。此外,通过引入细粒度分区与分区的自适应分裂策略,进一步提高在数据倾斜时调度策略的性能。对比实验结果表明,提出的负载均衡调度策略能有效提升性能,同时较好地降低网络总开销。     

抗数据偏斜的高效并行连接运算算法研究

本文提出了一种能克服各种数据偏斜、高效的、并行二元连接运算算法,可在不同的数据偏斜情况下启动不同的模块,克服数据偏斜造成的负载不平衡现象。     

An efficient workload-based data layout scheme for multidimensional data

Physical data layout is a crucial factor in the performance of queries and updates in large data warehouses. Data layout enhances and complements other performance features such as materialized views and dynamic caching of aggregated results. Prior work has identified that the multidimensional nature of large data warehouses imposes natural restrictions on the query workload. A method based on a “uniform” query class approach has been proposed for data clustering and shown to be optimal. However, we believe that realistic query workloads will exhibit data access skew. For instance, if time is a dimension in the data model, then more queries are likely to focus on the most recent time interval. The query class approach does not adequately model the possibility of multidimensional data access skew. We propose the affinity graph model for capturing workload characteristics in the presence of access skew and describe an efficient algorithm for physical data layout. Our proposed algorithm considers declustering and load balancing issues which are inherent to the multidisk data layout problem. We demonstrate the validity of this approach experimentally.     

解决并行JOIN中数据偏斜的一种方法

1.引言 最近的研究表明,数据库系统也可以利用并行处理来提高更大、更复杂查询的效,因为关系操作是面向集合的操作,本身就具有一定的可并行特性,这为查询优化在选择并行取路径时提供了很大的灵活性。     

Web数据库上基于不均匀数据源的合并查询方法及优化

基于Internet上数据分布的特点,人们提出了合并查询(FusionQuery)的概念并且给出了相应的查询方案和相应的查询优化算法。但查询方案没有对数据量的分布情况加以考虑,这导致大量的冗余数据在各个数据源之间反复的传递,这样就大大地降低了方案的执行效率。目前多数研究集中于数据在均匀分布状态下的优化。但实际应用中数据多为不均匀分布,并且有很大的偏差。该文以此给出了在不均匀数据分布上的查询优化方案。并分析了其性能和比较。     

基于主方向检测的畸变车牌字符图像校正方法

本文提出了一种对畸变字符图像快速变形校正的算法,它主要是通过对字符主方向的搜索来求取倾斜图像的有关参数。该算法计算形变区域的水平及垂直差分并设计出判别函数,进一步搜索出使判别函数达到最大的主字符方向并进行校正,最后给出了一种图像毛刺的剔除方法。实验表明,本文介绍的算法充分利用了畸变字符图像的特征,同时使用了较优化的快速搜索策略,取得了较好的实际结果。     

依赖ER模型的多关系频繁模式发现方法

为了解决多关系频繁模式挖掘面临的统计偏斜问题和效率问题,提出了基于ER(实体-联系)概念模型的方法。其以ER模型的联系集为核心,利用扩展的关系数据库SQL统计原语,在用户给定数据约束和兴趣度约束的情况下,减少多关系频繁模式的产生数量,既不需要将相关关系表做物理连接,也不会产生统计偏斜。与相关研究工作的比较,说明了利用关系数据库管理系统和ER模型实现多关系频繁模式挖掘的有效性及正确性。     

硬盘驱动磁头偏置误差检测算法的研究

在硬盘装配过程中,通常需要对磁头间的磁头偏置误差进行预校准,并实施有效的补偿措施以减少磁头切换时的寻址误差,提高读写效率。然而,由于剧烈震动或不当操作等因素的影响,校准好的磁头偏置可能偏离预校准值,从而导致硬盘寻址或读写性能的下降以及伺服启动时间的延长。提出了一种在硬盘正常启动过程中快速有效的磁头偏置的检测和补偿算法,设计了与磁盘扇区绑定磁头偏置滤波方案。实验表明此方法可以快速有效地识别磁头偏置,并启动相应的校准操作,提高了硬盘在剧烈震动后的伺服性能。