基于数据元的数据模型语义映射技术研究

各企业在进行数据共享之前,首要考虑的是数据模型的数据映射关系,然而数据模型在不断的更替与升级,给数据集成带来了很大困难。文中设计了一种对数据源结构进行统一描述的数据字典元模型,利用数据元来规范数据项,将编辑距离算法思想应用其中,实现数据项与数据元字典中数据元的相似度匹配。应用语义树的表示方法来描述数据元结构,利用语义相似度算法进行数据元间的相似性、一致性检查,寻找数据元间的关联关系,间接地定位数据项间的语义关系,为数据映射奠定良好基础。以中石化标准数据元规范油田企业搜索引擎数据项,确保研究的实用价值。     

压缩UF-tree挖掘不确定数据频繁项

针对UF-growth算法构造大量树节点和分支的局限性, 且不断计算候选数据项支持度的不足, 提出压缩UF-tree算法。压缩UF-tree算法改变建树条件：事务中数据项与树中某个分支节点的数据项匹配时, 将该数据项合并到分支中; 否则, 从该分支节点创建新的分支, 叶节点保存当前事务编号。构建单项数据项的概率向量, 搜索树分支产生候选项, 通过事务编号和概率向量计算候选数据项的支持度进而挖掘频繁项。通过实验对比与分析, 压缩UF-tree算法可行且更高效。     

基于页面标签的Web结构化数据抽取

本文研究了从dataintensive类型的web页面中提取结构化数据的问题,提出了基于页面标签的数据抽取算法。该算法先根据标签的显示位置及其大小判断不同标签元素之间的嵌套关系,并构造简化的HTML树Sim-HTree,有效地减少了识别数据记录的时间。在此基础上,提出子串匹配调整算法,对数据记录进行识别,标识数据项。实验表明,该算法是有效的。     

无线数据广播中变长数据项偏斜调度算法

针对数据广播中用户访问时间最小化的问题,提出一种变长数据项的偏斜广播调度脱机算法。该算法在数据广播的平方根规则基础上,确定每个数据项的广播频率和在信道上的平均实例间隔,以此为依据选择生成周期广播序列。实验结果表明,该算法获得的平均访问时间接近于理论最优值,平均误差率在6%左右。     

移动环境中数据广播的自适应可靠性研究

在移动计算环境中,数据广播已成为数据发布和获取的重要手段。为了提高数据广播的可靠性,使移动用户能有效的访问到所需数据项,提出一种移动环境下的自适应等距离广播算法。根据广播数据项的被干扰情况,对广播数据项的广播顺序进行等距离调度。最后通过性能分析表明该广播算法有效的提高了数据广播的可靠性。     

基于贪心策略的多信道数据广播调度算法

为减少多信道数据广播环境中的多信道平均延迟时间,提出一种基于贪心策略的多信道数据广播调度算法,将数据项合理地分配到各信道,最小化多信道数据项平均访问时间,在每个信道内采用近似最优的Log-time算法。实验结果表明,在不同的系统环境下,该算法都能够达到近似最优的性能。     

一种为保密挖掘预处理数据的新方法

Apriori算法是数据挖掘中一个里程碑式的经典算法,在该算法的思想上衍生出了许多通过产生频繁项集来导出关联规则的算法。提出了一种基于数据项闭包的、为保密数据挖掘进行数据预处理的全新方法。该方法针对类Apriori算法的特点和过程对不同特点的数据项进行不同的变换,使得挖掘请求方既能够正确地得到自己想要得到的关于己方产品的信息,又无法正确地得到关于潜在的竞争对手的信息。因此数据提供方在采用该方法预处理数据后,能够提供有利于双方的数据,以达到双赢的目的。     

基于SparkStreaming的海量GPS数据实时地图匹配算法

浮动车GPS数据作为交通信息处理的基础,随着被监控车辆数量的高速增长,产生了海量GPS数据,对地图匹配提出了高挑战,为了解决传统匹配方法难以满足匹配效率和精度的不足,提出一种针对于海量GPS数据的实时并行地图匹配算法,能够同时保证较高匹配精度和运算效率。构建一种面向实时数据流的高效、准确实时地图匹配算法,首先通过引入速度、方向综合权重因子对依赖历史轨迹的离线地图匹配算法进行重构,进而引入Spark Streaming分布式计算框架,实现地图匹配算法的实时、并行运算,大幅提升实时地图匹配效率。实验结果表明,该算法在复杂路段的匹配准确率较常规拓扑匹配算法提高10%以上,整体匹配准确率达到95%以上;在匹配效率方面,较同等数量的单机服务器可提高效率4倍左右。实验结果表明,该算法在由11台机器组成的计算集群上实现8 000万个GPS数据点的实时地图匹配,证明了该算法可以完成城市地区的实时车辆匹配。     

移动计算环境中数据广播的启发式遗传调度算法

数据广播调度是移动计算环境中数据管理技术的研究热点之一.现有的广播调度算法在移动数据库环境中缺乏一定的实用性.在数据项长度可变的条件下,理论上分析了多盘数据广播的平均访问时间,并提出了一种启发式的遗传调度算法,在广播调度中引入贪婪变换的启发式求解策略.理论分析和实验结果表明,该算法在访问概率偏斜率较大和数据项长度不等的情况下,平均访问时间较小,能很好的适应于移动数据库环境.     

基于最优匹配模型的数据库压缩算法

针对数据库中数据急速膨胀的状况,提出一种新的适用于语义压缩的数据库压缩算法--基于最优匹配的OPMC算法.算法将数据表中的属性元组分类并进行最优匹配的筛选为每类选取一个代表元组,将数据集中到最优匹配的聚类中心点上,消除相似的、冗余的数据,从而实现数据的压缩.该算法经仿真实验验证,有效改善了压缩比率,相对其他算法的压缩比率提高18%.     

近邻局部OMP稀疏表示图像去噪

目的 基于分类的稀疏字典去噪算法改善了字典训练阶段的效率问题,但稀疏分解阶段仍是全字典匹配,影响算法运行速度。为了解决稀疏去噪算法在稀疏分解阶段因复杂矩阵运算及字典全局搜索导致的算法效率低,以及冗余的稀疏字典因无法描述图像具体特征而影响图像去噪效果的问题,提出改进算法。方法 首先稀疏分解阶段,在原正交匹配追踪算法基础上引入字典原子聚类思想,提出局部正交匹配追踪算法,将全局搜索优化为局部搜索;为保证局部搜索仍能保持良好的匹配结果,提出近邻择优策略,计算聚类中心与信号原子的距离,从而按照某一阈值自适应地选择最优的n个子字典作为稀疏分解的匹配空间;最后将图像分解为内容簇和背景簇,对内容簇采用基于近邻的局部K奇异值分解（K-SVD）算法去噪,背景簇采用均值滤波方法去噪。结果 对USC标准数据库中大量图像进行去噪实验,本文算法去噪结果的峰值信噪比值比K-SVD算法平均提高了1.53 dB,比2维块匹配（BM3D）算法平均提高了0.72 dB,比聚类的稀疏表示去噪（CSR）算法平均提高了0.5 dB;运行时间比原算法提高了23.2%。结论 本文算法针对灰度图像去噪,在去噪效果及去噪效率方面均有改善,尤其对细节纹理较丰富的灰度图像去噪具有一定的应用价值。     

数据链J系列消息研究

J系列消息标准是美军战术数据链J所采用的固定格式消息标准,是美军战术数据链J的主要消息形式。本文研究了美军各种主流战术数据链及其消息标准,分析了J系列消息的数据结构、元素字典,在此基础上提出了J系列消息的验证测试方法。     

基于Hash结构词典的双向最大匹配分词法

针对当前自然语言处理中中文分词基于词典的机械分词方法,正序词典不能作为逆向最大匹配分词词典以及反序词典维护困难的问题,提出一种新的词典构造方法并设计了相应的双向最大匹配算法,同时在算法中加入了互信息歧义处理模块来处理分词中出现的交集型歧义。该算法可以在分词的过程中显著提高分词的精确度,适用于对词语切分精度要求较高的中文语言处理系统。     

几种常用无损数据压缩算法研究

随着网络承载的信息量的飞速增长,数据压缩必然会备受人们重视。数据压缩可分成两种类型,一种叫做无损压缩,另一种叫做有损压缩。文中主要介绍目前用得最多和技术最成熟的无损数据压缩技术,按照无损压缩方法采用的压缩技术的不同,从基于统计的压缩思想和基于字典的压缩思想两个方面对其中最具有代表性的无损数据压缩方法进行了详细的分类讨论和优缺点比较,并对基于字典压缩算法的一些成熟的改进算法进行了汇总介绍,便于对无损数据压缩技术感兴趣的同志学习参考。     

基于Gabor 感知多成份字典的图像稀疏表示算法研究

如何设计合适的能够匹配各层面几何结构的图像稀疏表示过完备字典, 进而形成对图像的稀疏分解是当前研究者关注的热点问题. 根据图像的几何结构特性, 从人类视觉系统特性出发, 建立了匹配各层面图像结构的Gabor感知多成份字典, 进而提出一种高效的基于匹配追踪的图像稀疏分解算法. 实验结果表明: Gabor感知多成份字典具有对图像中平滑、边缘与纹理结构的自适应性, 与Anisotropic refinement-Gaussian (AR-Gauss)混合字典相比以较少的原子实现了对图像更为高效的稀疏分解.     

Matching-Pursuits Dissimilarity Measure for Shape-Based Comparison and Classification of High-Dimensional Data

In this paper, a new matching pursuits dissimilarity measure (MPDM) is presented that compares two signals using the information provided by their matching pursuits (MP) approximations, without requiring any prior domain knowledge. MPDM is a flexible and differentiable measure that can be used to perform shape-based comparisons and fuzzy clustering of very high-dimensional, possibly compressed, data. A novel prototype based classification algorithm, which is termed the computer aided minimization procedure (CAMP), is also proposed. The CAMP algorithm uses the MPDM with the competitive agglomeration (CA) fuzzy clustering algorithm to build reliable shape based prototypes for classification. MP is a well known sparse signal approximation technique, which is commonly used for video and image coding. The dictionary and coefficient information produced by MP has previously been used to define features to build discrimination and prototype based classifiers. However, existing MP based classification applications are quite problem domain specific, thus making their generalization to other problems quite difficult. The proposed CAMP algorithm is the first MP based classification system that requires no assumptions about the problem domain and builds a bridge between the MP and fuzzy clustering algorithms. Experimental results also show that the CAMP algorithm is more resilient to outliers in test data than the multilayer perceptron (MLP) and support-vector-machine (SVM) classifiers, as well as prototype-based classifiers using the Euclidean distance as their dissimilarity measure.     

基于非抽样小波字典的低速率视频编码

目前,大多数视频编码器所采用的核心编码技术都是基于分块DCT(discreted cosine transform)变换对帧预测误差进行编码,在极低编码速率下,这类编码器往往会产生人眼敏感的方块效应.而基于匹配跟踪冗余信号分解的视频编码器具有比H.263编码器更高的编码性能,但由于该算法需要在一个冗余字典里搜索最佳匹配误差结构的原子函数,其实现所需要的运算量比传统的编码器要高很多,因此影响了这种编码器的效率.提出了基于树形结构的非抽样小波字典的匹配跟踪算法,能够充分利用字典函数之间存在的滤波结构关系,使得整个算法实现的计算量显著下降.同时,考虑到相邻帧运动信息的连续性,最后还给出一种基于晶格结构的有效原子位置信息编码方法.实验结果表明,该算法保持了原有的编码性能,在视频编码应用中具有很好的实用价值.     

一种对英文字符串进行分词的方法

对Aho-Corasick算法略作改变,用一个收词丰富的有优先级的字典构造Aho-Corasick树,并利用它对英文字符串进行字典匹配.对匹配的结果,利用后缀词按优先级排序的特点设计了一个高效的分词算法.实验证明该算法具有高效性.     

基于亚像素块匹配和字典学习的超分辨率算法

针对基于字典学习算法的计算效率低,且大多局限于处理单帧图像的问题,提出了一种基于亚像素块匹配和字典学习的超分辨算法,以实现对多帧图像的重构。采用亚像素块匹配方法对图像进行配准,依据配准结果构造低分辨率字典,并通过计算辅助图像块与目标图像块的相似度来选择用于重构的图像块。在Matlab平台上,将该算法用于静态图像和视频图像处理,获得了较好的重构效果。