基于关联规则的作战数据质量校验方法研究

针对作战数据信息系统数据项内容一致性检查中存在人工判查难、耗时大的问题,采用基于关联规则挖掘的错误数据检测方法,并给出了设计思路和实现步骤.结合某作战数据信息系统中的552条关键岗位人员信息进行了数据质量检测实验,实验结果表明,该方法能够快速筛查出关联数据项中预置的9个填报错误问题,可作为现有作战数据质量检测方法的完善补充.     

数据仓库建设中提高数据质量的方法研究

对数据仓库建设过程中如何提高数据质量方面的问题进行研究.首先说明课题的研究背景及在数据仓库建设过程中对数据质量的要求,接着分析了数据质量存在问题的原因和一般解决途径,然后着重指出数据一致性的重要性,通过举例介绍了建立参照表,解决数据一致性问题的方法,并提出了建立异常表来解决数据异常问题,最后强调提高数据质量对企业的关键性.     

D-S证据理论在雷达辐射源识别中的应用

为了解决辐射源识别问题，采用基于推理的数据融合方法，分析了Dempster-Shafer证据理论用于多传感器数据融合的基本概念和理论，并将它应用于雷达辐射源识别的数据融合中，试验结果证明了该方法的正确性和有效性。     

基于混合采样的城市功能区识别系统研究

随着城市功能分区研究在时空尺度上不断细化,多源数据融合有利于推动城市功能分区研究的精细化发展,但多源数据存在数据不平衡现象,本文通过混合采样算法,减少数据不平衡带来的影响。通过空间面积和公众认知度对兴趣点(POI)数据进行权重赋值,利用K近邻和潜在狄利克雷(Latent Dirichlet Allocation, LDA)语义分析对两类数据构建数据集,分别对两类数据进行频数密度分析,对多源数据进行加权平均特征融合,将融合后的数据按频数密度差值的方法划分单一和混合功能区,并在ArcGIS平台渲染展示,从而实现对城市功能区可视化识别划分。利用高德地图与功能区识别结果进行精度验证,结果表明：应用该方法能快速及有效地识别城市功能区,功能区识别总体精度为86.6%,证明该方法现实可行,可为城市未来发展规划与管理提供借鉴。     

基于RPROP算法目标识别的数据归一化研究

在复杂的目标识别问题中,高维数的待识别数据往往存在较大的数值差异,导致神经网络分类器学习速度变慢甚至不收敛,因此需要对数据进行归一化处理.文中以回弹后向传播算法在目标识别中的应用为背景,系统深入地研究了BP算法网络输入数据归一化方法,详细讨论了6种归一化方法的特点和应用范围.使用4类目标的仿真数据、5类飞机的暗室测量数据和UCIdata数据库的部分数据集进行实验,以数据未经归一化时作参考,分析比较了这6种归一化方法对网络学习性能的影响.结果表明:归一化能消除不同特征分量间的数值大小差异,改善网络的学习性能,其中分量白化方法效果好、概念直观,可作为通用的归一化方法.     

一种面向Deep Web数据源的重复记录识别模型

重复记录是指描述现实世界中同一实体的不同的记录信息。由于从同一个领域的不同Deep Web数据源中抽取的记录信息通常存在许多重复记录,本文针对半结构化的重复记录的识别进行研究。在已知全局模式和全局模式与各Deep Web数据源查询接口映射关系的基础上,提出了一种重复记录识别模型。 基于从Deep Web中抽取出的半结构化的数据,采用查询探测方法确定所抽取数据所匹配的属性,通过分析抽取的实例数据确定属性重要度,结合多种相似度估算器和多种算法计算记录间的相似度,进而识别重复记录。实验表明,该重复记录识别模型在Deep Web环境下是可行且有效的。     

大型智能信息系统的集成数据质量评估方法

为评价和改进大型智能信息系统的运行质量,需要建立准确有效的智能信息系统集成数据质量评估方法.分析智能信息系统集成数据质量的特征,探讨了基于智能信息系统数据质量评估的基本指标,提出基于质量功能展开(QFD)的数据质量测量元的确立方法,构建了集成数据质量的通用化评估模型,并阐述该模型的构造过程和定量计算方法.     

基于多流向算法的数字河网自动提取系统研究

从DEM数据中自动提取流域数字河网结构是分布式水文模型研究的基础。由于DEM数据中存在误差数据,这些误差数据的存在会影响面状水体提取的准确度。文章详细论述了基于多流向算法的面妆水体提取过程中面状水体与伪洼地的识别、多流向算法、集水面积计算、面状水体提取等关键技术,文章提出的面状水体提取方法可为进一步开发分布式水文模型提供技术基础。     

非均衡数据目标识别中SVM模型多参数优化选择方法

提出了非均衡数据目标识别中SVM模型多参数优化选择方法.首先从理论上分析了SVM模型多参数选择的内涵和必要性,针对非均衡数据的分类识别,基于F测度提出了能全面反映识别性能的多参数优化选择准则.在多参数选择过程中,利用遗传算法进行模型多参数并行优化选择.提出的方法能够寻找模型多参数的全局最优解,避免陷入梯度法常出现的局部最优解情况,同时能够克服传统方法中根据经验选择SVM单参数模型时计算量太大的不足.采用国际通用的标准数据集和雷达目标HRRP数据集进行了仿真实验,实验结果表明,该方法能够得到模型多参数的全局最优值,由此确定的SVM模型分类器性能有较大提高.     

基于随机森林算法的特征选择及在fMRI数据中的应用

fMRI数据是典型的高维小样本数据,如何从高维数据中提取和选择重要的特征是正确分类识别的关键.结合fMRI数据自身特点,提出了一种应用随机森林算法进行特征选择的方法,以随机森林分类精度为准则函数对特征进行重要性度量的方式实现特征选择.将本方法应用于健康者和精神分裂症患者的识别中,通过计算每个特征对分类的贡献度,优选出贡献度大的特征用于分类识别,同时根据重要特征的序号定位到相应脑区,给临床诊断提供客观参照.实验结果表明,该方法具有较好的效果.     

显微成像中深度学习数据增强方法

近年来,深度学习技术已广泛应用于计算成像领域中,解决了许多成像难题.为减少训练数据集制作的复杂程度,以数字全息显微成像重建过程为例,基于光成像物理过程,采用模拟手段以增强深度学习所用数据,并将该方法应用于细胞显微成像.测试结果表明经该方法获取的数据集可以代替实验数据集来对神经网络进行训练,并能有效提高输出成像质量.该方...     

数据时效性判定:关键理论和技术

当前,随着大数据时代的来临,数据质量问题受到越来越多的关注.数据质量会随着时间的流逝迅速下降,因此在数据质量的各个维度中,数据时效性扮演的角色至关重要.判定一个给定的数据集合的时效性是确保数据时效性是第一步,但数据时效性的判定并非易事,其面临极大挑战.本文针对时效性判定问题面临的各个挑战,综述了当前该领域针对绝对时效性判定和相对时效性判定的关键理论和技术,分析了现有的各方法的优缺点,并对未来的研究方向给出了建议.     

基于智能化数据探索的数据质量管理方法

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据质量已成为影响数据要素发挥价值的重要因素。在政务领域,随着数据应用的深度和广度逐渐加强,数据质量问题已成为数据深化应用的制约因素。以数据质量管理相关理论为基础,以源头数据质量管控为手段,提出了基于智能化数据探索的数据质量管理方法,即通过数据质量管理激活数据资源价值,该方法在政务数据质量管理工作中具有借鉴意义。     

数据交换平台中异构数据转换技术的研究

为了有效地解决数据交换时数据表示的通用性问题,使得数据在不同的业务系统间都能够被识别,本课题采用调查研究和文献研究相结合的方法,首先对淮北矿业集团各业务系统数据库中数据表进行统计和分析,重点分析了需要转换数据的类型和逻辑关系,总结出其所有数据转换的逻辑关系,然后参考现有文献资料中提出的数据转换模型,最后制定出有独创性的数据源标准和数据映射标准。并采用通用的数据描述语言——XML(eXtensive MakeupLanguage)将其主要部分表示出来。该数据标准有着数据表示范围超越数据表、数据转换的静态模型和动态模型相结合、数据表示和实体数据库相分离等特点。通过项目实践,证明了该标准能够解决数据表示的通用性问题,能够实现了数据在不同业务系统之间识别与转换。     

骨干网冗余数据消除系统的研究与实现

当今的广域网传输过程中存在着大量的重复数据,这些重复数据使得广域网带宽被严重浪费.针对这一问题,提出了一种基于应用层协议识别的冗余数据消除策略.通过将数据缓存及应用层协议识别技术相结合,找出广域网传输过程中的冗余数据,尽可能使广域网中的相同数据只传输一次,从而降低冗余数据传输对广域网带宽的过度浪费.     

小样本条件下基于数据增强和WACGAN的雷达目标识别算法

目前小样本条件下高分辨距离像雷达目标识别算法存在识别率较低、识别率稳定度较差等问题,对此,本文提出了基于数据增强和加权辅助分类生成对抗网络（Weighted Auxiliary Classifier Generative Adversarial Networks,WACGAN）的雷达目标识别算法.该算法首先根据雷达目标散射特性,通过时间镜像数据增强方法扩充数据集,然后将扩充数据集输入WACGAN,通过自动选择高质量的生成样本,使判别器在标签样本监督学习的基础上得到进一步优化,最后直接利用判别器实现对雷达目标的有效识别.仿真实验结果表明,本文算法在不增加识别时间的基础上,有效提高了小样本条件下对雷达目标的识别率和识别稳定度.     

激光雷达硬件故障数据的模式识别研究

利用当前方法对激光雷达硬件中的故障数据进行识别时,没有对数据进行预处理,导致准确率低、误报率高,识别时间长,因此,提出激光雷达硬件故障数据的模式识别研究方法。通过分析噪声和野值在小波变换域上的不同特性,利用双阈值小波变换法处理数据中的噪声点、野值,缩短方法的识别时间;对处理后的数据进行高维特征融合处理,提取数据的关联规则特征量,并利用故障诊断分类器的特点构建多故障分类器,将提取的数据特征量输入到分类器中,进行聚类分析、输出聚类结果,完成识别。实验对比结果表明,所提方法的准确率保持在80%以上,误报率始终低于0.5%,识别时间最高仅为0.4 s,提高激光雷达硬件故障数据提取与应用质量。     

电力物资采购数据特征提取方法研究

当前已有的电力物资采购数据特征提取方法存在提取精度低的问题，为此，提出了基于人工蚁群算法的电力物资采购数据特征提取方法。更新电力物资采购数据信息素，完成电力物资采购数据特征的识别。构建采购数据的频域模型，利用人工蚁群算法计算采购数据频域特征的隶属均值，对电力物资采购数据平滑处理。建立电力物资采购数据特征响应函数，实现了电力物资采购数据特征的提取。实验结果表明，该研究设计的方法可以通过提供数据特征主成分贡献率和特征间关联度，提高数据提取质量和精度，具有更好的特征提取性能。     

局域网链路层数据帧识别算法的设计与实现

对局域网中几种典型的链路层数据帧进行了分析,基于数据帧中的特征位,提出了一种数据帧识别算法,并对算法进行了性能分析。该数据帧识别算法解决了局域网链路层协议类型的分析和数据帧的识别问题。     

基于谱回归和核空间最近邻的基因表达数据分类

肿瘤基因表达数据是典型的高维小样本数据,直接对其进行识别存在维数灾难,需要对数据进行维数约简.提出了一种基于谱回归分析和核空间最近邻分类器的基因表达数据分类方法,采用谱回归分析得到可有效提取低维鉴别特征的投影矩阵,然后通过投影矩阵对基因表达数据进行维数约简,得到的低维数据用核空间最近邻分类器进行识别.通过在Prosta...