基于云技术的智慧城市中大规模房屋数据处理

在智慧城市中传感器和设备收集各种数据,实现增值服务.主要关注来自智慧城市中的智能房屋数据,提出用于存储和处理大规模房屋数据的Scallop4SC平台,实现智慧城市服务.房屋数据分为房屋日志数据和房屋配置数据,分别使用HBase和MYSQL管理.通过HBase键值以schemaless方式存储管理异构日志数据.MySQL管理配置数据,完成房屋数据查询.多节点Hadoop/Map Reduce集群处理巨量房屋日志数据.最后通过实际一年的房屋日志数据,计算智能设备能耗并完成实验性评估.根据实验结果,探讨Scallop4SC处理智慧城市的数据规模.     

数据质量和数据清洗研究综述

对数据质量,尤其是数据清洗的研究进行了综述.首先说明数据质量的重要性和衡量指标,定义了数据清洗问题.然后对数据清洗问题进行分类,并分析了解决这些问题的途径.最后说明数据清洗研究与其他技术的结合情况,分析了几种数据清洗框架.最后对将来数据清洗领域的研究问题作了展望.     

混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

多媒体数据资源的采集和处理

一个多媒体应用系统的开发,一般包括下列几个步骤:①确定使用对象;②明确开发方法;③准备多媒体数据;④集成一个多媒体应用系统.多媒体数据准备工作即多媒体数据制作,也就是多媒体数据资源的采集和处理.多媒体数据资源的采集较复杂,一般都要有专用设备和软件.不同类型的数据,其采集方法也不同.对采集到的多媒体数据资源必须进行整理.多媒体数据资源可分为图像数据、音频数据、文本和文字数据,下面分别进行讨论.     

面向关系型数据与知识图谱的数据集成技术综述

目前,各个国家和地区均已将大数据视为重要的战略资源.然而,大数据时代普遍存在数据流通困难、数据监管不足等问题,致使数据孤岛现象严重,数据质量低下,数据要素潜能难以释放.这驱使研究人员探索数据集成技术,以打破数据壁垒、实现信息共享、提升数据质量,进而激活数据要素潜能.关系型数据和知识图谱作为两种至关重要的数据组织与存储形式,在现实生活中应用广泛.为此,聚焦关系型数据和知识图谱,归纳总结并分析实体解析、数据融合、数据清洗3方面的数据集成关键技术,最后展望未来研究方向与趋势.     

基于VB的传感器信号数据处理方案设计

基于VB,设计了棉麻纤维纱线晶变改性成套装备传感器信号数据处理方案.方案主要由数据标定、数据滤波、数据补偿、数据应用及储存四部分组成.介绍了传感器相关参数,给出了传感器物理值计算公式.通过数据滤波,降低了数据采集过程中随机干扰对数据造成的随机误差.通过数据补偿,采集值更加接近传感器液晶屏数显值.对处理后数据应用的同时将数据导入到SQL数据库保存.经现场运行,该方案稳定可靠,满足了设计要求.     

面向生产管控的多源数据处理技术

为了解决流程型生产车间数据种类多、数据质量参差不齐影响生产管控的问题, 提出了面向多源数据的数据分类处理技术, 采用数据分类与滑动窗口相结合的方式进行数据处理. 首先, 根据生产数据特点建立数据模型, 然后进行数据分类. 主要分为状态数据、开关数据、逻辑数据 3类, 不同类型的数据使用不同处理算法; 同时采用滑动窗口解决不同任务对数据实时性和完整性要求不同的难点. 最后, 该数据分类处理模型在实际生产环境投入使用, 验证了对生产数据处理的准确性和实时性. 结果表明, 将处理后的数据应用于生产管控, 管控误差率降低至不足1%.     

基于安全数据字典的数据集成技术研究

对于属性数量特别多(＞200)的复杂数据的集成,当前还没有令人满意的实现方案.针对复杂数据集成的困难,提出了基于安全数据字典的数据集成技术,有效地解决了数据集成在灵活性和安全性方面存在的问题.提出数据字典的安全分级,阐述安全数据字典的概念及安全数据字典的实现方法,应用安全数据字典实现了复杂数据的数据集成.基于安全数据字典的数据集成技术不但极大减少数据集成系统的代码量,使系统更加简洁、高效,而且增强了系统的安全性.     

分级可逆的关系数据水印方案

关系数据可逆水印技术是保护数据版权的方法之一.它克服了传统的关系数据数字水印技术的缺点,不仅可以声明版权,而且可以恢复原始数据.现有方法在恢复原始数据时不能控制数据恢复的程度,无法调节数据的可用性.提出了一种分级可逆的关系数据水印方案,定义了数据质量等级来反映水印嵌入对数据可用性的影响,设计了用于实现分级可逆水印的分区嵌入、等级检测、水印检测以及等级提升算法.数据所有者在数据分发前预先设定若干数据质量等级,以数据分区为单位嵌入水印.每个数据分区使用独立的密钥控制水印信息的位置和取值.如果数据使用者希望提升当前数据的可用性,可向数据所有者申请或购买相关密钥,提升当前数据的数据质量等级.对于任意数据质量等级的数据,其中的数字水印均可用于证明版权.采用分区的辅助数据,实现了灵活的水印逆操作.设计了有效的哈希表冲突解决方法,降低了计算和存储开销,提高了该方案的实用性.实验结果显示,方案具有良好的计算性能以及鲁棒性,可满足现实应用场景的需求.     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

教学过程中数据收集和分析的应用研究

在数据驱动教学的时代背景下,教师数据应用能力显得尤为重要.数据意识的内涵有狭义数据意识和广义数据意识之分.本文从课前、课中、课后三个阶段分享教学过程中数据收集和分析的应用研究经验,帮助教师树立数据意识.通过对数据的应用,实现基于数据的以学生个性化学习为目标的教学活动,促进学生的个性化发展.     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.     

一种列存储数据仓库中的数据复用策略

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.     

数据世系管理技术研究综述

世系描述了数据产生、并随时间推移而演变的整个过程,它的应用领域很广,包括数据质量评价、数据核查、数据恢复和数据引用等.数据世系大致可分为不同数据源之间的数据演化过程和同一数据源内部的数据演化过程,即模式级和实例级数据演化过程.文中以模式级和实例级数据世系的表示、查询为主线综述数据世系的研究进展.模式级世系部分主要介绍了查询重写和模式映射的世系追踪技术,实例级世系部分则从关系型数据、XML数据、流数据三方面总结了新近的研究进展.文中还综述了跟踪不确定性数据及其演化过程的研究进展.最后,列举了数据世系管理的应用,并讨论了世系分析研究面临的挑战及未来的研究方向.     

金融数据跨境流转的法律问题研究

金融科技的智能化发展,出现大量金融数据.数据的保护涉及隐私问题,以及数据适用阶段中,数据境外流转中产生的新问题.中国并未就金融数据形成统一完善的法律规定,建议以数据保护为主,促进数据利用的立法目的,出台金融数据法律规定,其内容规定实施不同级别数据保护的差异化措施.最终促使平衡金融数据的保护与利用问题.     

数据挖掘中的数据预处理

该文讲述的是如何从现有的数据中获取新的知识,但是现有的数据中会存在不集中、杂乱,甚至还不完整数据.虽然使用数据挖掘机模型进行微调和开发还会出现一些杂音,但仍然可以从中获取到有用的数据,保证数据的质量.主要数据挖掘流程:获取数据、清洗数据、探索数据、建模数据、转换数据.     

无线传感器网络中数据密度相关度融合算法

无线传感器网络节点部署在复杂环境时,节点间相关性无法通过节点间距离来准确描述.为了克服该缺陷,本文提出了数据密度相关度公式.该公式反映了节点数据的ε邻域内数据的聚集程度,也反映了该节点数据相对其ε邻域内数据的相对位置.同时,将数据密度相关度公式应用到代表式数据融合算法中,提出了数据密度相关度融合算法.该融合算法得到的相关区域具有相关区域内节点数据相关度大,相关区域问节点数据相关度小的优点.仿真实验结果表明了该融合算法在数据准确性和能耗方面较基于α-局部空间数据融合算法和基于皮尔森相关系数的数据融合算法优越.     

基于软硬数据的多点地质统计法在图像统计信息重构中的应用研究

仅使用硬数据或无条件数据时,图像统计信息的重构会比较困难而且精度不高.如果在重构过程中加入软数据,则可以提高图像重构的准确性.结合使用软数据和硬数据,提出了一种利用多点地质统计法重构图像统计信息的方法.该方法在再现训练图像特征模式的过程中,将软数据和硬数据同时作为条件数据,因此可以提高重构图像的精度.实验表明,与仅使用硬数据和无条件数据的情况相比,该方法重构的图像具有与真实体数据更为相似的结构特征.     

面向多方安全的数据联邦系统

大数据时代,数据作为生产要素具有重要价值.因此,通过数据共享实现大规模数据的分析挖掘与利用具有重要意义.然而,近年来日益严格的隐私安全保护要求使得数据分散异质的多方之间不能任意共享数据,加剧了"数据孤岛"问题.数据联邦能让多数据拥有方在保护隐私的前提下完成联合查询.因此,基于"数据不动计算动"的联邦计算思想实现了一种多...     

教学决策支持系统中数据预处理的方法研究

数据预处理是为教学决策支持系统提供高质量数据的关键.教学决策的复杂性和不确定性以及教学数据的特殊性是制约教学数据预处理的主要问题.通过对教学数据预处理中的问题进行全面分析,设计了基于元数据的教学数据预处理方法.该方法主要包括数据的提取、集成和规约,不仅针对教学数据的特点改进了数据质量,而且根据教学活动中的主题对面向应用的教学数据进行了重新整合,从而适应不同教学决策任务的数据需求.