基于主体行为的非结构化数据模型

为满足用户的复杂检索需求,对用户行为特性进行分析,提出一种非结构化数据的星系数据模型.基于对文件系统中属性使用情况的统计结果,通过优化文件属性、增加用户行为特性属性等方法,形成非结构化数据属性集.在此基础上,使用一个数据对象和基本类、内容类、特征类、行为类、环境类等5个属性类表示一个非结构化数据,构建非结构化数据模型.对模型进行了仿真分析,分析结果表明了模型有效且可行,具有轻量级、支持复杂检索、检索结果准确度高等优势,为大数据管理提供支撑.     

面向结构化数据集的敏感属性识别与分级算法

如何对生产环境中经代码混淆的结构化数据集的敏感属性（字段）进行自动化识别、分类分级,已成为对结构化数据隐私保护的瓶颈。提出一种面向结构化数据集的敏感属性自动化识别与分级算法,利用信息熵定义了属性敏感度,通过对敏感度聚类和属性间关联规则挖掘,将任意结构化数据集的敏感属性进行识别和敏感度量化;通过对敏感属性簇中属性间的互信息相关性和关联规则分析,对敏感属性进行分组并量化其平均敏感度,实现敏感属性的分类分级。实验表明,该算法可识别、分类、分级任意结构化数据集的敏感属性,效率和精确率更高;对比分析表明,该算法可同时实现敏感属性的识别与分级,无须预知属性特征、敏感特征字典,兼顾了属性间的相关性和关联关系。     

PandaDB:一种异构数据智能融合管理系统

随着大数据应用的不断深入,对大规模结构化/非结构化数据进行融合管理和分析的需求日益凸显.然而,结构化/非结构化数据在存储管理方式、信息获取方式、检索方式方面的差异给融合管理和分析带来了技术挑战.本文提出了适用于异构数据融合管理和语义计算的属性图扩展模型,并定义了相关属性操作符和查询语法.接着,基于智能属性图模型提出异构数据智能融合管理系统PandaDB,并详细介绍了PandaDB的总体架构、存储机制、查询机制、属性协存和AI算法集成机制.性能测试和应用案例证明,PandaDB的协存机制、分布式架构和语义索引机制对大规模异构数据的即席查询和分析具有较好的性能表现,该系统可实际应用于学术图谱实体消歧与可视化等融合数据管理场景.     

基于对象-关系-属性数据模型的空间半结构化数据存储管理研究

对象-关系-属性数据模型相对传统的结构化数据模型,用更丰富的数据语义区别了对象类属性和关系类型属性两个概念,使其适用于半结构化数据的存储与管理.从分析空间数据的半结构化特征入手,以空间数据的嵌套关系为管理对象,实现了在关系型数据库中对空间半结构化数据的存储与管理.     

半结构化数据到结构化数据的模式抽取

在分析现有的半结构化数据的存储方式及存在的问题基础上,引入了小集合属性、集合属性、聚类集合、模板集合、父属性序列等概念,借助映射表达语言STORED,提出了一种基于数据挖掘的半结构化数据到结构化数据的模式抽取的方法。     

基于对象一关系一属性数据模型的空间半结构化数据存储管理研究

对象一关系一属性数据模型相对传统的结构化数据模型，用更丰富的数据语义区别了对象类属性和关系类型属性两个概念，使其适用于半结构化数据的存储与管理。从分析空间数据的半结构化特征入手，以空间教据的嵌套关系为管理对象，实现了在关系型数据库中对空间半结构化数据的存储与管理。     

基于模糊理论的多属性航空安全风险评估

在对航空安全风险因素从重要度、危害度、难检度和可能度4维属性划分的基础上,利用模糊理论、欧几里得距离公式和FMECA原理,建立了多属性风险因素的风险评估模型。通过专家问卷和对航空安全风险因素辨识,利用该模型对航空安全风险进行了评估,得到了各项风险因素的关键性指数排序;并对该风险评估模型进行了敏感度分析。该模型结构简单,意义明确,可直接用来指导安全管理工作。     

一种非结构化数据库的四面体数据模型

文中针对非结构化数据管理提出了一种四面体模型.该模型用4个刻面分别描述了一个非结构化数据的基本属性、语义特征、底层特征以及原始数据等组成元素,并描述了这些元素之间的内在联系.设计了四面体模型的实现结构以及数据操作语言.四面体模型能够实现各类非结构化数据的统一的、集成的以及关联的描述,并能够支持关联检索和数据挖掘等智能检索服务.最后给出了一个视频样例库中数据的描述与操作实例.     

基于文体和词表的突发事件信息抽取研究

非结构化数据的结构化任务是大数据环境下管理信息系统面临的新课题。该文从文体的角度研究自由文本的特性,提出了从Web新闻中抽取突发事件属性的方法,该方法首先分析研究了Web文本和新闻文体的特征,利用Google Word2Vec对领域专家构建的词表进行扩展,针对突发事件的不同属性制定了不同的抽取方法: 采用词表实现事件分类,采用文体特征进行时间、事件摘要的抽取,采用文体和词表进行地点、伤亡情况和经济损失属性的抽取。实验表明,采用基于文体和词表方法在爬取的Web新闻语料库和公开语料库进行突发事件的属性进行抽取时,平均准确率分别为87.89%、91.29%,平均召回率分别为81.76%、87.91%,能满足应急管理需求。     

可撤销属性加密结合快速密度聚类算法的非结构化大数据安全存储方法

针对非结构化大数据难以实现安全存储和易遭受安全攻击的问题,提出可撤销属性加密结合快速密度聚类算法的非结构化大数据安全存储方法.利用可撤销属性方法为非结构化大数据提供安全的存储结构,通过区分安全攻击和传输错误来防止大数据的误传和避免安全攻击;利用霍夫曼压缩技术对数据进行快速压缩,节省非结构化大数据处理过程中的时间开销;利用错误控制技术为潜在丢失的数据提供备份系统,并利用快速密度聚类算法有效处理多维大数据文件.实验证明,相比于其他现有非结构化大数据安全存储方法,该方法的执行速度更快,时间开销更小,信息损失百分比更低,信噪比(SNR)和压缩比更高.