强化非结构化数据管理深度挖掘企业信息价值

随着电力企业信息化的快速发展,非结构化数据资源在企业运营中的作用越来越重要。本文基于非结构化数据特点,结合电力企业的非结构化数据存储、管理现状及客观发展需求,简要分析了非结构化数据存储整合和内容管理主流技术应用,说明电力企业须逐步探索自己的非结构化数据整合和管理模式,深度挖掘企业信息价值。     

基于预定义模式的Web网页结构化数据抽取

设计了一种基于预定义模式W eb网页结构化数据抽取包装器软件.该软件利用最新W eb技术、信息处理技术、人工智能技术对W eb网页结构化信息解析,从非结构化的、不包括任何语义的HTML文档中抽取结构化语义数据.选取了几个出版社的新书发布W eb页面进行了数据抽取验证和抽取结果分析.结果表明该软件可实现W eb网页新书发布信息集成,并提供新书检索服务.     

大数据环境下的智慧校园建设与应用

学校信息化建设已经经历了10多个年头,现有系统达到几十个,各个系统独立运行;同时安防监控,在线课程资源,上网行为非结构化数据资源在智慧校园建设中的作用已经体现。文章根据学校现状提出适合高校信息化建设的数据模型。主要通过Hadoop分布式系统架构解决结构化数据和非结构化数据之间的融合,为数据分析和决策提供依据。     

档案管理中半结构化数据智能检索研究

档案数据形式多样、数据量巨大,特别是半结构化数据结构复杂,给档案管理工作造成巨大困难.针对这种情况提出了一种基于本体的智能档案信息检索系统.该系统的处理过程分为两个部分:第一部分是半结构化数据的处理,采用特征数据提取的方法对半结构化数据进行特征提取,进而重组成为结构化数据;第二部分是智能检索的实现,利用基于本体的逻辑推理实现语义层次的智能检索.实验结果表明,该智能检索系统较基于关键字的传统检索在查全率和查准率上都有了较大提高.     

福建烟草商业系统大数据技术研究与应用

为探索大数据技术在烟草商业系统中的应用，提出了一种适用于营销、专卖等部门的大数据分析方法。该方法通过数据采集、数据导入、预处理、关联分析等手段，可实现对专卖、营销等业务中结构化/非结构化数据的有效挖掘，缓解了人工数据分析面临的耗时、费力，难以处理数据关联性等问题。      

海量MES监控数据的高效存储与处理

随着云制造和工业大数据时代的来临,传统的MES监控系统正面临着新的挑战。海量的工业数据存储需要更高的性能,日益增多的半结构化和非结构化数据则需要更加高效的存储功能。为了解决这一问题,文章研究并实现了基于Hadoop技术存储数据的MES监控系统,采用物联网技术,通过传感器网络,监控网络,RFID网络来获取MES监控系统有关设备,产品,人员的有关数据,数据存储使用Hadoop技术,将数据存储在远端的分布式存储数据库中,减轻了本地数据库的存储压力,提高了存储能力和存储速度。最后,文章以MES生产制造中的钻攻机为测试用例,验证了海量MES监控数据的高效存储与处理。     

集成化决策支持系统探讨

集成化决策支持系统（ＩＴＤＳＳ）是一个人机交互式的计算机应用系统．它最大限度地利用共享数据和资源，支持企业管理人员对半结构化和非结构化问题进行决策．它是在决策支持系统（ＤＳＳ）基础上发展起来的，具有“集成”特征的决策支持系统．由于ＩＴＤＳＳ除了具有传统的决策支持和智能决策支持系统的特征之外，还具有对决策支持系统统一调度管理和控制、共享数据和资源、决策性能好、透明度高等优势，因而能同时很好地解决企业中、高层领导所面临的半结构化和非结构化决策问题，所以，ＩＴＤＳＳ的研究具有很好的应用前景．     

突发事件案例表示方法

案例表示是案例推理的基础,突发事件案例涉及到大量非结构化的信息,如何有效地将海量信息整合成案例是案例表示的关键。该文针对中国突发事件的特点,结合信息来源,给出了突发事件案例应包括的要素,针对结构化信息和非结构化信息提出了不同的表示方法。对于结构化信息,使用模糊集合的方法定量表示,以隶属度函数代替单一的数值;对于非结构化的文本信息,通过对3种关键词提取方法的比较研究,选择了基于词语共现概率的改进方法提取关键词,利用提取结果进行信息抽取。整个案例被表示成包含定量化数据和抽取文本的半结构化形式,前者主要用于案例匹配,后者记录了案例的详细内容,用于提供决策支持。这种表示方法为进一步的案例推理奠定了基础。     

基于DOM的Web数据抽取研究

文章阐述了利用XML中的DOM树将Web数据结构分析,转化为结构化的XML数据,使用Xpath实现数据匹配查找数据,通过正则表达式实现数据抽取。同时,对目前数据抽取技术做一些简单探讨研究。     

知识挖掘在纺织行业信息化建设中的作用

信息化的推进使纺织行业积累了大量的数据,如果能够从凌乱的数据(如海关进出口数据,国家统计局生产数据、经济指标、固定资产投资数据,纺织企业直报数据及其他非结构化数据等)中挖掘有价值的知识,就意味着开始进入知识管理时代。     

SQL数据库的备份与恢复技巧

结构化查询语言是现在流行使用的一种关系型数据库管制体系。数据库中最重要的当然非数据莫属,不过由于一些原因,例如磁盘损坏、电脑硬件破坏、顾客操纵方式不正确等,都可能破坏数据库数据。为了确保在出现这些意外状况的时候,能够把损失降到最小化,数据库管制工作者一定要常常把数据库里面的数据进行复制,进而在出现问题的时候还能够获得原有的数据。文章以05版本的结构化查询语言为例,简单讲述了一下几种数据库怎样备份复制以及恢复的方法。     

基于Informatica的数据质量设计在数字供电中的应用

某省电力部门在信息化建设与运行的过程中,为了让主网生产系统、EMS系统的基础数据维护单位及时了解基础数据在业务系统中的完整、准确性以及跨系统之间的数据一致性情况,利用数据质量提供的数据,拼接成统一的电网模型,提供给管理人员全方位的电网全景分析和应用。本文阐述了主网生产系统与EMS系统的电网模型比对方法,以及通过ETL工具Informatica PowerCenter及正则表达式等实现的效果。最后,根据实际数据分析出取得的效果及待改进之处。     

飞机设计中网格生成方法对计算自动化和及时性的影响

以飞机翼身组合体作为计算的几何模型,研究了结构化网格和非结构化网格两种方法对计算自动化和及时性的影响.结果表明:分区结构化网格方法计算结果精确度好,但生成网格耗时、费力;非结构化网格方法自动化程度高、效率高、适应性强,但计算结果欠准确.现今为获得精确的结果,较多地使用结构化网格.     

解析结构化数据存储检索系统

随着时代的发展和科技的进步，近些年来，在云计算领域内，逐渐出现了一种新型的数据，那就是BigData，这样在对其存储和检索的时候就不能继续采用传统的关系型数据库系统：虽然可以采用分布式No-SQL来进行存储，但是有一些功能依然无法实现。针对这种情况，本文提出了结构化数据存储检索系统，也就是俗称的MDSS。本文对结构化数据存储检索系统进行了简要的分析，希望可以提供一些有价值的参考意见。     

地理空间信息技术在国防动员潜力数据管理中的应用研究

当前国防动员潜力数据主要以文本、图片、报表为主的非结构化数据,缺少空间属性及位置信息。因此,关于国防动员潜力数据库的大量研究主要集中在数据采集、上报以及信息系统建设等方面。针对国防信息化建设中,动员潜力数据业务应用存在的问题,文章在分析地理空间信息技术优势的基础上,探讨了国防动员潜力数据管理模式。     

从共享信息中发掘供应链性能评价方法研究

针对当前供应链性能评价中存在的数据获取困难以及评价方法复杂的状况,提出了一个供应链性能评价系统.此系统从供应链中各个成员共享的信息出发,以XML/EDI机制进行信息的传递,并依据中心控制方式,按照一定规则,把半结构化数据转换为结构化数据,进而在结构化数据中挖掘反映供应链性能的信息.     

浅谈大数据时代的数据分析与挖掘

随着改革开放的进一步深化,以及经济全球化的快速发展,我国各行各业都有了质的飞跃,发展方向更加全面。特别是近年来科学技术的发展和普及,更是促进了各领域的不断发展,各学科均出现了科技交融。在这种社会背景下,数据形式和规模不断向着更加快速、精准的方向发展,促使经济社会发生了翻天覆地的变化,同时也意味着大数据时代即将来临。就目前而言,数据已经改变传统的结构模式,在时代的发展推动下积极向着结构化、半结构化,以及非结构化的数据模式方向转换,改变了以往的只是单一地作为简单的工具的现象,逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论,并论述了建设数据分析与挖掘体系的原则,希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示,仅供参考。     

基于大数据语料库的服装色彩情感挖掘

针对大数据时代下网络信息过载、价值密度低的现状和消费者愈发关注的情感需求，基于BCC语料库和互联网数据，利用网络爬虫和自然语言处理工具KH-coder对8种单色色彩的情感语料知识进行采集和挖掘，通过筛选和词频统计获得色彩情感核心语义特征。探索了将互联网中分散的非结构化的知识转化为结构化知识的方法，有助于服装行业知识图谱的建立，进一步为计算机智能化设计和情感识别及评价提供参考。     

浅谈数据治理建设方案

随着大数据时代的来临以及信息技术的发展,人们产生的数据量正在以指数级的速度在增长,并且数据正以多元结构(结构化与非结构化)趋势发展,如此海量的、多元结构的数据就要求利用有效的方法来管理。数据是一个企业或政府部门的核心资产,数据治理是将一个企业或政府部门的数据作为战略资产来管理,需要建立一套从数据采集到处理应用的管理机制,以提高数据质量,实现广泛的数据共享,最终实现数据价值最大化。目前各行各业对大数据的研究比较火热,但对于大数据治理的研究还处于起步阶段,一个组织的正确决策离不开良好的数据治理。本文内容包括:数据治理的建设背景;数据治理的建设目标;数据治理的建设思路;总结与展望。通过本文能让大家对数据治理解决方案的整体有个基本了解,能对相关工作有一个更好的推动。     

基于不变矩与神经网络的织物缺陷检测研究

针对织物表面的非结构化畸变缺陷,提出一种基于不变矩与神经网络相结合的织物缺陷检测方法。首先,利用图像处理的方法对织物图像进行预处理分块;其次,提取待检测织物分块图像的7个不变矩值,通过比较分块变换后的统计特征量,发现缺陷织物与非缺陷织物的统计特征量存在差异;基于该特点,建立BP神经网络,应用织物图像的7个不变矩特征值作为神经网络的输入,通过学习大量样本,获取最佳权值参数,实现对非结构化畸变缺陷的识别分类。试验结果表明,该算法检测的准确率达到80%以上,对破洞的检出率接近100%,能够很好检测织物的非结构化缺陷,有效地满足织物的生产工艺要求。