融合语义特征和知识特征的推荐模型

针对传统推荐模型面临的数据稀疏性问题，提出一种基于结合注意力机制的门控循环单元的融合语义和知识特征的推荐模型。基于知识图谱，使用连续词袋模型捕获项目实体对应的语义特征，依据“偏好扩散”思想进行知识特征的学习，将不同层面特征进行融合后，使用结合注意力机制的门控循环单元挖掘用户潜在兴趣偏好。基于MovieLens数据集的对比实验结果表明，所提模型能够有效提升推荐效果并缓解数据稀疏性问题，通过消融实验验证了该模型各个组件的有效性。     

基于多模型的能源组件维修性建模与仿真研究

某激光装置能源组件是其关键组件,该组件具有随机劣化失效特点,其部件失效类型多,维修类型和维修策略也比较复杂,现有的基于单一模型和解析方法的系统维修性建模与分析方法难以解决其维修性设计与分析问题。本文采用多模型集成的维修性建模与仿真方法,解决能源组件维修性建模与分析问题。其中,采用故障树模型描述能源组件系统级可靠性,采用SPNAT模型描述各部件的失效过程和维修决策,并基于"Join/Replicate"操作进行模型集成,通过报酬结构定义组件的维修性指标。仿真结果表明,基于多模型集成的维修性建模与仿真方法,是解决能源组件这样的复杂产品维修方案设计与分析的有效途径。     

组件加工三维工序模型构建方法

针对组件加工工艺特点,本文研究了三维设计模型的建模方式对组件加工三维工艺设计的影响.提出了组件加工三维工序模型的构建方法,并基于Pro/E平台分析了某微波组件三维工序模型构建过程,验证了方法的可行性和有效性.     

火电机组过程大数据建模方法研究

近年来,大数据产业保持高速发展态势,而过程工业大数据建模技术发展相对缓慢。在该背景下,以火电机组过程大数据为研究对象,首先分析火电机组过程大数据的特点及其进行大数据建模所面临的困难;接下来对现有国内外火电机组过程大数据建模方法及存在问题进行了分析;最后提出一种基于火电机组过程大数据的全工况自适应传递函数建模方法,该方法应用数据挖掘技术选取不同工况下的合格建模数据,通过云计算平台应用数据驱动传递函数建模方法建立全工况范围内大量的系统模型,再应用线性变参数及数学插值等算法对大量系统模型进行融合,最终获取系统全工况自适应传递函数模型。该建模思路为火电机组等过程工业大数据建模提供了一种较好的方法参考。     

基因表达式编程在软件可靠性建模中的应用

基因表达式编程是一种基于遗传算法和遗传编程的新型机器学习技术,其具有更为优秀的数据挖掘能力,已被成功应用于函数发现领域。提出一种基于基因表达式编程的非参软件可靠性建模方法,该方法将基因表达式编程算法中的若干关键步骤(如初始种群函数集、适应度函数、终止条件等)与软件可靠性建模的若干重要特征相融合,在失效数据集上进行训练,从而获得基于基因表达式编程算法的非参软件可靠性模型。在若干组真实失效数据集上,将所提出的模型与若干典型的基于人工神经网络以及遗传编程的非参软件可靠性模型进行对比实例研究。实例结果表明,基因表达式编程算法的非参软件可靠性模型具有更为显著的模型拟合与预计性能。     

一种基于关联分析的铝电解生产辅助控制方法*

通过关联分析对生产过程中积累数据的处理,可以得出客观知识,这些知识有益于领域专家的相关研究以及指导生产。基于双库协同机制的KDD*过程模型,是基于认知心理的创建意象和心理信息修复特征建立的新型数据挖掘模型,它实现了系统自主发现知识短缺和进行知识库的实时维护,使两个协调器协同工作,将协调器及双库协同机制融入经典的KDD过程模型。基于该模型,提出了一种新的辅助控制电解铝生产的方法,并通过现场实验说明其有效性。     

基于注意力机制的Multi-head CNN-LSTM软测量建模

软测量建模通过选取辅助变量,建立辅助变量与关键质量变量关系,能够高效地实现对关键质量变量的预测。然而当辅助变量维数较高,且对关键质量变量的影响程度不一时,网络预测误差将较大。针对这一问题,提出一种基于注意力机制的Multi-head CNNLSTM模型,首先根据辅助变量自身属性和特点将其切分成多组子变量后,使用多组独立并行工作的CNN-LSTM群对其子变量进行单独处理;再提取各组子变量上的特征向量,融合注意力机制,实现子变量特征向量的权重分配。所提算法不需提前根据工艺知识选择辅助变量,而是通过深度学习机制自动选择特征;最后,在乙烯精馏塔塔顶乙烷浓度软测量建模中进行应用,所提模型的预测精度优于LSTM以及CNN-LSTM软测量模型。     

聚类数据挖掘在商场顾客分析中的应用

数据挖掘用于从大量数据中发现知识,提供决策支持.本文对聚类数据挖掘应用于商场顾客分析的实现问题进行了研究.基于重庆两百商场OLTP数据库,构建了数据仓库,针对商场顾客群特征,以及顾客特征与购买商品类别之间的关系问题,建立了两个聚类数据挖掘模型,并对数据挖掘结果进行了分析.     

数学建模中的高维数据挖掘技术优化研究

高维数据挖掘由于特征空间占用开销较大,挖掘的复杂度较高,挖掘精度不高,为了提高对高维数据挖掘的准确性能,提出一种基于相空间重构和K-L变换特征压缩的高维数据挖掘数学建模方法。采用集成学习技术,对高维数据信息流进行相空间重构处理,考虑类间的数据不平衡性,求得高维数据的关联维特征参量,根据数据的链距离进行稀疏性融合,计算高维数据流模型的最大Lyapunove指数谱,根据谱分析方法实现数据聚类,对聚类后的数据采用K-L特征压缩方法进行降维处理,降低数据挖掘的内存及计算开销。仿真结果表明,采用该方法进行高维数据挖掘,数据挖掘的准确概率较高,占用内存消耗较少,计算开销较小。     

基于大数据挖掘的高校知识管理系统

当前高校大数据应用面临数据集成困难、成果难以应用、知识难以管理等问题,急需加以解决.本文结合知识管理与软件工程方法,首先设计了基于CRISP-DM的高校大数据挖掘流程;在此基础上,设计了高校知识管理系统的总体架构和功能模型;然后对主要功能模型进行了详细设计,并对其关键技术——数据集成方法、大数据挖掘技术进行了分析和设计;最后给出了该系统的开发环境及测试情况.该系统设计方案对高校大数据应用提供了参考和借鉴.     

基于大数据的辅机设备振动噪声监测分析平台

分析了对辅机设备进行状态监测和分析研究的必要性,创新地将大数据技术应用于该领域,解决了该研究领域中的关键技术难题,设计并实现了一个辅机设备振动噪声大数据监测分析研究平台。平台采用流式数据实时分析技术和实时批处理技术相结合的方式,采用Storm+Hadoop大数据处理架构。一方面,利用Storm以流计算的方式,对噪音、振动、电流、电压、谐波等海量原始数据进行快速计算和处理,并将处理后的数据传输至实时监测中心;另一方面,采用批计算技术,将海量原始数据存储到基于Hadoop的分布式文件系统中,建立大数据库,再采用基于MapReduce的大数据分析技术对海量数据进行数据挖掘和建模。该平台的研究不仅实现了对辅机设备的运行管理的监测和分析,还可以作为辅机设备振动噪声大数据建模和研究的基础。     

遥感大数据研究现状与发展趋势

目的 遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。方法 在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。结果 本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。结论 大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。     

基于大数据的主网生产运维数据分析系统设计

主网生产运维的数据存在差异性大且统一困难、数据集成度与共享性不足等问题,造成这些数据利用率低且应用不充分,已不能满足主网生产运维的要求。本文提出基于大数据的主网生产运维数据分析系统设计方案用于解决这些问题。本文在分析主网生产运维数据特点的基础上,设计了包含数据存储、设备缺陷图谱分析、基于众包的设备故障修复、输变电设备健康度评估、主网精益化作业管理等功能的数据分析系统。该系统对主网生产运维数据进行分布式存储、关联分析、深度挖掘。此外,本文以大数据平台为核心设计了系统的软件架构,重点阐明了主网生产运维数据的存储原理。本文设计的系统面向主网的生产运维人员,旨在为他们提供设备检修、精益化管理等高级服务。     

BigFCM: Fast,precise and scalable FCM on hadoop

Clustering plays an important role in mining big data both as a modeling technique and a preprocessing step in many data mining process implementations. Fuzzy clustering provides more flexibility than non-fuzzy methods by allowing each data record to belong to more than one cluster to some degree. However, a serious challenge in fuzzy clustering is the lack of scalability. Massive datasets in emerging fields such as geosciences, biology, and networking do require parallel and distributed computations with high performance to solve real-world problems. Although some clustering methods are already improved to execute on big data platforms, their execution time is highly increased for gigantic datasets. In this paper, a scalable Fuzzy C-Means (FCM) clustering method named BigFCM is proposed and designed for the Hadoop distributed data platform. Based on the MapReduce programming model, the proposed algorithm exploits several mechanisms including an efficient caching design to achieve several orders of magnitude reduction in execution time. The BigFCM performance compared with Apache Mahout K-Means and Fuzzy K-Means through an evaluation framework developed in this research. Extensive evaluation using over multi-gigabyte datasets including SUSY and HIGGS shows that BigFCM is scalable while it preserves the quality of clustering.     

基于软件、测试、缺陷“三域”铰链的 软件测试新架构研究与应用

为推动软件测试更加精准深入高效,促进软件测试从“遍历式”向“启发式”转变,提出了一种新型的基于软件、缺陷、测试“三域”铰链的关联知识启发式的新型软件测试架构。通过信息表征模型化、缺陷数据知识化、测试投向精准化等,突破了软件测试数据聚类重组技术和软件典型缺陷模式提取技术,设计开发了相应的软件测试信息管理系统,实现软件精准化测试。在提高软件测试效益的同时,也为软件研制单位和使用单位提高研发质量、快速诊断排故等提供更具针对性的数据服务。     

Web架构驱动的石油工业知识挖掘系统

石油工业大数据具有无限潜力与价值,将大数据与数据挖掘技术应用其中,不仅可以提升石油行业工业化水平,而且对石油行业智慧化发展起到强有力地推动作用.由此提出了一个Web架构驱动的、集成了数据挖掘五大模块的新型工业知识挖掘系统-即石油工业数据挖掘系统,包含：数据集管理、预处理算法管理、数据挖掘算法管理以及数据挖掘流程管理和数据结果可视化五大模块.本系统实现了完全自助式的数据提取、数据预处理、数据分析与知识挖掘和结果可视化展示的完整知识挖掘流程.通过以Web的形式满足油田不同层级的用户在不同场景下的即时使用需求,极大提高了系统的灵活性.通过本系统,油田的技术开发人员可忽略大数据的搭建以及其他复杂构建过程,更好的服务于油田数据建模和分析.     

D-Ocean: an unstructured data management system for data ocean environment

Together with the big datamovement,many organizations collect their own big data and build distinctive applications. In order to provide smart services upon big data, massive variable data should be well linked and organized to form Data Ocean, which specially emphasizes the deep exploration of the relationships among unstructured data to support smart services. Currently, almost all of these applications have to deal with unstructured data by integrating various analysis and search techniques upon massive storage and processing infrastructure at the application level, which greatly increase the difficulty and cost of application development.This paper presents D-Ocean, an unstructured data management system for data ocean environment. D-Ocean has an open and scalable architecture, which consists of a core platform, pluggable components and auxiliary tools. It exploits a unified storage framework to store data in different kinds of data stores, integrates batch and incremental processing mechanisms to process unstructured data, and provides a combined search engine to conduct compound queries. Furthermore, a so-called RAISE process modeling is proposed to support the whole process of Repository, Analysis, Index, Search and Environment modeling, which can greatly simplify application development. The experiments and use cases in production demonstrate the efficiency and usability of D-Ocean.