一种基于深度强化学习的Spark Streaming参数优化方法

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法（DQN-SSPO）,将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。     

基于人工免疫算法的增量式用户兴趣挖掘

了解用户兴趣是为用户提供个性化服务的关键.用户兴趣有短期兴趣和长期兴趣之分,且具有不稳定性.受人工免疫系统的启发,巧妙地将免疫应答过程应用于用户兴趣挖掘.首先将概率与时间相结合,提出“概念时序动态”的概念,以更好地刻画用户在一段时间内对同一兴趣的关注程度;然后基于人工免疫原理,建立抽取兴趣标签的分类器来提取用户兴趣标签;最后针对增量式学习,建立兴趣标签的“概念时序动态”,刻画出用户兴趣自首次出现以来受关注的程度,以此为依据来判断兴趣是否存在迁移及遗忘现象,并为每个兴趣标签附上权重.其主要贡献是创造性地将人工免疫原理应用于用户短期兴趣和长期兴趣的挖掘,并具有增量特性,可以很好地体现用户兴趣迁移特征,是一种自然完整的用户兴趣模型.实验结果表明,该学习模型能够很好地发现用户关注的领域,其平均精度和召回率分别达到79.5％和74.4％,是目前最贴近用户的兴趣挖掘模型.     

中小企业应用电子商务研究

随着我国电子商务的飞速发展,广大中小企业已逐步认识到了应用电子商务的理要性,但由于缺乏必要的理论指导,有的等待观望、坐失良机;有的急于求成,盲目投入,造成资源的极大浪费。在本文从中小企业制定总体战略规划、具体实施电子商务的对策和电子商务的人才战略等方面,详细阐述了中小企业应用电子商务的途径,为中小企业发展电子商务提供了借鉴。     

高性能计算环境下地理计算服务流程并行处理方法

地理计算是地理信息科学中重要的高级计算模式,是新一代地理信息系统(Geographic Information System, GIS)中不可缺少的组成部分。地理计算过程涉及数据处理、空间分析、过程模拟等多个流程,过程繁复且耗时,计算复 杂且运算量大。高性能计算(High Performance Computing, HPC)是解决复杂地理计算问题的有效方法。针对高性能 计算环境中地理计算服务流程并行执行问题,提出一种简洁的地理计算服务流程建模方法和基于多线程的并发流程 处理策略,设计并实现了高性能计算环境下地理计算服务流程执行引擎原型系统,实现了并发条件下地理计算服务流 程的自动执行与负载均衡。通过在真实高性能计算环境中的实验,验证了所提出的方法能够有效解决地理计算服务 流程建模、执行优化问题,具有良好的性能、准确性及应用前景。     

基于非均匀划分的分布式影像数据索引方法

本文介绍了现有的对影像数据管理和索引的方法及其存在的不足，提出了一种基于非均匀划分思想对分布式影像数据进行管理和索引的方法，避免了由于边缘补零带来的时间和空间开销。实验结果表明，本文方法能够支持对分布式多图幅的联合查询以及结果的无缝拼接，而且其时间和空间代价远小于现有方法。     

高铁闪锌矿高压酸浸过程中ZnS-FeS-H2O系的电位-pH图

对高铁闪锌矿高压酸浸的热力学过程进行了研究,并绘制了150℃、氧气压力为1 MPa时,浸出体系中ZnS-H2O系、FeS-H2O系、ZnS-FeS-H2O系的电位-pH图。     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...     

深度学习在医学影像大数据中的应用研究

医疗过程中产生了以医学影像为主的海量医疗数据,采用大数据技术对医学影像进行采集存储和分析处理能够有效提高医学影像利用效率。本文对医学影像大数据平台构建,深度学习的大数据应用场景进行探讨,指出深度学习能有效提高医学图像处理、医学影像辅助诊断和基于医学影像的预后预测等的水平,具有广泛应用前景。     

油橄榄鲜果中总黄酮提取工艺优化及其含量随不同成熟度的变化

以油橄榄鲜果为材料,采用响应面法对超声波辅助提取油橄榄总黄酮工艺进行优化,并测定皮瓜尔、弗奥、克罗莱卡、卡林、鄂植、云台、配多灵、科拉蒂八个品种的六个成熟度的总黄酮含量。基于单因素实验,以料液比、甲醇浓度、超声温度和超声时间为自变量,油橄榄总黄酮提取量为响应值,确定最佳提取工艺条件:料液比1∶23(g/m L)、甲醇浓度80%、超声温度48℃、超声时间30min,油橄榄鲜果总黄酮提取量为0.8567mg/g。八个油橄榄品种的总黄酮含量随成熟度增加,呈现先下降后略有上升的变化趋势,含量最高为克罗莱卡的第一成熟度3.9042mg/g,最低为云台的第四成熟度0.7189mg/g,鄂植和配多灵从第三成熟度开始总黄酮含量显著高于其他品种。      

油茶籽粕蛋白功能特性及其酶解产物抗氧化活性研究

采用碱溶酸沉法提取油茶籽粕中的蛋白质,运用正交试验优化提取的最佳条件,并分析油茶籽粕蛋白功能特性及其木瓜蛋白酶水解物的抗氧化活性。结果表明,在pH 10、料液比1∶30(m/V)、提取时间3h、提取温度50℃的最佳条件下,油茶籽粕蛋白的得率为4.99%。油茶籽粕蛋白等电点在pH 5左右。乳化能力、乳化稳定性和起泡能力随p H增加呈先降后升的趋势,与蛋白溶解度密切相关。木瓜蛋白酶能有效提高油茶籽粕蛋白溶解性,其蛋白水解物对DPPH·自由基和羟基自由基均具有很好的清除能力(清除率85%),对铜离子的螯合能力大于对铁离子的螯合能力。