一种基于深度强化学习的Spark Streaming参数优化方法

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法（DQN-SSPO）,将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

面向空铁联运的枢纽航线网络优化模型

为减缓枢纽机场的客流量拥堵问题,减少机场运营成本,设计面向空铁联运的枢纽航线网络优化模型.在枢纽航线网络基础上,引入高铁线路建立优化模型;设计高维多角标变量表示方法和禁忌搜索算法的求解方法,减少算法的计算负担,科学规划线路客流量和运输方式.实验结果表明,与严格和非严格的枢纽航线网络相比,该优化模型可以较好减缓枢纽机场的拥堵,降低枢纽机场的负荷率,减少网络成本.该模型求解算法具有收敛速度快且解分布稳定的特点.     

IWSNs中的混合式共享链路调度

针对工业无线传感器网络中的链路调度问题,提出一种混合式共享链路调度方案.通过对现有典型集中式调度方案存在的不足进行分析,将属于同一路径或多跳路由的节点间的共享链路集中分配给属于同一路径的节点,采用分布式决策决定哪些节点应当在每个时间点使用共享链路;推导出描述调度方案的可靠性和延迟性能指标的解析表达式,表明提出方案能灵活分配和利用链路,具有更好的防止传输差错和减小延迟的能力.仿真结果表明,与现有IWSNs链路调度方案相比,提出方案可以提高可靠性和延迟性能,更有效地利用链路资源.     

面向交通流量预测的时空超关系图卷积网络

交通流量预测是智能交通系统中的重要研究课题,然而,交通对象（如站点、传感器）之间存在的复杂局部时空关系使得这项研究颇具挑战。尽管以往的一些研究将流量预测问题转化为一个时空图预测问题从而取得了较大的进展,但是它们忽略了交通对象们跨时空维度的直接关联性。目前仍缺乏一种全面建模局部时空关系的方法。针对这一问题,首先提出一种新颖的时空超图建模方案,通过构造一种时空超关系来全面地建模复杂的局部时空关系;然后提出一种时空超关系图卷积网络（STHGCN）预测模型来捕获这些关系用于交通流量预测。在四个公开交通数据集上进行了大量对比实验,结果表明,相比ASTGCN、时空同步图卷积网络（STSGCN）等时空预测模型,STHGCN在均方根误差（RMSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）这三个评价指标上均取得了更优的结果,不同模型运行时间的对比结果也表明,STHGCN有着更高的推理速度。     

采用长短期记忆网络的深度学习方法进行网页正文提取

针对复杂网页上主题信息被过多地与主题无关的广告、导航、版权等噪声信息隐藏的问题,提出一种基于长短期记忆的深度学习正文提取方法(LTE).首先,设计一种根据超文本标记语言(HTML)中标签信息的数据划分策略:通过遍历HTML代码的文档对象模型(DOM)树来根据DOM树结构划分每一个具有文本信息的文本块;然后,通过预训练模型对每一个内容块的从属关系进行表征;最后,这些标签会被输入到用这种格式的数据预先训练好的长短期记忆(LSTM)网络模型进行主要内容正文判别.实验结果证明,模型能够有效拟合已标记的数据集,在训练集中的F1分数能稳定在0.96以上;对于不存在于训练集中的网页格式,对其正文的预测准确度也比两个传统正文抽取工具Readability和Newspaper3k的分别高47.54、19.02个百分点.由实验结果可知,LTE能够有效提取出网页中的正文内容.     

基于注意力机制面向短文本多分类的关键词权重优化

关键词语义敏感影响短文本选择关键词赋予合适权重.针对仅关注关键词是否完备没有考虑到混淆关键词会对分类造成消极影响的问题,提出一种降低混淆关键词权重实现关键词权重优化的模型.首先,基于词频?逆文件频率(TF-IDF)和混淆矩阵的原理选择文本中被定义的混淆关键词.然后,基于注意力机制构建文本表征,通过全连接层降维重构表征;训练重构的表征尽可能相似于原表征,从而选出能保留句子信息的关键词;将混淆关键词从提取的关键词里排除出去,将筛选后的关键词称为强关键词.最后,使用双向长短记忆网络?注意力机制(BiLSTM-Attention)经典模型作短文本多分类的基础模型.在此基础模型之上把强关键词整体做嵌入表示加入到BiLSTM-Attention模型中的注意力部分激活函数计算当中.与BiLSTM-Attention基础模型进行的实验结果表明,所提模型在Snippets公开数据集上,分类准确率提高0.41个百分点.     

基于改进多目标进化算法的微服务用户请求分配策略

如何对基于微服务架构的系统进行并发用户请求的分配以使得时间、成本和均衡性等目标得到优化,是面向微服务的应用系统需关注的重要问题之一.现有的基于固定规则的用户请求分配策略仅着重于负载均衡性的解决,难以处理多目标需求间的平衡.为此,文中提出以请求处理总时间、负载均衡率和通信传输总距离为多个目标的微服务用户请求分配模型,研究并发用户请求在部署于不同资源中心的多个微服务实例间的分配策略,并使用基于改进初始解生成策略、交叉算子和变异算子的多目标进化算法对该问题进行求解.在不同规模的数据集上进行多次实验,结果表明,提出的方法与常用的多目标进化算法和传统的基于固定规则的方法相比,能够更好地处理多个目标间的平衡,具有更好的求解性能.     

基于注意力机制和BiGRU融合的文本情感分析

针对简单的神经网络缺乏捕获文本上下文语义和提取文本内重要信息的能力,设计了一种注意力机制和门控单元(GRU)融合的情感分析模型FFA-BiAGRU.首先,对文本进行预处理,通过GloVe进行词向量化,降低向量空间维度;然后,将注意力机制与门控单元的更新门融合以形成混合模型,使其能提取文本特征中的重要信息;最后,通过强制向前注意力机制进一步提取文本特征,再由softmax分类器进行分类.在公开数据集上进行实验,结果证明该算法能有效提高情感分析的性能.     

基于人工势场的A*算法的移动机器人路径规划

为了解决传统A*算法规划路径时未考虑到障碍物分布对路径选取的影响,文中提出了一种改进的A*算法.将人工势场的思想与传统的A*算法相结合,对栅格地图中的障碍物赋予斥力场函数并计算周围栅格的斥力大小,进行路径搜索时将栅格的斥力大小引进到A*算法的评价函数当中以改进A*算法的搜索能力.通过MATLAB仿真和Turtlebot机器人的实验结果表明,与传统的A*算法相比,改进后的新算法与人工势场算法相结合,规划出了更优的路径,提高了路径规划效率,且搜索速度提高了 13.40％～29.68％,路径长度缩短了 10.56％～24.38％,路径节点数减少了 6.89％～27.27％,因此,改进的A*算法的优化效果明显,具有有效性和可行性.