面向股票交易分析场景的流式大数据系统测试框架

分布式集群环境使得数据实时计算更为复杂,流式大数据处理系统的正确性难以保障.现有的大数据基准测试框架可以测试流式大数据处理系统的性能表现,但是普遍存在应用场景设计简单、评价指标不充分等不足.针对这一挑战,本文构造了一个面向股票交易场景的流式大数据基准测试框架,通过生成股票高频交易数据,测试系统在高流速场景下的延迟、吞吐量、GC时间、CPU资源等的性能表现.同时,通过横向测试验证流式大数据系统的扩展性.本文以Apache Spark Streaming为待测系统进行测试,实验结果表明,高流速场景下出现延迟增加、GC时间提高等性能下降问题,原因是系统输入速率的提高及并行度的增加.     

机器学习算法在中医诊疗中的研究综述

机器学习算法包括传统机器学习算法和深度学习算法。传统机器学习算法在中医诊疗领域中的应用研究较多,为探究中医辩证规律提供了参考,也为中医诊疗过程的客观化提供了依据。与此同时,随着其在多个领域不断取得成功,深度学习算法在中医诊疗中的价值越来越多地得到业界的重视。通过对中医诊疗领域中使用到的传统机器学习算法与深度学习算法进行述评,总结了两类算法在中医领域中的研究与应用现状,分析了两类算法的特点以及对中医的应用价值,以期为机器学习算法在中医诊疗领域的进一步研究提供参考。     

加强边缘感知的盲去模糊算法

目的 拍摄过程中,如果摄像机进行了错误的聚焦,就会得到模糊的图像,如何将模糊图像变得清晰成为一个亟待解决的问题。目前关于图像的去模糊方法多采用基于模糊核约束的卷积模型。但是由于实际应用中很难准确获取模糊核的信息,同时计算机也存在精度限制,计算结果与实际物理模型有偏差,因而去模糊的主要挑战为：如何精确地估计模糊核,以及如何在复原过程中减弱由于精度限制造成的振铃效应。方法 振铃效应是指图像的灰度剧烈变化处产生的震荡,类似于钟被敲击后产生的波状空气震荡。在图像复原过程中,此效应通常发生在梯度变化较大的边缘区域附近。本文对此进行研究,在去模糊过程中引入边缘信息作为约束条件,以改善模糊核的估计,并通过抑制边缘区域的反卷积,抑制图像复原过程中的振铃效应。算法主要分为如下3个部分：1）设计了适用于模糊图像的边缘提取算法;2）利用边缘信息设计了加强边缘感知的反卷积算法;3）提出并设计了安全检测子,以保证算法在边缘区域复原的完整性。结果 实验结果表明,在没有先验知识的情况下,本文方法可以较好地恢复图像细节,并有效抑制振铃效应。较之传统的去模糊处理算法,本文方法在性能上有较大提高。比如,相比于Chan、Krishnan以及Hu的方法,本文方法在峰值信噪比指标上分别提高了25.73%、3.52%和4.43%,在结构相似性指标上分别提高了7.67%、1.63%和3.59%。同时,与基于深度学习的方法相比,本文方法不依赖于数据集,鲁棒性更强。结论 本文方法可以较好地恢复图像细节,并抑制振铃效应,同时比深度学习方法适用范围更广。     

多机器人路径规划的安全性验证

近些年来,伴随着人工智能领域的浪潮,机器人越来越多的出现在我们的日常生活中,例如足球机器人、无人机、无人车等.如何保证这些自治机器人尤其是多个机器人在移动过程中的安全成了人们一直很关心的问题.混成通信顺序进程（Hybrid Communicating Sequential Process,HCSP）是一个针对混成系统的形式化建模语言,在通信顺序进程（Communicating Sequential Process,CSP）的基础上引入了微分方程以描述混成系统中的连续行为和控制逻辑,可以方便高效地对大型控制系统尤其是在有通信事件发生时的情形进行形式化建模.本文就是用HCSP建模多机器人的路径控制算法,并用定理证明工具HProver进行形式化验证.结果证明了在满足一定初始条件下,机器人团队在整个运行途中不会发生碰撞.     

基于最小费用最大流的大规模资源调度方法

并行作业是大规模资源调度的研究热点.已有研究工作通常采用队列进行资源调度建模,仅能满足局部最优解,只能适应调度目标固定不变的场景,灵活性不够.提出了一种基于最小费用最大流的大规模资源调度建模方法,将任务的资源需求和物理资源供给问题转换成最小费用最大流图的构造和求解问题.首先,选择公平性、优先级和放置约束三种典型度量作为切入点,从资源视角映射为图的构造问题,通过改变图的结构使其具备适应性调整能力.其次,针对图的求解时间复杂度高的问题,实现了一种增量式优化算法.最后,实验对比公平性、优先级和放置约束三种资源调度典型系统,验证了本方法可通过按需配置,支持多种调度目标,具备灵活性.并通过实验仿真验证了万级规模下基于图的资源调度延迟,比基于未优化图算法的资源调度延迟最多降低10倍.     

一种面向软件配置管理制品的层次分类方法

配置管理工具（Configuration Management Tool,CMT）作为运维自动化的组成部分,是实现开发运维一体化（Development and Operations,DevOps）的重要支撑技术.当前互联网开源社区中存在数量众多CMT脚本制品,但是缺乏有效的层次分类管理,给快速检索和高效利用CMT脚本制品造成困难.针对该问题,提出一种面向CMT制品的基于在线非结构化描述文档分析的层次分类方法.该方法利用标签共现性关系（tag co-occurrence）建立层次类别体系,基于描述属性特征,实现对CMT制品的层次分类器;并使用混合的样本划分方式针对“数据倾斜”问题进行了改进.对超过11000例训练数据和1000例测试数据进行实验,结果表明,改进的样本划分方式得到的最佳查准率、查全率、调和平均值分别达到0.81、0.88、0.85,较传统方式查全率提高0.15,调和平均值提高0.06,该结果验证了层次分类方法的有效性.     

基于混合搜索的含逻辑“与”“或”的RM优化算法

相对于标准约束优化问题,广义约束优化问题（或称析取优化问题）的等式或不等式约束条件中不仅包含逻辑“与”关系,还含有逻辑“或”关系.单调速率（RM）优化问题是广义约束优化问题的一个重要应用.目前RM优化问题已有的解法包括函数变换、混合整数规划、线性规划搜索等算法.随着任务数的增多,这些算法的求解时间较长.提出一种基于线性规划的深度广度混合搜索算法（LPHS）,将广义约束优化问题拆分成若干子问题,建立线性规划搜索树,合理选择搜索顺序,利用动态剪枝算法减小子问题的规模,最终求得最优解.实验结果表明,LPHS算法比其他方法有明显的效率提升.研究成果与计算机基础理论中的可满足性模理论的研究相结合,有助于提高可满足性模理论问题的求解效率,促进该理论在程序验证、符号执行等领域的进一步应用.     

基于Android平台的隐私泄漏静态检测工具的分析与比较

近年来,Android平台应用程序的隐私泄漏问题受到越来越多的关注。应用程序恶意获取用户隐私信息将会增加智能手机用户的隐私泄漏风险,针对该问题,国内外研究人员研究并提出了多种Android平台应用程序的隐私泄漏检测工具。对9种Android平台应用程序的隐私泄漏静态检测工具进行了分析与比较,总结了这些静态检测工具的检测对象、检测方法、能够检测的错误类型和检测效果,并为两种开源工具FlowDroid和IccTA设计了相关实验,以检验其性能及检测效果。针对50个下载的应用程序,FlowDroid成功检测出9个应用存在隐私泄漏,IccTA成功检测到7个组件间泄漏;针对12个自主设计的测试集,FlowDroid和IccTA都成功检测出其中涉及的多种隐私泄漏。     

基于深度学习的图像检索系统

基于内容的图像检索系统关键的技术是有效图像特征的获取和相似度匹配策略.在过去,基于内容的图像检索系统主要使用低级的可视化特征,无法得到满意的检索结果,所以尽管在基于内容的图像检索上花费了很大的努力,但是基于内容的图像检索依旧是计算机视觉领域中的一个挑战.在基于内容的图像检索系统中,存在的最大的问题是“语义鸿沟”,即机器从低级的可视化特征得到的相似性和人从高级的语义特征得到的相似性之间的不同.传统的基于内容的图像检索系统,只是在低级的可视化特征上学习图像的特征,无法有效的解决“语义鸿沟”.近些年,深度学习技术的快速发展给我们提供了希望.深度学习源于人工神经网络的研究,深度学习通过组合低级的特征形成更加抽象的高层表示属性类别或者特征,以发现数据的分布规律,这是其他算法无法实现的.受深度学习在计算机视觉、语音识别、自然语言处理、图像与视频分析、多媒体等诸多领域取得巨大成功的启发,本文将深度学习技术用于基于内容的图像检索,以解决基于内容的图像检索系统中的“语义鸿沟”问题.     

从UML到GSPN的转换和性能分析方法

UML模型一般不能直接进行性能分析,需要利用模型转换的方法将其转换成其他分析模型,比如排队论、随机进程代数或者随机Petri网等模型。利用Eclipse平台上的Papyrus建立3种类型的UML模型(用例图、部署图和活动图)来对系统进行建模,并利用MARTE规范添加一些性能相关的信息;然后利用ATL实现UML模型到广义随机Petri网(GSPN)模型的转换,并使用XStream将上一步得到的GSPN模型转换成分析工具所支持的格式;最后利用基于GSPN的性能分析方法进行系统性能分析。同时给出了一系列性能指标的计算方法,如利用率、吞吐量、平均等待请求的数目以及响应时间等,可以考察系统性能的多个方面,方便系统设计和开发人员对系统性能进行分析和优化。