大数据流式计算：关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.     

面向隐私保护联邦学习的医学影像目标检测算法

联邦学习技术是一种新型多机构协同训练模型范式,广泛应用于多领域,其中模型参数隐私保护是一个关键问题.针对CT影像综合性病灶检测任务,提出隐私保护的联邦学习算法.首先部署松散耦合的客户端-服务器架构;其次在各客户端使用改进的RetinaNet检测器,引入上下文卷积和后向注意力机制;最后完成联邦训练.各客户端使用局部更新策略,采用自适应训练周期,局部目标函数中加入了限制项;服务器使用自适应梯度裁剪策略和高斯噪声差分隐私算法更新全局模型参数.在DeepLesion数据集上的消融分析说明了算法各部分的重要性.实验结果表明,改进的RetinaNet检测器有效地提升了多尺度病灶的检测精度.与集中数据训练模型范式相比,联邦学习所得模型性能略低(mAP分别为75.33％和72.80％),但训练用时缩短近38％,有效地实现了隐私保护、通信效率和模型性能的良好权衡.     

基于情节经验回放的深度确定性策略梯度方法

强化学习中的连续控制问题一直是近年来的研究热点.深度确定性策略梯度(Deep Deterministic Policy Gradients,DDPG)算法在连续控制任务中表现优异.DDPG算法利用经验回放机制训练网络模型,为了进一步提高经验回放机制在DDPG算法中的效率,将情节累积回报作为样本分类依据,提出一种基于情节经验回放的深度确定性策略梯度(Deep Determinis-tic Policy Gradient with Episode Experience Replay,EER-DDPG)方法.首先,将经验样本以情节为单位进行存储,根据情节累积回报大小使用两个经验缓冲池分类存储.然后,在网络模型训练阶段着重对累积回报较大的样本进行采样,以提升训练质量.在连续控制任务中对该方法进行实验验证,并与采取随机采样的DDPG方法、置信区域策略优化(Trust Region Policy Op-timization,TRPO)方法以及近端策略优化(Proximal Policy Optimization,PPO)方法进行比较.实验结果表明,EER-DDPG方法有更好的性能表现.     

同伴互评在计算机课程教学中的应用研究

为了进一步探讨并发挥同伴互评在计算机课程中的效果,提出双通道评价反馈机制、详细评分标准、有偿同伴互评和多粒度同伴互评4方面实施手段,以3门计算机课程为研究对象,总结2017-2019年的课程成绩,通过对比分析,验证基于同伴互评实施手段可以在多种课程中有效激发学生自主学习兴趣,提高学习质量.     

外部信息引导和残差置乱的场景图生成方法

场景图因其具有的表示视觉场景内容的语义和组织结构的特点,有助于视觉理解和可解释推理,成为计算机视觉研究热点之一.但由于现存的视觉场景中目标和目标之间关系标注的不平衡,导致现有的场景图生成方法受到数据集偏置影响.对场景图数据失衡问题进行研究,提出一种基于外部信息引导和残差置乱相结合的场景图生成方法(EGRES),缓解数据集偏置对场景图生成的负面影响.该方法利用外部知识库中无偏置的常识性知识规范场景图的语义空间,缓解数据集中关系数据分布不平衡的问题,以提高场景图生成的泛化能力;利用残差置乱方式对视觉特征和提取的常识性知识进行融合,规范场景图生成网络.在VG数据集上的对比实验和消融实验证明,提出的方法可以有效改善场景图生成.对于数据集中不同标签的对比实验证明,提出的方法可以改善绝大多数关系类别的生成性能,尤其是中低频关系类别下的场景图生成性能,极大地改善了数据标注失衡的问题,比现有的场景图生成方法具有更好的生成效果.     

WSNs中一种寻找最小工作节点集的覆盖算法

针对现有覆盖算法存在的很多冗余节点,提出了寻找最小工作节点集的覆盖算法.该算法分为两个阶段:第1阶段运行已有的覆盖算法;第2阶段运行节点替换算法,它用更少的节点替换更多的工作节点,如此循环迭代使工作节点数不断减少.仿真实验表明,该算法比其他覆盖算法能获得更多的休眠节点,使工作节点数减少10%左右,从而延长了网络生命周期.     

基于局部结构交互的RNA假结预测

基于RNA局部结构间的交互作用,提出一种含假结的RNA二级结构预测新方法LIFold。对给定的RNA序列,首先通过能量计算得到不含假结的能量最优结构,然后应用局部结构交互配对生成假结茎区,在已得到的最优结构基础上构建含假结的能量计算模型,最后通过优化算法得到含假结的RNA二级结构。应用该方法基于HotKnots测试数据的敏感性和阳性预测值(PPV)分别达到84%和80%,基于PseudoBase数据库测试数据的敏感性和阳性预测值分别达到78%和73%,与HotKnots、ILM、PknotsRG、IPknot及FlexStem等知名软件相比较,准确率均有所提高。     

一种微阵列数据降维新方法

提出一种二阶段并行基因选择方法(TPM),可以获得最优特征子集。针对以往算法易于陷入局部极值的不足,提出了一种模糊多种群粒子群(FMP),可以有效地扩展搜索空间。通过在leukemia、colon、breast cancer、lung carcinoma、brain cancer五个数据集上的测试,验证了本文方法不仅可以获得更优特征子集和更高的分类精度,而且可以选择尺寸更小的特征子集。本文的研究成果可为基因表达领域提供一种新的思路。     

多社区网络上的命名博弈

为了模仿人类对新物体认知和命名的过程,提出了一种新型的命名博弈模型,它通过词汇的权重表示个体的认知程度,低权重词汇被删除模拟个体有限记忆的过程.实验发现,在单社区网络上,所有个体的词汇最终能够统一,通过总词汇数、不同词汇数和平均协议成功率的分析解释了新个体命名的演化过程.衰减因子和删除阈值的取值对于演化速度影响较大,当它们之间存在线性关系时演化收敛较快.通过将该模型应用到多社区网络模型上,发现收敛词汇数可能不唯一,会与社区数相同,且收敛词汇数的稳定性与网络社区化强度和社区内节点的平均度有关,而与社区内节点数无关.最后,使用微分动力学的方法对这种情况进行了定量分析.     

概率最大受限路径相容算法

研究了可用于求解约束满足问题的最大受限路径相容算法(maxRPC).maxRPC算法执行过程中有大量无效的寻找路径相容证明(PC-witness)的操作,有效地识别和避免这些无效的寻找PC-witness的操作,可以提高maxRPC算法的求解效率.首先,提出了在一条约束上任意两个相容的值在任意路径上存在PC-witness的概率;然后,基于这一概率提出了一种概率最大受限路径相容算法(PmaxRPC),并将新算法成功应用于求解约束满足问题的回溯搜索.实验结果显示:PmaxRPC可以避免一部分无效的寻找PC-witness的操作,在求解约束满足问题时,PmaxRPC效率高于maxRPC.在某些测试用例上,PmaxRPC比maxRPC和最流行的弧相容算法效率更高.