基于样本效率优化的深度强化学习方法综述

深度强化学习将深度学习的表示能力和强化学习的决策能力结合,因在复杂控制任务中效果显著而掀起研究热潮.以是否用Bellman方程为基准,将无模型深度强化学习方法分为Q值函数方法和策略梯度方法,并从模型构建方式、优化历程和方法评估等方面对两类方法分别进行了介绍.针对深度强化学习方法中样本效率低的问题进行讨论,根据两类方法的模型特性,说明了Q值函数方法过高估计问题和策略梯度方法采样无偏性约束分别是两类方法样本效率受限的主要原因.从增强探索效率和提高样本利用率两个角度,根据近年来的研究热点和趋势归纳出各类可行的优化方法,分析相关方法的优势和仍存在的问题,并对比其适用范围和优化效果.最后提出增强样本效率优化方法的通用性、探究两类方法间优化机制的迁移和提高理论完备性作为未来的研究方向.     

可编辑且可追责的区块链方案

随着区块链所承载信息种类和应用场景的不断增加,出于信息监管、隐私保护、数据更新等方面的目的,需要对记录在区块链上的数据进行删除、更新等操作。针对这些需求,基于公开可验证秘密共享、零知识证明、变色龙哈希等技术,本文提出了一个可编辑且可追责的区块链方案。在本方案中,变色龙哈希函数将替换原始区块链中的哈希函数,由领导者将变色龙哈希的陷门密钥通过公开可验证秘密共享分发给多个用户,从而避免由某一方独自持有陷门密钥所带来的中心化问题。持有密钥份额的用户将验证网络中出现的编辑请求,并对编辑请求进行投票。当大多数用户同意进行编辑时,将通过哈希排序的方式在用户中选举出编辑者,编辑者将恢复出变色龙哈希密钥进而进行编辑。为了实现编辑过程的可追责性,全体用户都可以对编辑后的内容进行验证,监管方可以实现相关责任方的追责。本方案还通过零知识证明技术,实现了在密钥分发与验证追责阶段,可以验证密钥份额正确性。安全性分析表明方案满足陷门安全性、可编辑性、可追责性,且陷门子密钥分发时不需要经过秘密通道。仿真实验结果表明,在系统参数已经生成完毕的情况下,方案的运行时间均为毫秒量级。而参数生成算法仅执行一次,而且可以预先执行...     

可控、可追责的敏感数据共享方案

在大数据时代下,海量数据之间的共享是充分挖掘数据价值的前提.对涉及用户隐私的敏感数据,需要对其共享过程特别关注,而传统的数据共享方式存在数据流向不明确、难以追责等缺陷.针对这些问题,基于区块链提出了一种支持监管的敏感数据可控共享方案.通过使用动态累加器技术实现敏感数据的访问控制,数据拥有方可以灵活地授予或者撤销其他参与方对数据的访问权限,实现数据拥有方对数据的可控性.设置监管方对数据请求过程进行审核,监管方将为通过审核的数据请求方颁发监管凭证,只有拥有监管凭证且获得数据拥有方授权的数据请求方才能获得数据.为保护数据请求方的隐私,通过强指定验证者签名技术,使无关第三方无法获得数据请求方的身份信息.使用区块链技术记录数据的请求和响应情况,该记录只有监管方可以读取,从而实现了监管方对数据共享全流程的可监管性.安全性分析表明,方案满足数据请求方隐私性、数据拥有方可控性、可监管性,仿真实验验证了方案的可行性.