智融标识网络基础研究

现有互联网因其原始设计不足已在服务质量、资源利用率、管控能力等诸多方面暴露出严重弊端，难以支撑起"互联网+"新业态高速发展对通信网络与服务日趋复杂化、多元化的需求.因此，如何设计全新的互联网已成为信息领域最为迫切与核心的研究内容之一，受到学术界与产业界的高度重视.本文基于前期"标识网络"与"智慧标识网络"研究，创造性提出"智融标识网络"体系及其关键机制，通过全网多空间、多维度资源的智慧融合，实现个性化服务的按需供给与灵活化组网的有效支撑，为不同行业与用户提供高效的差异化、定制化通信网络服务，以普遍适用于高铁网络、工业互联网、车联网等各类迥异应用情景.     

基于优势学习的深度Q网络

强化学习问题中，同一状态下不同动作所对应的状态-动作值存在差距过小的现象，Q-Learning算法采用MAX进行动作选择时会出现过估计问题，且结合了Q-Learning的深度Q网络（Deep Q Net）同样存在过估计问题。为了缓解深度Q网络中存在的过估计问题，提出一种基于优势学习的深度Q网络，通过优势学习的方法构造一个更正项，利用目标值网络对更正项进行建模，同时与深度Q网络的评估函数进行求和作为新的评估函数。当选择的动作是最优动作时，更正项为零，不对评估函数的值进行改动，当选择的动作不是最优动作时，更正项的值为负，降低了非最优动作的评估值。和传统的深度Q网络相比，基于优势学习的深度Q网络在Playing Atari 2600的控制问题breakout、seaquest、phoenix、amidar中取得了更高的平均奖赏值，在krull、seaquest中取得了更加稳定的策略。