基于优势学习的深度Q网络

强化学习问题中，同一状态下不同动作所对应的状态-动作值存在差距过小的现象，Q-Learning算法采用MAX进行动作选择时会出现过估计问题，且结合了Q-Learning的深度Q网络（Deep Q Net）同样存在过估计问题。为了缓解深度Q网络中存在的过估计问题，提出一种基于优势学习的深度Q网络，通过优势学习的方法构造一个更正项，利用目标值网络对更正项进行建模，同时与深度Q网络的评估函数进行求和作为新的评估函数。当选择的动作是最优动作时，更正项为零，不对评估函数的值进行改动，当选择的动作不是最优动作时，更正项的值为负，降低了非最优动作的评估值。和传统的深度Q网络相比，基于优势学习的深度Q网络在Playing Atari 2600的控制问题breakout、seaquest、phoenix、amidar中取得了更高的平均奖赏值，在krull、seaquest中取得了更加稳定的策略。     

GreyFan:一种Wi-Fi隐蔽信道攻击框架

针对现实网络中诸如侧信道攻击、HID 攻击等传统的物理攻击，物理隔离被认为是一种较为彻底的抵御网络攻击的安全防护手段。2018 年，业界首次提出了一种物理隔离环境下的 Wi-Fi 隐蔽信道方法——Ghost Tunnel，即在Wi-Fi尚未连接的状态下，无线AP可成功将数据传给发起连接请求的计算机。提出了一种基于Ghost Tunnel方法的攻击框架—— GreyFan，利用该攻击框架攻击者可以对未连接Wi-Fi的用户实施无感知攻击，如文件隐蔽传输、任意代码执行等，并分析了相应的防御技术。     

网络匿名扫描系统设计及优化

针对网络扫描工具在进行扫描时面临的溯源问题，提出了一种匿名网络扫描系统。首先将匿名系统与网络扫描工具结合以实现匿名扫描；然后在现有匿名系统的基础上实现了该系统的本地私有化；接着通过流量分析发现，Nmap的多进程扫描因为代理链的原因会变成单进程扫描而导致其扫描扫描性能较低；最后提出了一种基于多Namp进程并发的性能优化方案，将总体扫描任务分割为多个扫描任务，并分配给多个单独的Nmap进程并行运行。实验结果表明，该性能优化方案的扫描时延接近正常扫描情况下的时延，达到了提高匿名扫描系统性能的目的。因此，该优化后的网络匿名扫描系统在阻碍溯源的同时提升了扫描效率。