基于马尔科夫决策过程的多传感器协同检测与跟踪调度方法

针对多任务场景下的传感器调度问题,该文提出一种面向目标协同检测与跟踪的多传感器调度方法。首先,该方法基于部分可观马尔科夫决策过程(POMDP)构建传感器调度模型,并基于后验克拉美-罗下界(PCRLB)设计优化目标函数。其次,考虑传感器切换时间和目标数目的时变性,采用随机分布粒子计算新生目标的检测概率,给出了固定目标数目和时变目标数目情形下的传感器调度方法。最后,为满足在线调度的实时性需求,采用自适应多种群协同差分进化(AMCDE)算法求解传感器调度方案。仿真结果表明,该方法能够有效应对多任务场景,实现多传感器资源的合理调度。     

CVANET中基于POMDP模型的频谱接入算法

针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通过仿真研究影响认知车辆用户吞吐量的主要因素,并验证算法的可行性。仿真分析结果表明,认知车辆用户通过本算法接入吞吐量得到有效提高,降低了交通中广播风暴的可能,并且降低了计算量。     

面向智慧园区的WSN路由优化算法

为解决智慧园区中无线传感器网络(WSN)的能耗不均衡问题,构建了路由代价函数,并提出了一种新的能耗均衡路由算法.该算法结合智慧园区中无线传感器网络的特点,综合考虑节点地理位置和剩余能量来构建路由代价函数.传感器节点通过选择其邻居节点中路由代价最小的节点进行数据转发.仿真结果表明,该算法可以有效节约网络能耗,同时延长了网络的生命周期.     

基于格拉布斯准则和改进粒子滤波算法的水下传感网目标跟踪

水下无线传感网络(UWSN)执行目标跟踪时,因为各个传感器节点测量值对目标状态估计的贡献不一样以及节点能量有限,所以探索一种好的节点融合权重方法和节点规划机制能够获得更好的跟踪性能。针对上述问题,该文提出一种基于Grubbs准则和互信息熵加权融合的分布式粒子滤波(PF)目标跟踪算法(GMIEW)。首先利用Grubbs准则对传感器节点所获得的信息进行分析检验,去除干扰信息和错误信息。其次,在粒子滤波的重要性权值计算的过程中,引入动态加权因子,采用传感器节点的测量值与目标状态之间的互信息熵,来反映传感器节点提供的目标信息量,从而获得各个节点相应的加权因子。最后,采用3维场景下的簇-树型网络拓扑结构,跟踪监测区域内的目标。实验结果显示,该算法可有效提高水下传感器网络测量数据对目标跟踪预测的准确度,降低跟踪误差。     

无线传感器网络中一种能源有效的移动对象跟踪方法

提出了一个能源有效的对象跟踪方法(EETA,energy efficient tracking algorithm),引入了事件驱动的睡眠调度机制,保证实时跟踪的同时最大限度地降低网络能量消耗.将对象运动轨迹模型转化为感知节点状态判定问题,使分布式对象位置预测算法的计算复杂性降低到O(N).同时采用改进的加权质心算法在D(N)时间内计算跟踪对象的精确位置.在64个传感器节点上实现了该系统,结果表明EETA方法可以有效节省系统能量,同时保证分布式跟踪系统实时性、高精度及低计算复杂性的要求.     

一种基于异步传感器网络的空间目标分布式跟踪方法

为解决传感器网络在空间目标分布式跟踪过程中的异步采样及通信延迟问题,该文提出一种异步分布式信息滤波算法(ADIF)。首先,局部传感器与相邻节点之间以一定的拓扑结构传递带采样时标的局部状态信息和量测信息,然后将收到的异步信息按时间排序,使用ADIF算法进行计算,分别对目标状态进行估计。该方法实现简单,传感器间通信的次数少,支持网络拓扑的实时变化,适用于空间目标监测中的多目标跟踪问题。该文分别对空间单目标、多目标跟踪进行了仿真,结果表明算法可以有效解决异步传感器滤波问题,分布式滤波精度一致逼近于集中式结果。     

水下无线传感器网络目标跟踪低复杂度节点行径策略

针对水下无线传感器网络节点选择“组合爆炸冶的问题,研究了低计算复杂度节点选择问题。首先,在量化量测的条件下推导了后验克拉美罗下界(PCRLB)与节点位置的关系,为节点选择提供了准则;然后,将GBFOS 算法、贪心算法和随机算法与推导的PCRLB 相结合,设计了低计算复杂度的节点选择策略。实验结果表明,GBFOS 算法和贪心算法可以在保持跟踪性能不退化的情况下,大幅度降低计算复杂度,非常适合解决密集水下网络节点选择问题。此外,还将GBFOS 算法应用到非理想信道条件下节点选择问题,实验结果显示考虑非理想信道的影响可以大幅提高跟踪性能。     

无线传感器网络中用于目标跟踪的节点规划算法

利用无线传感器网络进行目标跟踪时,由于各传感器节点的能量有限,数据蕴含的有效信息又各不相同,因此有必要规划参与目标跟踪的节点集和参与方式,以降低系统开销。本文提出了一种新的基于领导节点的节点规划算法,综合考虑收集数据和领导节点迁移过程中的通信开销,以最大化目标跟踪的性能。求解中以跟踪过程中的误差矩阵作为目标度量,采用高斯-赛德尔（Gauss-Seidel）和凸松弛等方法,使得复杂的带约束优化问题能够在接近O（N3）的时间复杂度内得到求解。仿真结果表明,与对比算法相比,本算法在相同的通信能量约束下能够达到更好的跟踪性能。     

基于多层卷积特征的自适应决策融合目标跟踪算法

针对目标快速运动、遮挡等复杂视频场景中目标跟踪鲁棒性差和跟踪精度低的问题,该文提出一种基于多层卷积特征的自适应决策融合目标跟踪算法(ASFTT)。首先提取卷积神经网络(CNN)中帧图像的多层卷积特征,避免网络单层特征表征目标信息不全面的缺陷,增强算法的泛化能力;使用多层特征计算帧图像相关性响应,提高算法的跟踪精度;最后该文使用自适应决策融合算法将所有响应中目标位置决策动态融合以定位目标,融合算法综合考虑生成响应的各跟踪器的历史决策信息和当前决策信息,以保证算法的鲁棒性。采用标准数据集OTB2013对该文算法和6种当前主流跟踪算法进行了仿真对比,结果表明该文算法具有更加优秀的跟踪性能。     

基于半马尔科夫决策过程的虚拟传感网络资源分配策略

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资源分配策略。定义VSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成VSNR的时间,给出奖赏函数的表达式,并使用免模型强化学习算法求解特定状态下的行为,从而最大化网络资源提供者的长期收益。数值结果表明,该文的资源分配策略能有效提高传感网资源提供者的收益。     

Structured Threshold Policies for Dynamic Sensor Scheduling—A Partially Observed Markov Decision Process Approach

We consider the optimal sensor scheduling problem formulated as a partially observed Markov decision process (POMDP). Due to operational constraints, at each time instant, the scheduler can dynamically select one out of a finite number of sensors and record a noisy measurement of an underlying Markov chain. The aim is to compute the optimal measurement scheduling policy, so as to minimize a cost function comprising of estimation errors and measurement costs. The formulation results in a nonstandard POMDP that is nonlinear in the information state. We give sufficient conditions on the cost function, dynamics of the Markov chain and observation probabilities so that the optimal scheduling policy has a threshold structure with respect to a monotone likelihood ratio (MLR) ordering. As a result, the computational complexity of implementing the optimal scheduling policy is inexpensive. We then present stochastic approximation algorithms for estimating the best linear MLR order threshold policy.     

多目标跟踪中基于目标威胁度评估的传感器控制方法

该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析。然后,基于粒子多目标滤波器估计多目标状态,依据多目标运动态势的评估研究建立多目标威胁水平,并从多目标分布特性中深入分析并提取出当前时刻最大威胁度目标的分布特性。最后,利用Rényi散度作为传感器控制的评价指标,以最大威胁度目标的信息增益最大化为准则进行最终控制方案的求解。仿真实验验证了该方法的实用性和有效性。     

异构网络中多无线电多信道环境下信道状态预测算法研究

该文针对异构网络环境未知性的特点,基于部分可测马尔科夫(POMDP)模型,结合认知无线电频谱侦测技术,提出了一种新的多无线电多信道环境下信道状态预测算法。该算法通过对信道状态历史信息的分析,推导出信道信念状态(belief state)的初始分布和转移概率,并以此选择出具有最佳回报的信道以供接入,从而达到提高信道利用率的目的。仿真结果表明算法性能要优于传统算法。     

认知无线Mesh网络中基于马氏决策模型的MAC协议

为解决认知无线Mesh网络中专用控制信道较难获得的问题,提出一种基于POMDP的机会式频谱接入MAC协议,在不需要中心控制器和专用控制信道的协调下,实现动态频谱感知和接入。仿真结果表明,基于POMDP的接入策略能够有效提高网络频谱利用率和吞吐量,性能最优,而基于贪心算法的接入策略,在降低计算复杂度的同时,获得了较好的性能,实用性较强。     

基于多目标MS-OSPA下界的分散式传感器选择

本文提出了一种分散式大规模多目标跟踪网络的传感器选择优化算法.该方法以多目标状态集和估计集间的均方最优子模式分配误差下界作为优化目标函数,根据加权Kullback-Leibler平均（Kullback-Leibler average,KLA）准则对局部多目标密度进行融合,最终采用坐标下降法来折中计算代价和跟踪精度.仿真实验在不同信噪比场景下验证了本方法的有效性.     

Two timescale convergent Q-learning for sleep-scheduling in wireless sensor networks

In this paper, we consider an intrusion detection application for Wireless Sensor Networks. We study the problem of scheduling the sleep times of the individual sensors, where the objective is to maximize the network lifetime while keeping the tracking error to a minimum. We formulate this problem as a partially-observable Markov decision process (POMDP) with continuous state-action spaces, in a manner similar to Fuemmeler and Veeravalli (IEEE Trans Signal Process 56(5), 2091–2101, 2008). However, unlike their formulation, we consider infinite horizon discounted and average cost objectives as performance criteria. For each criterion, we propose a convergent on-policy Q-learning algorithm that operates on two timescales, while employing function approximation. Feature-based representations and function approximation is necessary to handle the curse of dimensionality associated with the underlying POMDP. Our proposed algorithm incorporates a policy gradient update using a one-simulation simultaneous perturbation stochastic approximation estimate on the faster timescale, while the Q-value parameter (arising from a linear function approximation architecture for the Q-values) is updated in an on-policy temporal difference algorithm-like fashion on the slower timescale. The feature selection scheme employed in each of our algorithms manages the energy and tracking components in a manner that assists the search for the optimal sleep-scheduling policy. For the sake of comparison, in both discounted and average settings, we also develop a function approximation analogue of the Q-learning algorithm. This algorithm, unlike the two-timescale variant, does not possess theoretical convergence guarantees. Finally, we also adapt our algorithms to include a stochastic iterative estimation scheme for the intruder’s mobility model and this is useful in settings where the latter is not known. Our simulation results on a synthetic 2-dimensional network setting suggest that our algorithms result in better tracking accuracy at the cost of only a few additional sensors, in comparison to a recent prior work.     

基于部分可观马氏决策过程的多平台主被动传感器调度

为了使有限时域内的跟踪精度和辐射风险达到最佳平衡,本文研究了多传感器平台在协同跟踪目标时的主被动传感器调度问题.将该问题建立成基于部分可观马氏决策过程的数学模型以同步实现目标跟踪和辐射控制.在先见优化思想的基础上,借助由无迹采样近似得到的精度收益及由隐马氏模型滤波器推导出的辐射代价将调度问题转化成决策树问题,并采用分枝定界方法求解.仿真结果表明了该方法的有效性.     

非理想信道检测的认知无线电网络中能量感知频谱接入

Due to the problem of spectrum underutilization and energy inefficiency in wireless communications, the research on energy efficient Cognitive Radio Networks (CRNs) has received significant attention in both industry and academia. In this paper, we consider the problem of optimal spectrum selection and transmission parameters design with the objective of minimizing energy consumption in CRNs. Since the system state cannot be directly observed due to miss detections and estimation errors, we formulate the optimal spectrum access problem as a Partially Observable Markov Decision Process (POMDP). In particular, the proposed scheme selects the optimal spectrum, modulation and coding scheme, transmission power, and link layer frame size in each time slot according to the belief state, which captures all the history information of past actions and observations. The optimal policy can be acquired by solving POMDP problem with linear programming based algorithm. Simulation results show that significant energy savings can be achieved by the proposed scheme.