Dynamic feature selection algorithm based on Q-learning mechanism

Feature selection is a technique to improve the classification accuracy of classifiers and a convenient data visualization method. As an incremental, task oriented, and model-free learning algorithm, Q-learning is suitable for feature selection, this study proposes a dynamic feature selection algorithm, which combines feature selection and Q-learning into a framework. First, the Q-learning is used to construct the discriminant functions for each class of the data. Next, the feature ranking is achieved according to the all discrimination functions vectors for each class of the data comprehensively, and the feature ranking is doing during the process of updating discriminant function vectors. Finally, experiments are designed to compare the performance of the proposed algorithm with four feature selection algorithms, the experimental results on the benchmark data set verify the effectiveness of the proposed algorithm, the classification performance of the proposed algorithm is better than the other feature selection algorithms, meanwhile the proposed algorithm also has good performance in removing the redundant features, and the experiments of the effect of learning rates on the our algorithm demonstrate that the selection of parameters in our algorithm is very simple.

     

基于蚁群算法和轮盘算法的多Agent Q学习

提出了一种新颖的基于Q-学习、蚁群算法和轮盘赌算法的多Agent强化学习。在强化学习算法中,当Agent数量增加到足够大时,就会出现动作空间灾难性问题,即：其学习速度骤然下降。另外,Agent是利用Q值来选择下一步动作的,因此,在学习早期,动作的选择严重束缚于高Q值。把蚁群算法、轮盘赌算法和强化学习三者结合起来,期望解决上述提出的问题。最后,对新算法的理论分析和实验结果都证明了改进的Q学习是可行的,并且可以有效地提高学习效率。     

基于拉普拉斯特征映射的启发式Q学习

在基于目标的强化学习任务中, 欧氏距离常作为启发式函数用于策略选择, 其用于状态空间在欧氏空间内不连续的任务效果不理想. 针对此问题, 引入流形学习中计算复杂度较低的拉普拉斯特征映射法, 提出一种基于谱图理论的启发式策略选择方法. 所提出的方法适用于状态空间在某个内在维数易于估计的流形上连续, 且相邻状态间的连接关系为无向图的任务. 格子世界的仿真结果验证了所提出方法的有效性.

     

基于Q学习的新闻图像检索方法

针对新闻图像检索的应用特点,提出了一种多反馈、合作型的图像检索方法。通过构造动态的Q表,保存图像的折算累计反馈;设计从探索型逐渐过渡到利用型的图像选择策略;在方差分析的基础上,设计了多反馈综合方法,全面地获取用户检索需求,从而构造了基于Q学习的相关反馈检索算法。实验结果表明了该算法是有效的,并具有更高的性能。     

基于一种新的属性选择标准的ID3改进算法

结合ID3算法的不足,提出一种基于属性重要度简化标准的ID3改进算法:a)简化ID3算法的信息熵从而降低算法的计算时间;b)引入属性重要度概念来弥补ID3算法属性选择标准的不足;c)综合a)和b)来实现新的属性选择标准即属性重要度简化标准。在开源的Weka数据挖掘软件环境下进行仿真实验,结果表明该改进算法是可行的,并且在算法的计算时间和准确度方面都优于ID3算法,尤其是在数据样本集规模达到一定数量时,效果更加明显。     

基于Q学习的异构网络选择新算法

针对异构网络中的多样业务需求,并且为了能够适应网络环境的动态变化,为每一个会话选择一个最合适的网络为其服务同时实现网络负载的均衡,以HSDPA和WiMax构成的异构网络为背景,基于Q学习算法,提出了一种异构网络环境下无线接入网络选择的新算法。该算法在进行网络选择时不仅考虑到网络的负载情况,还充分考虑了发起会话的业务属性、终端的移动性以及终端在网络中所处位置的不同。仿真结果表明该算法降低了系统阻塞率,提高了频谱效用,实现了网络选择的自主性。     

A discretization algorithm based on a heterogeneity criterion

Discretization, as a preprocessing step for data mining, is a process of converting the continuous attributes of a data set into discrete ones so that they can be treated as the nominal features by machine learning algorithms. Those various discretization methods, that use entropy-based criteria, form a large class of algorithm. However, as a measure of class homogeneity, entropy cannot always accurately reflect the degree of class homogeneity of an interval. Therefore, in this paper, we propose a new measure of class heterogeneity of intervals from the viewpoint of class probability itself. Based on the definition of heterogeneity, we present a new criterion to evaluate a discretization scheme and analyze its property theoretically. Also, a heuristic method is proposed to find the approximate optimal discretization scheme. Finally, our method is compared, in terms of predictive error rate and tree size, with Ent-MDLC, a representative entropy-based discretization method well-known for its good performance. Our method is shown to produce better results than those of Ent-MDLC, although the improvement is not significant. It can be a good alternative to entropy-based discretization methods.     

基于生成模型的Q-learning二分类算法

对于二分类问题,基于判别模型的分类器一般都是寻找一条最优判决边界,容易受到数据波动的影响。针对该问题提出一种基于生成模型的Q-learning二分类算法（BGQ-learning）,将状态和动作分开编码,得到对应各类的判决函数,增加了决策空间的灵活性,同时在求解参数时,采用最小二乘时序差分（TD）算法和半梯度下降法的组合优化方法,加速了参数的收敛速度。设计实验对比了BGQ-learning算法与三种经典分类器以及一种新颖的分类器的分类性能,在UCI数据库七个数据集上的测试结果表明,该算法有着优良的稳定性以及良好的分类精确度。     

基于量子理论及蚁群算法的多Agent Q学习

针对多Agent协作强化学习中存在的行为和状态维数灾问题,以及行为选择上存在多个均衡解,为了收敛到最佳均衡解需要搜索策略空间和协调策略选择问题,提出了一种新颖的基于量子理论和蚁群算法的多Agent协作学习算法。新算法首先借签了量子计算理论,将多Agent的行为和状态空间通过量子叠加态表示,利用量子纠缠态来协调策略选择,利用概率振幅进行动作探索,加快学习速度。其次,根据蚁群算法,提出“脚印”思想来间接增强Agent之间的交互。最后,对新算法的理论分析和实验结果都证明了改进的Q学习是可行的,并且可以有效地提高学习效率。     

基于博弈论及Q学习的多Agent协作追捕算法

多Agent协作追捕问题是多Agent协调与协作研究中的一个典型问题。针对具有学习能力的单逃跑者追捕问题，提出了一种基于博弈论及Q学习的多Agent协作追捕算法。首先,建立协作追捕团队，并构建协作追捕的博弈模型；其次,通过对逃跑者策略选择的学习，建立逃跑者有限的Step-T累积奖赏的运动轨迹，并把运动轨迹调整到追捕者的策略集中；最后,求解协作追捕博弈得到Nash均衡解，每个Agent执行均衡策略完成追捕任务。同时,针对在求解中可能存在多个均衡解的问题，加入了虚拟行动行为选择算法来选择最优的均衡策略。C#仿真实验表明，所提算法能够有效地解决障碍环境中单个具有学习能力的逃跑者的追捕问题，实验数据对比分析表明该算法在同等条件下的追捕效率要优于纯博弈或纯学习的追捕算法。     

基于新模糊准则与 DE算法的红外人体图像分割 *

人体目标的抽取是红外人体图像处理的基础 ,为了有效获取红外图像中的人体目标 ,提出了一种新的图像阈值化方法。首先在对模糊熵方法本质分析的基础上 ,通过参数变换定义了一种新的最小化模糊准则 ,然后将差分演化 ( differential evolution, DE)算法与新模糊准则相结合用于快速、有效地获取最佳阈值 ,最后在真实红外人体图像上与其他方法进行了对比实验。实验结果表明 ,所提出的方法不仅能得到理想的分割结果 ,而且 CPU耗时也较少 ,满足实时性处理要求。     

A new cluster isolation criterion based on dissimilarity increments

This paper addresses the problem of cluster defining criteria by proposing a model-based characterization of interpattern relationships. Taking a dissimilarity matrix between patterns as the basic measure for extracting group structure, dissimilarity increments between neighboring patterns within a cluster are analyzed. Empirical evidence suggests modeling the statistical distribution of these increments by an exponential density; we propose to use this statistical model, which characterizes context, to derive a new cluster isolation criterion. The integration of this criterion in a hierarchical agglomerative clustering framework produces a partitioning of the data, while exhibiting data interrelationships in terms of a dendrogram-type graph. The analysis of the criterion is undertaken through a set of examples, showing the versatility of the method in identifying clusters with arbitrary shape and size; the number of clusters is intrinsically found without requiring ad hoc specification of design parameters nor engaging in a computationally demanding optimization procedure.     

基于Q学习算法的X光主动视觉安检方法

针对主动视觉安检方法检测性能不高和检测速度慢的问题,基于Q学习（QL）算法提出了采用状态回溯的启发式Q学习（HASB-QL）算法进行最佳视角估计。该算法引入代价函数和启发函数,提高了学习效率,加快了Q学习收敛。首先,对通过安检扫描仪获取的X光图像进行单视角检测;然后,对姿势作出估计并通过在状态回溯过程中比较重复动作的选择策略获取最佳旋转角度,再次进行单视角检测,直到检测到危险品;此外,在检测过程中多于一个视角时,建立几何约束以消除误报。对GDXray数据集中的手枪和剃刀刀片的X光图像进行实验,实验结果表明,相比于以Q学习为基础的主动视觉算法,改进的主动视觉算法检测手枪所得精确率和召回率之间的加权平均值F₁值提高了9.60%,检测速度提高了12.45%;检测剃刀刀片所得的F₁值提高了2.51%,速度提高了17.39%。所提算法提高了危险品检测的性能和速度。     

基于案例推理和启发式Q学习的资源分配算法

针对集中式认知网络的信道和功率分配问题,提出了一种基于案例推理和启发式Q学习算法。为了提高Q学习算法的收敛速度,将当前分配问题与存储的历史案例进行相似度匹配,选取最相似案例的◢Q◣值,归一化处理后作为启发式Q学习算法的初值。为了提高启发式Q学习的算法性能,引入一个基于信息强度的指导函数,通过强调动作的重要性来改变动作策略;设计的奖赏函数反映了认知系统的能量效率。仿真结果表明,该算法可以明显提高认知网络信道和功率分配的认知系统能量效率和收敛速度。     

基于Q-learning的机会频谱接入信道选择算法

针对未知环境下机会频谱接入的信道选择问题进行研究。将智能控制中的Q-learning理论应用于信道选择问题, 建立次用户信道选择模型, 提出了一种基于Q-learning的信道选择算法。该算法通过不断与环境进行交互和学习, 引导次用户尽量选择累积回报最大的信道, 最大化次用户吞吐量。引入Boltzmann学习规则在信道探索与利用之间获得折中。仿真结果表明, 与随机选择算法相比, 该算法在不需要信道环境先验知识或预测模型下, 能够自适应地选择可用性较好的信道, 有效提高次用户吞吐量, 且收敛速度较快。     

基于禁忌搜索和Q-learning的CR-NOMA系统的功率分配算法

针对下一代移动通信对于高速率和大规模连接的需求,对认知无线电(CR)-非正交多址接入(NOMA)混合系统中通过优化功率分配来提升次用户总传输速率进行研究,提出一种基于禁忌搜索和Q-learning的功率分配(PATSQ)算法.首先,认知基站在系统环境中观测并学习用户的功率分配,次用户采用NOMA方式接入授权信道.其次,...     

基于聚类准则函数的改进K-means算法

K-means算法所使用的聚类准则函数是将数据集中各个簇的误差平方值直接相加而得到的,不能有效处理簇的密度不均且大小差异较大的数据集。为此,将K-means算法的聚类准则函数定义为加权的簇内标准差之和,权重为簇内数据对象数占总数目的比例。同时,调整了传统K-means算法将数据对象重新分配给簇的方法,采用一个数据对象到中心点的加权距离代替传统K-means算法中的距离,将数据对象分配给使加权距离最小的中心点所在的簇。实验结果表明,针对模拟数据集的聚类,改进K-means算法可以明显减少大而稀的簇中数据对象被错误地分配到相邻的小而密簇的可能性,改善了聚类的质量;针对UCI数据集的聚类,改进算法使得各个簇更为紧凑,从而验证了改进K-means算法的有效性。     

基于莱特准则的椭圆拟合优化算法

普遍使用的代数距离最小的最小二乘（LS）椭圆拟合算法简单、易实现,但对样本点无选择,导致拟合结果易受误差点影响,拟合不准确。针对此特性,提出了一种基于莱特准则的椭圆拟合优化算法。首先,由代数距离最小的LS法对待拟合曲线进行椭圆拟合;其次,将待拟合曲线上的点与LS法拟合的椭圆的代数距离作为样本点集,在验证该样本点集服从正态分布的情况下,采用莱特准则,将样本点中值大于|3σ|的点判定为野值并剔除,进行多次拟合,直至样本点中无野值;最后,得到椭圆最优拟合结果。仿真实验结果表明,优化算法的拟合误差在1.0%以下,相比同条件下的LS法,其拟合精度至少提高2个百分点。优化算法的仿真结果与其在香烟圆度在线检测中的实际应用验证了此算法的有效性。     

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

Reinforcement learning (RL) has been applied to many fields and applications, but there are still some dilemmas between exploration and exploitation strategy for action selection policy. The well-known areas of reinforcement learning are the Q-learning and the Sarsa algorithms, but they possess different characteristics. Generally speaking, the Sarsa algorithm has faster convergence characteristics, while the Q-learning algorithm has a better final performance. However, Sarsa algorithm is easily stuck in the local minimum and Q-learning needs longer time to learn. Most literatures investigated the action selection policy. Instead of studying an action selection strategy, this paper focuses on how to combine Q-learning with the Sarsa algorithm, and presents a new method, called backward Q-learning, which can be implemented in the Sarsa algorithm and Q-learning. The backward Q-learning algorithm directly tunes the Q-values, and then the Q-values will indirectly affect the action selection policy. Therefore, the proposed RL algorithms can enhance learning speed and improve final performance. Finally, three experimental results including cliff walk, mountain car, and cart–pole balancing control system are utilized to verify the feasibility and effectiveness of the proposed scheme. All the simulations illustrate that the backward Q-learning based RL algorithm outperforms the well-known Q-learning and the Sarsa algorithm.     

一种基于Fisher准则的有监督表情识别算法*

在分析LPP算法存在的不足后,提出了一种新的基于Fisher准则的有监督保局投影表情识别算法,即FSLPP。该算法通过可调因子有效地结合人脸局部流形的结构信息和样本的类别信息,对表情图像序列提取其Gabor特征后采用FSLPP算法获取低维表情特征序列,并由SVM分类器估算识别率。在JAFFE人脸表情库对该算法进行了测试,结果表明,与FLD、LPP等方法相比,该方法具有较好的识别率。