一种具有迁移学习能力的RBF-NN算法及其应用

经典的径向基人工神经网络学习能逼近任意函数,因而应用广泛。但其存在的一个重要缺陷是,在已标签样本过少、不能反映数据集整体分布情况下,容易产生过拟合现象,从而导致泛化性能严重下降。针对上述问题,探讨具有迁移学习能力的径向基人工神经网络学习算法,该算法在引入ε不敏感损失函数和结构风险项的同时,学习源领域径向基函数的中心向量及核宽和源领域模型参数,通过充分学习历史源领域知识来弥补当前领域因已标签样本少而导致泛化能力下降的不足。将该算法应用于人造数据集和真实发酵数据集进行验证,和传统的RBF神经网络算法相比,所提算法在已标签样本少而存在数据缺失的场景下,具有更好的适应性。     

离散线性一致性算法噪声问题研究

多智能体一致性问题在传感网、社交网、协同控制等诸多领域有着广泛的实际应用背景, 本文对离散线性一致性算法的噪声问题进行了研究, 证明了离散线性 一致性算法的噪声不可控性; 提出基于抑噪算子ε(t)的噪声控制策略, 指出当ε(t)为t-0.5的高阶无穷小时, 抑噪后的一致性算法噪声可控; 分析了抑噪算子对一致性 算法收敛性的影响, 证明了在无噪声条件下, 当抑噪算子ε(t为t-1的低阶无穷小时, 抑噪后的一致性算法依然可以使Agent收敛至原收敛状态x*.在上述结论基础上进一步指出, 当t→∞ 时, 若抑噪算子ε(t)的阶在t-0.5~t-1之间, 所有Agent 的状态将以原收敛状态x* 为中心呈正态分布. 最后, 以DHA 为例对相应理论结果进行了验证和讨论. 本文为线性一致性算法的噪声控制提供了理论依据, 对抑噪算s子的确定有较强的指导意义.     

高斯核选择的线性性质检测方法*

核选择直接影响核方法的性能.已有高斯核选择方法的计算复杂度为Ω(n²),阻碍大规模核方法的发展.文中提出高斯核选择的线性性质检测方法,不同于传统核选择方法,询问复杂度为O(ln(1/δ)/ ^{2),计算复杂度独立于样本规模.文中首先给出函数 线性水平的定义,证明可使用 线性水平近似度量一个函数与线性函数类之间的距离,并以此为基础提出高斯核选择的线性性质检测准则.然后应用该准则,在随机傅里叶特征空间中有效评价并选择高斯核.理论分析与实验表明,应用性质检测以实现高斯核选择的方法有效可行.}     

Block-Quantized Support Vector Ordinal Regression

Support vector ordinal regression (SVOR) is a recently proposed ordinal regression (OR) algorithm. Despite its theoretical and empirical success, the method has one major bottleneck, which is the high computational complexity. In this brief, we propose a both practical and theoretical guaranteed algorithm, block-quantized support vector ordinal regression (BQSVOR), where we approximate the kernel matrix K with [(K)tilde] that is composed of k ² constant blocks. We provide detailed theoretical justification on the approximation accuracy of BQSVOR. Moreover, we prove theoretically that the OR problem with the block-quantized kernel matrix [(K)tilde] could be solved by first separating the data samples in the training set into k clusters with kernel k-means and then performing SVOR on the k cluster representatives. Hence, the algorithm leads to an optimization problem that scales only with the number of clusters, instead of the data set size. Finally, experiments on several real-world data sets support the previous analysis and demonstrate that BQSVOR improves the speed of SVOR significantly with guaranteed accuracy.     

基于改进变精度粗糙集的漏洞威胁评估

变精度粗糙集理论能有效处理带噪声的数据,但其移植性较弱。针对这种情况,引入阈值参数α,提出了一种改进的变精度粗糙集漏洞威胁评估模型。首先,根据漏洞特征属性建立评估决策表;然后,使用k均值算法对连续属性进行离散化处理;接下来,通过多次计算,调整参数β和α的值,进行属性约简并提取概率决策规则,构造决策规则库;最后,将测试数据与规则库进行匹配,得到漏洞威胁评估结果。仿真实验表明,所提方法的评估正确率比改进前提高了19.66个百分点,并且移植性有所增强。     

Deep kernel learning in core vector machines

In machine learning literature, deep learning methods have been moving toward greater heights by giving due importance in both data representation and classification methods. The recently developed multilayered arc-cosine kernel leverages the possibilities of extending deep learning features into the kernel machines. Even though this kernel has been widely used in conjunction with support vector machines (SVM) on small-size datasets, it does not seem to be a feasible solution for the modern real-world applications that involve very large size datasets. There are lot of avenues where the scalability aspects of deep kernel machines in handling large dataset need to be evaluated. In machine learning literature, core vector machine (CVM) is being used as a scaling up mechanism for traditional SVMs. In CVM, the quadratic programming problem involved in SVM is reformulated as an equivalent minimum enclosing ball problem and then solved by using a subset of training sample (Core Set) obtained by a faster \((1+\epsilon )\) approximation algorithm. This paper explores the possibilities of using principles of core vector machines as a scaling up mechanism for deep support vector machine with arc-cosine kernel. Experiments on different datasets show that the proposed system gives high classification accuracy with reasonable training time compared to traditional core vector machines, deep support vector machines with arc-cosine kernel and deep convolutional neural network.     

多粒度粗糙集粒度约简的高效算法

针对已有多粒度粗糙集粒度约简算法效率较低的问题,提出一种多粒度粗糙集粒度约简的高效算法（EAGRMRS）。首先,以决策信息系统为对象,定义决策类下近似布尔矩阵,该矩阵能够将粒度约简过程中过多且有重复的集合运算转换为布尔运算,基于该矩阵给出计算决策类下近似算法和计算粒度重要度算法。然后,针对计算粒度重要度时存在冗余计算的问题,提出粒度动态增加时快速计算粒度重要度的算法,并在此基础上,提出EAGRMRS,该算法的时间复杂度为O（|A|·|U|²+|A|²·|U|）,其中|A|表示粒度集合大小,|U|表示决策信息系统中实例数。在UCI数据集上的实验结果验证了所提算法的有效性和高效性,并且随着数据集的增大,EAGRMRS相较于多粒度粗糙集粒度约简的启发式算法（HAGSS）效率优势更加明显。     

基于加权α优势关系的多属性决策排序方法*

α优势粗糙集模型利用简单平均法赋权多个阈值α的排序结果,忽视数据集本身信息,导致不同数据集的排序质量差异性较大.针对此问题,文中提出基于加权α优势关系的优势度排序方法.首先运用α优势粗糙集方法详细分析决策对象.在此基础上,为了克服α主观赋权导致多属性决策排序结果中“并列”决策现象存在的不足,依据排序结果采用2种准则赋权α,并融合2种准则下所有对象的综合优势度,进一步细化排序结果.最后在具体算例中对比分析其它排序方法,验证文中方法的可行性和有效性.     

考虑梯度信息的ε-支持向量回归机

传统的ε-支持向量回归机(ε-support vector regression, ε-SVR)只是根据样本点处的响应值来构建模型, 并没考虑样本点处的梯度信息. 如果样本点处的梯度信息容易获得或者获得的成本并不高, 那就应该将梯度信息应用到模型的构建中. 已有的基于梯度信息的 ε-支持向量回归机模型的构建是从泰勒展开的角度着手, 简单地将梯度信息插入到泰勒展开式中; 本研究另辟蹊径, 并没有去估计样本点邻域内的函数值, 而是将梯度信息作为第二类变量融入到核矩阵中直接构建优化模型, 使模型的构建更为简捷直观, 并据此得到一种新的基于梯度信息的 ε-支持向量回归机(Gradient-enhanced ε-support vector regression, GESVR) 模型. 所提模型通过了常用分析函数及精算领域中的生命表数据的验证, 实验表明, 与传统的 ε-SVR相比, 考虑梯度信息的GESVR模型显著地提高了其预测精度.     

空间众包中多类型任务的分配与调度方法

针对空间众包多类型任务完成的质量与数量问题,提出多类型任务的分配与调度方法。首先,在任务分配过程中,结合空间众包中多类型任务和用户的特点,对贪婪分配算法改进,提出基于距离ε值分配（ε-DA）算法;然后,将任务分配给附近的用户,以提高任务完成质量;其次,利用分支定界思想（BBS）,根据专业匹配分数的大小,对任务序列进行调度;最后,找到最佳的任务序列。针对分支定界思想的调度算法运行速度较慢的问题,提出最有前途分支启发式（MPBH）算法。通过MPBH算法,使得在每次任务分配过程中实现局部最优化,与分支定界思想的调度算法相比,在运行速度上提高了30%。实验结果表明,所提方法能够提高任务完成的质量以及数量,有效地提高了运行速度与精确性。     

基于Pareto分布的众包工人欺骗行为处理方法

由于众包的组织模式自由松散,致使众包工人在完成任务的过程中存在欺骗行为。如何识别工人的欺骗行为并降低其影响,从而保障众包任务的完成质量,已经成为众包领域的研究热点之一。通过对任务结果的评估与分析,针对众包工人统一型欺骗行为,提出了一种基于广义Pareto分布（GPD）的权重设置算法（WSABG）。该算法对GPD进行极大似然估计,并用二分法逼近似然函数的零点以计算出尺度参数σ和形状参数ε。算法中定义了新的权重公式,并利用众包工人完成当前任务的反馈数据赋予每位工人一个绝对影响权重,最终设计出了基于GPD的众包工人权重设置框架。所提算法可以解决任务结果数据之间差异性小且容易集中在两极的问题。以烟台大学学生评教数据为实验数据集,提出了区间转移矩阵的概念,证明了WSABG算法的有效性和优势。     

基于目标分解的高维多目标并行进化优化方法

高维多目标优化问题普遍存在且难以解决, 到目前为止, 尚缺乏有效解决该问题的进化优化方法. 本文提出一种基于目标分解的高维多目标并行进化优化方法, 首先, 将高维多目标优化问题分解为若干子优化问题, 每一子优化问题除了包含原优化问题的少数目标函数之外, 还具有由其他目标函数聚合成的一个目标函数, 以降低问题求解的难度; 其次, 采用多种群并行进化算法, 求解分解后的每一子优化问题, 并在求解过程中, 充分利用其他子种群的信息, 以提高Pareto非被占优解的选择压力; 最后, 基于各子种群的非被占优解形成外部保存集, 从而得到高维多目标优化问题的Pareto 最优解集. 性能分析表明, 本文提出的方法具有较小的计算复杂度. 将所提方法应用于多个基准优化问题, 并与NSGA-II、PPD-MOEA、ε-MOEA、HypE和MSOPS等方法比较, 实验结果表明, 所提方法能够产生收敛性、分布性, 以及延展性优越的Pareto最优解集.     

基于OPTICS聚类的差分隐私保护算法的改进

采用聚类算法预先处理个人隐私信息实现差分隐私保护,能够减少直接发布直方图数据带来的噪声累积现象,同时减小了直方图因合并方式不同带来的重构误差。针对DP-DBSCAN差分隐私算法存在对数据参数输入敏感问题,将基于密度聚类的OPTICS算法应用于差分隐私保护中,并提出改进的DP-OPTICS差分隐私保护算法,对稀疏型数据集进行压缩处理,对比采用同方差噪声和异方差噪声两种添加噪声方式,考虑攻击者能够攻破隐私信息的概率,确定隐私参数ε的上界,有效平衡了敏感信息的隐私性和数据的可用性之间的关系。将DP-OPTICS算法和基于OPTICS聚类的差分隐私保护算法、DP-DBSCAN算法进行对比,DP-OPTICS算法在时间消耗上介于其余二者之间,但是在取得相同参数的情况下,聚类的稳定性在三者中最好,因此改进后OP-OPTICS差分隐私保护算法总体上是可行的。     

基于自适应可达距离的密度峰值聚类算法

针对基于快速搜索和发现密度峰值的聚类（CFSFDP）算法中截断距离需要人工选取,以及最近邻分配带来的误差导致的在具有不同密度簇的复杂数据集上的聚类效果不佳的问题,提出了一种基于自适应可达距离的密度峰值聚类（ARD-DPC）算法。该算法利用非参数核密度估计方法计算点的局部密度,根据决策图选取聚类中心,并利用自适应可达距离分配数据点,从而得到最终的聚类结果。在4个合成数据集和6个UCI数据集上进行了仿真实验,将所提算法ARD-DPC与基于快速搜索和发现密度峰值的聚类（CFSFDP）、基于密度的噪声应用空间聚类（DBSCAN）、基于密度自适应距离的密度峰聚类（DADPC）算法进行了比较,实验结果表明,相比其他三种算法,ARD-DPC算法在7个数据集上的标准化互信息（NMI）、兰德指数（RI）和F1-measure取得了最大值,在2个数据集分别取得F1-measure和NMI的最大值,只对模糊度较高、聚类特征不明显的Pima数据集聚类效果不佳;同时,ARD-DPC算法在合成数据集上能准确地识别出聚类数目和具有复杂密度的簇。     

H.265/HEVC中基于R-λ模型码率控制的优化算法

在H.265/HEVC基于R-λ模型码率控制算法中,为了提高最大编码单元（LCU）的比特分配的效果以及参数（α、β）更新的精度,提出一种码率控制优化算法。该算法主要是利用当前最大编码单元原始比特进行比特分配,以及利用编码失真度对参数（α、β）更新。实验结果表明,在恒定比特率情况下,相对于HM13.0码率控制算法三分量峰值信噪比（PSNR）增益至少提高0.76 dB,编码传输比特每帧消耗比特至少降低0.46%,编码时间至少减少0.54%。     

A hybrid particle swarm optimization approach for clustering and classification of datasets

This paper introduces a new hybrid cluster validity method based on particle swarm optimization, for successfully solving one of the most popular clustering/classifying complex datasets problems. The proposed method for the solution of the clustering/classifying problem, designated as PSORS index method, combines a particle swarm optimization (PSO) algorithm, Rough Set (RS) theory and a modified form of the Huang index function. In contrast to the Huang index method which simply assigns a constant number of clusters to each attribute, this method could cluster the values of the individual attributes within the dataset and achieves both the optimal number of clusters and the optimal classification accuracy. The validity of the proposed approach is investigated by comparing the classification results obtained for a real-world dataset with those obtained by pseudo-supervised classification BPNN, decision-tree and Huang index methods. There is good evidence to show that the proposed PSORS index method not only has a superior clustering accomplishment than the considered methods, but also achieves better classification accuracy.     

基于R2指标的高维多目标差分进化推荐式课程系统

针对高等教育新形态下网络教学平台缺乏精准推荐选课问题,提出了一种基于高维多目标进化算法的课程引导、推荐式选课方法。首先为节省存储空间设计了多维事实数据仓库模型,并对课程、学生、教师、课程难度、课程推荐指数等数据仓库中的相关属性进行形式化定义以及规约处理;其次构建了基于R2的高维多目标差分进化（R2-MODE）算法的推荐式选课模型,算法改善了高维复杂空间中的搜索能力;最终实现对课程教师专业度、课程的专业相关度、课程难度系数、课程综合评价这4项性能的同时最优化。实验结果表明,所提算法与基于参考点的NSGA-Ⅲ相比,在收敛性上提高了50%,与基于支配关系的ε-MOEA相比,在分布性上提高了5%,所设计的方法在数据集的收敛性和分布性上整体效果最优。实验中,所提算法成功实现了根据学生个体的特征、意愿来进行的课程的精准推荐,为网络平台精准引导、推荐课程选择提供了必要的理论支持,为智能选课提供了一种新的方法。     

基于R2指标的高维多目标差分进化推荐式课程系统

针对高等教育新形态下网络教学平台缺乏精准推荐选课问题，提出了一种基于高维多目标进化算法的课程引导、推荐式选课方法。首先为节省存储空间设计了多维事实数据仓库模型，并对课程、学生、教师、课程难度、课程推荐指数等数据仓库中的相关属性进行形式化定义以及规约处理；其次构建了基于R2的高维多目标差分进化（R2-MODE）算法的推荐式选课模型，算法改善了高维复杂空间中的搜索能力；最终实现对课程教师专业度、课程的专业相关度、课程难度系数、课程综合评价这4项性能的同时最优化。实验结果表明，所提算法与基于参考点的NSGA-Ⅲ相比，在收敛性上提高了50%，与基于支配关系的ε-MOEA相比，在分布性上提高了5%，所设计的方法在数据集的收敛性和分布性上整体效果最优。实验中，所提算法成功实现了根据学生个体的特征、意愿来进行的课程的精准推荐，为网络平台精准引导、推荐课程选择提供了必要的理论支持，为智能选课提供了一种新的方法。     

基于内模法的PID控制器自整定算法

为解决传统工业控制中比例-积分-微分(PID)控制器参数整定的问题,提出了一种基于内模法(IMC)以及系统辨识的控制器参数确定算法。该方法首先利用被控过程在开环阶跃信号激励下,输入与暂态输出的对应关系,将被控对象辨识为一阶加滞后(FOPDT)或二阶加时滞(SOPDT)的模型;再利用IMC算法确定控制器的参数。对于在内模法中引入的滤波器参数λ的确定问题,提出通过引入γ和σ两个参数,并与输出误差的平方建立关系来确定λ 的方法。仿真显示,对于输出误差绝对值之和(IAE)这个指标,该种算法与传统基于IMC的PID控制算法相比,在无输入扰动时可提高20%左右,在有输入扰动时可提高10%左右。仿真结果表明:在用单位阶跃信号激励系统时,提出的整定方法在保证了系统鲁棒性的前提下,提高了系统的瞬态响应速度,并有效抑制了系统输出的超调。