首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 93 毫秒
1.
虽然深度神经网络模型的性能十分出色,但目前网络存在规模庞大、权重冗余度高的问题。同时,现有对网络权重剪枝的正则子估测偏差大。因此,本文提出无偏稀疏正则化的双策略结构神经网络压缩。首先,本文将神经网络所连接权重视为一组,提出采用估测值偏差小的非线性拉普拉斯函数,构建组间无偏结构稀疏正则子和组内无偏结构稀疏正则子,对冗余神经元和剩余神经元的冗余权重分别进行稀疏约束,构建无偏稀疏正则化的双策略结构神经网络压缩模型。其次,针对所设计的无偏稀疏正则化的网络压缩优化难题,本文采用近端算子技术获得无偏稀疏正则子的闭式解,进而设计基于近端梯度下降法的反向传播算法,实现神经网络准确的结构压缩。最后,通过在数据集MNIST、 FashionMNIST和Cifar-10进行实验验证,本文所提出的无偏稀疏正则子的双策略结构神经网络压缩不仅收敛速度快于目前主流正则子。而且在压缩率保持一致的情况下,相比已有的方法识别精度平均提升2.3%,在识别保持精度基本一致的情况下,相对已有方法平均提升11.5%的压缩率。  相似文献   

2.
逻辑回归已广泛应用于财务危机建模,但是一定程度存在过拟合问题.为了避免建模出现上述问题,提出了基于L1正则化逻辑回归的财务预警模型.该模型是一种稀疏模型,能同时实现变量选择和参数估计,具有较强的鲁棒性.同时,针对L1正则化逻辑回归问题的求解,提出了一种高效的基于内点法的求解算法.结合沪深股市A股制造业上市公司进行实证分析,分析结果表明,L1正则化逻辑回归模型在预报精度、经济解释性等方面明显优于其他逻辑回归模型,并且提出的内点法与其它求解算法相比具有一定的优越性.  相似文献   

3.
传统的图像去模糊方法易产生振铃和边缘模糊等"伪像"效应,针对这一问题,采用非光滑的正则项约束图像在稀疏字典下表示系数的稀疏性,并引入非负约束项,提出了图像的稀疏正则化去模糊模型。进一步,基于交替方向拉格朗日乘子算法,提出了求解该模型的多变量分裂迭代快速算法,将复杂问题求解转化为三个简单子问题的迭代求解,降低了模型求解的复杂性。实验结果表明,所提出的去模糊模型及其快速算法相对较好地保持了图像的结构特征和平滑性,并降低了计算复杂性。  相似文献   

4.
甘岚  张永焕 《计算机应用》2016,36(10):2895-2899
针对胃黏膜肿瘤细胞图像的高维性及复杂性的特点,为了提高稀疏表示图像识别的鲁棒性,提出了一种基于字典学习的正则化鲁棒稀疏表示(RRC)肿瘤细胞图像识别方法。该方法首先将所有的原始染色肿瘤细胞图像转化为灰度图像;然后利用具有Fisher判别约束的字典学习(FDDL)方法对肿瘤细胞图像训练样本的全局特征进行字典学习,得到具有类别标签的结构化字典;最后将具有判别性的新字典用于RRC模型进行分类识别。RRC模型是基于最大后验概率准则,将稀疏保真度表示为余项的最大后验概率函数,最终识别问题转化为求解正则化加权范数的优化逼近问题。将提出的识别方法应用于肿瘤细胞图像的最高识别率为92.4%,表明该方法能够有效地实现肿瘤细胞图像的分类。  相似文献   

5.
在Bayesian-MAP框架下,建立了针对Laplace噪声的稀疏性正则化图像去噪凸变分模型,模型采用L1范数作为数据保真项,非光滑的正则项约束图像在过完备字典下表示系数的稀疏性。进一步基于Peaceman-Rachford算子分裂算法,提出了数值求解该非光滑模型的多步迭代快速算法,通过引入保真项与稀疏性正则项的邻近算子,可将原问题转换为两个简单子问题的迭代求解,降低了计算复杂性。实验结果验证了模型与数值算法的有效性,本算法在摄像自动报靶系统中得到了应用。  相似文献   

6.
在大数据领域中预测高维稀疏矩阵中的缺失数据,通常采用随机梯度下降算法构造隐语义模型来对缺失数据进行预测。在随机梯度下降算法来求解模型的过程中经常加入正则化项来提高模型的性能,由于[L1]正则化项不可导,目前在隐语义模型中主要通过加入[L2]正则化项来构建隐语义模型(SGD_LF)。但因为[L1]正则化项能提高模型的稀疏性增强模型求解能力,因此提出一种基于[L1]和[L2]正则化约束的隐语义(SPGD_LF)模型。在通过构建目标函数时,同时引入[L1]和[L2]正则化项。由于目标函数满足利普希茨条件,并通过二阶的泰勒展开对目标函数进行逼近,构造出随机梯度下降的求解器,在随机梯度下降求解隐语义模型的过程中通过软阈值来处理[L1]正则化项所对应的边界优化问题。通过此优化方案,可以更好地表达目标矩阵中的已知数据在隐语义空间中的特征和对应的所属社区关系,提高了模型的泛化能力。通过在大型工业数据集上的实验表明,SPGD_LF模型的预测精度、稀疏性和收敛速度等性能都有显著提高。  相似文献   

7.
稀疏表示因其具有稀疏性、特征保持性等一些特点而被广泛应用于图像处理等领域,为解决图像处理中的去噪问题,提出一种基于图像特征稀疏表示的贝叶斯去噪模型.利用K-means和主成分分析方法计算已分割图像块对应字典的矩阵系数,采用正则化约束条件,迭代计算获取的图像字典与原始图像字典之间的差距,优化噪声图片稀疏特征表示的字典,直到达到优化条件.实验结果表明,与传统的离散余弦变换去噪模型相比,该模型的峰值信噪比较高,随着噪声的不断提高,与噪声图像峰值信噪比的差距也越来越大,且图像失真较少.  相似文献   

8.
当前基于稀疏表示的行人再识别都是通过松弛l0正则项为l1正则项以达到逼近l0范数稀疏性的目的.在满足有限等距性质(RIP)条件下,l1和l0具有等价性,然而在具有杂乱背景、物体遮挡等众多干扰因素的行人再识别任务中,却很难满足RIP条件.因此,文中提出混合l2/l1/2范数的组稀疏表示方法,通过将gallery集中同一行人图像序列视为一组,利用l2范数约束组内结构,l1/2范数约束组间结构,对遮挡和杂乱背景等干扰因素具有更高的鲁棒性.为了进一步增强模型的判别性,引入人体结构约束,将行人图像划分为若干近邻块区域,针对每一区域分别构造适应性的混合l2/l1/2范数的组稀疏模型,最终融合全部稀疏模型得出再识别结果.在当前具有挑战性的2个多行人图像序列数据集PRID 2011和iLIDS-VID上的实验验证文中方法的有效性.  相似文献   

9.
高光谱图像(Hyperspectral Image, HSI)在采集过程中会产生多种类型的噪声,噪声数量越多,HSI的有效信息就越少。为了更有效地从大量混合噪声中恢复HSI的有效消息,文中提出了一种基于群稀疏正则化的约束平滑秩近似HSI恢复方法。其中,群稀疏正则化被定义为基于加权?2,1范数的空谱全变分,该正则化在利用空谱维信息的同时也考虑到了HSI内部的群稀疏性,增强了模型对混合噪声的去除效果及空谱维的光滑性。此外,文中采用约束的平滑函数来近似秩函数,以更好地利用HSI的低秩属性并提高了算法效率。该优化问题采用基于交替方向乘子的迭代算法进行求解。两种加噪情况的模拟数据实验和一项基于真实数据的实验的结果表明,相比5种目前主流的方法,所提方法在目视效果和评价指标上都有明显提升。  相似文献   

10.
过完备图像稀疏表示是一种最新的图像表示模型,采用过完备字典中原子的线性组合形式实现图像的稀疏表示.传统的过完备图像稀疏表示模型采用重建误差的平方和作为保真项.该保真项没有充分考虑到人眼对图像的感知特性,无法度量图像中边缘、轮廓、纹理等局部几何结构的变化.本文基于过完备稀疏表示理论思想,建立了新的稀疏性正则化的图像稀疏表示模型.模型中的正则项约束图像表示系数的稀疏性,保真项采用更符合视觉感知的结构相似性度量.基于正交匹配追踪算法,提出了基于结构相似度的正交匹配追踪算法.实验结果表示,新的模型能够更好地重构图像的结构信息,获得更好的重建视觉效果.  相似文献   

11.
一种面向高维数据的均分式Lasso特征选择方法   总被引:1,自引:0,他引:1       下载免费PDF全文
Lasso是一种基于一范式的特征选择方法。与已有的特征选择方法相比较,Lasso不仅能够准确地选择出与类标签强相关的变量,同时还具有特征选择的稳定性,因而成为人们研究的一个热点。但是,Lasso方法与其他特征选择方法一样,在高维海量或高维小样本数据集的特征选择容易出现计算开销过大或过学习问题(过拟和)。为解决此问题,提出一种改进的Lasso方法:均分式Lasso方法。均分式Lasso方法将特征集均分成K份,对每份特征子集进行特征选择,将每份所选的特征进行合并,再进行一次特征选择。实验表明,均分式Lasso方法能够很好地对高维海量或高维小样本数据集进行特征选择,是一种有效的特征选择方法。  相似文献   

12.
Lasso方法与其他特征选择一样,对高维海量或高维小样本数据集的特征选择容易出现计算开销过大或过学习问题(过拟合).为解决此问题,提出一种改进的Lasso方法:迭代式Lasso方法.迭代式Lasso方法首先将特征集分成K份,对第一份特征子集进行特征提取,将所得特征加入第二份,再对第二份特征进行特征提取;然后将所得特征加入第三份,依次迭代下去,直到第K份,得到最终特征子集.实验表明,迭代式Lasso方法能够很好地对高维海量或高维小样本数据集进行特征选择,是一种有效的特征选择方法.目前,此方法已经很好地应用在高维海量和高维小样本数据的分类或预测模型中.  相似文献   

13.
The use of the multinomial logit model is typically restricted to applications with few predictors, because in high-dimensional settings maximum likelihood estimates tend to deteriorate. A sparsity-inducing penalty is proposed that accounts for the special structure of multinomial models by penalizing the parameters that are linked to one variable in a grouped way. It is devised to handle general multinomial logit models with a combination of global predictors and those that are specific to the response categories. A proximal gradient algorithm is used that efficiently computes stable estimates. Adaptive weights and a refitting procedure are incorporated to improve variable selection and predictive performance. The effectiveness of the proposed method is demonstrated by simulation studies and an application to the modeling of party choice of voters in Germany.  相似文献   

14.
In cancer classification based on gene expression data, it would be desirable to defer a decision for observations that are difficult to classify. For instance, an observation for which the conditional probability of being cancer is around 1/2 would preferably require more advanced tests rather than an immediate decision. This motivates the use of a classifier with a reject option that reports a warning in cases of observations that are difficult to classify. In this paper, we consider a problem of gene selection with a reject option. Typically, gene expression data comprise of expression levels of several thousands of candidate genes. In such cases, an effective gene selection procedure is necessary to provide a better understanding of the underlying biological system that generates data and to improve prediction performance. We propose a machine learning approach in which we apply the l1 penalty to the SVM with a reject option. This method is referred to as the l1 SVM with a reject option. We develop a novel optimization algorithm for this SVM, which is sufficiently fast and stable to analyze gene expression data. The proposed algorithm realizes an entire solution path with respect to the regularization parameter. Results of numerical studies show that, in comparison with the standard l1 SVM, the proposed method efficiently reduces prediction errors without hampering gene selectivity.  相似文献   

15.
针对人机协作时机器人极有可能与人发生碰撞所导致的安全问题,提出一种基于动力学模型、无需要外部传感器的机器人碰撞检测方案.首先,根据对机器人低速下的动力学特性分析,采用逐次动力学辨识,在对机器人重力及摩擦力使用最小二乘法辨识后,运用Lasso对复杂的残余力矩进行辨识以获得简化模型,避免了复杂符号推导.然后,针对模型的不确定性,根据优化设计运动状态相关的动态阈值来处理残差的异常峰值.最后,以轻型工业机械臂为实验平台,让机器人执行作业轨迹与人类发生碰撞以验证碰撞检测算法.实验结果证明了碰撞检测方法的可行性和简单性,其能够实现对机器人快速动力学辨识,并可以实现灵敏准确碰撞检测,保证人机协作时操作人员的安全.  相似文献   

16.
由于缺乏先验信息,组Lasso模型在训练时仅是基于组数参数对单元进行均匀、连续、固定的分组,缺乏分组依据,容易造成变量组结构的有偏估计。为此,提出特征聚类自适应变组稀疏自编码网络模型,在迭代过程中使用特征聚类法来改变隐层单元的分组,使得分组能够随着特征的收敛而自适应地发生改变,从而更好地实现变量组结构的估计。实验表明,该模型能够很好地捕捉训练过程中出现的组相关信息,并在一定程度上提高图像的分类识别率。  相似文献   

17.
随着首个在线旅游数据生态共建倡议书的发布,在线评论数据更加真实、准确地表达顾客的客观感受,成为商家和消费者情报的重要来源。结合LDA、TF-IDF算法获取不同类型酒店客户评论特征权值,采用AipNLP获得情感倾向性估计值。利用Lasso算法进行特征筛选构建基于Lasso-LDA的用户偏好模型,将该模型应用于携程网上五种类型用户的偏好分析中。研究结果表明,与传统的多元线性回归及岭回归相比,该模型有更好的预测效果。  相似文献   

18.
人脸配准是人脸识别、美化和面部表情分析等人脸相关应用的重要组成部分,这些应用通过人脸配准以精准定位人脸五官及面部轮廓特征点.在整脸形状回归的人脸配准框架基础上,使用Lasso回归来解决人脸配准问题,提出基于Lasso的整脸回归人脸配准算法.首先对人脸配准过程中的回归系数施加L1模惩罚,以在不牺牲效果的基础上减少模型大小;然后提出人脸变换比例调整方法,在回归过程中使用人脸变换比例对特征点位置进行调整,用于解决小规模样本条件下不同尺度样本相互干扰的问题.在相关数据集上的实验结果表明,该算法配准精确度高,可以达到实时的速度,且适用于不同姿态下的人脸配准问题.  相似文献   

19.
Ensemble pruning deals with the selection of base learners prior to combination in order to improve prediction accuracy and efficiency. In the ensemble literature, it has been pointed out that in order for an ensemble classifier to achieve higher prediction accuracy, it is critical for the ensemble classifier to consist of accurate classifiers which at the same time diverse as much as possible. In this paper, a novel ensemble pruning method, called PL-bagging, is proposed. In order to attain the balance between diversity and accuracy of base learners, PL-bagging employs positive Lasso to assign weights to base learners in the combination step. Simulation studies and theoretical investigation showed that PL-bagging filters out redundant base learners while it assigns higher weights to more accurate base learners. Such improved weighting scheme of PL-bagging further results in higher classification accuracy and the improvement becomes even more significant as the ensemble size increases. The performance of PL-bagging was compared with state-of-the-art ensemble pruning methods for aggregation of bootstrapped base learners using 22 real and 4 synthetic datasets. The results indicate that PL-bagging significantly outperforms state-of-the-art ensemble pruning methods such as Boosting-based pruning and Trimmed bagging.  相似文献   

20.
冯杰  屈志毅  李志辉 《软件》2013,(11):59-61
为挖掘不同人脸表情图像的统计特性差异,提出一种基于分类稀疏表示的表情识别算法。首先通过对不同类别表情图像的字典学习,构建满足各类表情图像统计特性的基函数子集,进而采用Lasso算法获得表情图像在由基函数集所张成特征子空间中的稀疏表示,最后通过比较表情图像在各基函数子集上的重构误差实现不同表情的分类识别。基于JAFFE人脸表情数据库的实验结果表明,该算法可以有效克服人脸身份对表情识别的影响,具有较高的表情识别率和鲁棒性。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号