基于模糊贝叶斯网络的软件过时淘汰影响研究

为对软件的过时淘汰进行科学决策,依据软件的固有特性,提出软件过时淘汰的理念并给出相关定义;分析软件过时淘汰机理,提出软件过时淘汰的主要影响属性,依据模糊贝叶斯网络和抽样分布的思想对主要影响属性进行模糊化处理,消除主观因素的影响并获得所有属性变量之间的条件互信息和最大权重有向树;推理模糊先验概率估计和条件概率估计,归纳参数学习方法。通过案例验证了模型的建立与推理方法,其结果表明该模型具有可信性和有效性。     

基于MediaPipe与机器学习模型融合的手势识别框架

文章提出了一种基于MediaPipe与机器学习模型融合的手势识别框架。首先，通过MediaPipe获取手部21个关键点；其次，使用数据集增强模块扩充数据集，根据角度信息和距离信息使用自动化特征构建模块生成特征并使用主成分分析进行降维；最后，使用机器学习模型在自主数据集进行训练和预测，通过验证发现支持向量机模型效果最好。     

自然语言数据驱动的智能化软件安全评估方法

软件安全性是衡量软件是否能够抵御恶意攻击的重要性质.在当前互联网环境下,黑客攻击无处不在,因而估计软件中可能含有的漏洞数量与类型,即对软件进行安全评估,变得十分必要.在实际中用户不仅需要对未发布、或者最新发布的软件实施安全性评估,对已发布软件也会有一定的安全评估需求,例如当用户需要从市场上互为竞争的多款软件中作出选择,就会希望能花费较低成本、较为客观地对这些软件进行第三方的评估与比较.本文提出了一种由自然语言数据驱动的智能化软件安全评估方法来满足这一要求,该方法基于待评估软件现有用户的使用经验信息来评估软件的安全性,它首先自适应地爬取用户在软件使用过程中对软件的自然语言评价数据,并利用深度学习方法与机器学习评估模型的双重训练来获得软件的安全性评估指标.由于本文的自适应爬虫能够在反馈中调整特征词,并结合搜索引擎来获得异构数据,因而可通过采集广泛的自然语言数据来进行安全评估.另外,使用一对多的机器翻译训练能有效解决将自然语言数据转换为语义编码的问题,使得用于安全评估的机器学习模型可以建立在自然语言的语义特征基础上.我们进一步在国际通用漏洞披露数据库（CVE）和美国国家漏洞数据库（NVD）上对本文方法进行了实验,结果表明,本文方法在评估软件漏洞数量,漏洞类型,以及漏洞严重程度等指标上十分有效.     

一种可用于数据和模型分享的模型链

机器学习开始在越来越多的行业中得到应用,但使用机器学习执行任务的软件一直受限于第三方软件商更新模型.文中基于区块链,将训练神经网络消耗的算力和区块链的工作量证明机制相结合,提出并实现了模型链.模型链作为一种可用于分享数据和机器学习模型的区块链,基于骨架网络训练神经网络模型,以全网节点匿名分享的数据作为训练模型的数据集,实现了不依赖第三方更新神经网络模型.模型链使用环签名来保护用户数据隐私,节点训练的模型使用统一的测试集评估,通过评估的模型将作为节点的工作量证明用于投票达成一致共识.文中提出了两种可行的激励机制,即物质奖励和模型奖励.对于潜在的威胁,如账本分析、脏数据攻击和欺骗投票,给出了相应的解决方案.实现了一个用于数字识别的模型链.实验结果表明,模型链中的模型可以适应实际场景下发生的用户变迁和数据变化.     

一种可用于数据和模型分享的模型链

机器学习开始在越来越多的行业中得到应用,但使用机器学习执行任务的软件一直受限于第三方软件商更新模型.文中基于区块链,将训练神经网络消耗的算力和区块链的工作量证明机制相结合,提出并实现了模型链.模型链作为一种可用于分享数据和机器学习模型的区块链,基于骨架网络训练神经网络模型,以全网节点匿名分享的数据作为训练模型的数据集,实现了不依赖第三方更新神经网络模型.模型链使用环签名来保护用户数据隐私,节点训练的模型使用统一的测试集评估,通过评估的模型将作为节点的工作量证明用于投票达成一致共识.文中提出了两种可行的激励机制,即物质奖励和模型奖励.对于潜在的威胁,如账本分析、脏数据攻击和欺骗投票,给出了相应的解决方案.实现了一个用于数字识别的模型链.实验结果表明,模型链中的模型可以适应实际场景下发生的用户变迁和数据变化.     

基于Spark的流程化机器学习分析方法

Spark通过使用内存分布数据集,更加适合负载数据挖掘与机器学习等需要大量迭代的工作.但是数据分析师直接使用Spark进行开发十分复杂,包括scala学习门槛高,代码优化与系统部署需要丰富的经验,同时代码的复用度低导致重复工作繁多.本文设计并实现了一种基于Spark的可视化流程式机器学习的方法,一方面设计组件模型来刻画机器学习的基本步骤,包括数据预处理、特征处理、模型训练及验证评估,另一方面提供可视化的流程建模工具,支持分析者设计机器学习流程,由工具自动翻译为Spark平台代码高效执行.本工具可以极大的提高Spark平台机器学习应用开发的效率.论文介绍了工具的方法理论和关键技术,并通过案例表明工具的有效性.     

基于大数据技术的变电站损耗分析研究

为了实现对变电站损耗中可降低比例的识别,本文提出了一种基于数据挖掘和半监督学习的变电站能效模型,并使用该模型对使用电能力采集系统所收集的海量变电站电力数据进行聚类处理和机器学习实现对变电站可降低损耗比例的识别.该模型首先使用K均值聚类算法对变电站的电能供需特征进行建模,随后基于一种半监督的机器学习以优化变电站损耗模型,...     

基于Python的数据可视化方法和系统实现

数据可视化分析能够让人们从纷繁复杂的数据中获取有价值的信息,同时,利用机器学习方法能让人们利用已有数据,科学、合理预测未知数据。基于Python的数据可视化方法和机器学习进行设计,运用数据清洗和可视化等技术,对预处理后的数据进行数据集划分、特征工程、预估器流程和模型评估,利用Scikit-learn机器学习库和LightGBM库分析房价,得到房价规律。     

基于众包标注的语文教材句子难易度评估研究

该文提出了一种基于成对比较的众包标注方法,该方法可以通过非专业人士的简单判断获取标准统一的句子难度标注结果。基于该方法,构建了基于语文教材的由18 411个句子组成的汉语句子难度语料库。面向单句绝对难度评估和句对相对难度评估两项基本的句子难易度评估任务,使用机器学习方法训练汉语句子难度评估模型,并进一步探讨了不同层面语言特征对模型性能的影响。实验结果显示,基于机器学习的分类模型可以有效预测句子的绝对难度和相对难度,最高准确率分别为63.37%和67.95%。语言特征可以帮助提升模型的性能,相比于词汇和句法层面的特征,加入汉字层面特征的模型在两项任务上的准确率最高。     

社交媒体文本数据的抑郁症检测研究综述

近年来,机器学习被逐渐运用到基于社交媒体文本数据的抑郁症检测中并凸显重要应用价值。为梳理其应用现状和发展方向,对用于抑郁症检测的社交媒体文本数据集、数据预处理和机器学习方法进行整理分类。在数据特征表示方面,对比分析了基础特征表示、静态词嵌入和语境词嵌入。全面分析了利用不同基础特征和不同算法类型的传统机器学习以及深度学习进行抑郁症检测的性能和特点。总结并建议未来在中文数据集的创建、模型的可解释性、基于隐喻的检测和轻量级预训练模型方面做进一步的探索。     

SVD-based quality metric for image and video using machine learning

We study the use of machine learning for visual quality evaluation with comprehensive singular value decomposition (SVD)-based visual features. In this paper, the two-stage process and the relevant work in the existing visual quality metrics are first introduced followed by an in-depth analysis of SVD for visual quality assessment. Singular values and vectors form the selected features for visual quality assessment. Machine learning is then used for the feature pooling process and demonstrated to be effective. This is to address the limitations of the existing pooling techniques, like simple summation, averaging, Minkowski summation, etc., which tend to be ad hoc. We advocate machine learning for feature pooling because it is more systematic and data driven. The experiments show that the proposed method outperforms the eight existing relevant schemes. Extensive analysis and cross validation are performed with ten publicly available databases (eight for images with a total of 4042 test images and two for video with a total of 228 videos). We use all publicly accessible software and databases in this study, as well as making our own software public, to facilitate comparison in future research.     

Human health big data evaluation based on FPGA processor and big data decision algorithm

At present, the development of health care industry is also very vigorous and prosperous, and has become one of the most widely developed industries in the world. Medical centers and service centers in various regions have begun to transform from medical model to health care model. This field programmable gate array has great advantages in this respect, and it is also one of the principles of patient-centered nursing. With the vigorous development of machine learning, its application scope is more and more extensive, and its application in medicine is also very common. People use machine learning to process big data in the medical field. In order to better manage patient data and realize patient-centered, we must analyze a large number of health data. The traditional management tools are not enough to support the analysis of modern data. Therefore, we should use advanced big data processing technology for relevant data processing, and use updated tools to meet the current medical needs. The signal processing based big data evaluation is to be done through FPGA. The proposed system contains three process these process are executed through the machine learning based. The first process preprocessing is used eliminate the noise of the image or irrelevant data avoided. The second process feature selection based decision tree technique used and then after the final process classification stage based machine learning technique is used to analysis of the big data accuracy level. FPGA based machine technique used to achieve the better result of the proposed system.     

An effective fault prediction model developed using an extreme learning machine with various kernel methods

System analysts often use software fault prediction models to identify fault-prone modules during the design phase of the software development life cycle. The models help predict faulty modules based on the software metrics that are input to the models. In this study, we consider 20 types of metrics to develop a model using an extreme learning machine associated with various kernel methods. We evaluate the effectiveness of the mode using a proposed framework based on the cost and efficiency in the testing phases. The evaluation process is carried out by considering case studies for 30 object-oriented software systems. Experimental results demonstrate that the application of a fault prediction model is suitable for projects with the percentage of faulty classes below a certain threshold, which depends on the efficiency of fault identification (low: 47.28%; median: 39.24%; high: 25.72%). We consider nine feature selection techniques to remove the irrelevant metrics and to select the best set of source code metrics for fault prediction.     

基于多核字典学习的软件缺陷预测

提出一种多核字典学习方法,用以对软件模块是否存在缺陷进行预测。用于软件缺陷预测的历史数据具有结构复杂、类不平衡的特点,用多个核函数构成的合成核将这些数据映射到一个高维特征空间,通过对多核字典基的选择,得到一个类别平衡的多核字典,用以对新的软件模块进行分类和预测,并判定其中是否存在缺陷。在NASA MDP数据集上的实验表明,与其他软件缺陷预测方法相比,多核字典学习方法能够针对软件缺陷历史数据结构复杂、类不平衡的特点,较好地解决软件缺陷预测问题。     

基于粗糙集和改进鲸鱼优化算法的特征选择方法

随着互联网和物联网技术的发展,数据的收集变得越发容易。但是,高维数据中包含了很多冗余和不相关的特征,直接使用会徒增模型的计算量,甚至会降低模型的表现性能,故很有必要对高维数据进行降维处理。特征选择可以通过减少特征维度来降低计算开销和去除冗余特征,以提高机器学习模型的性能,并保留了数据的原始特征,具有良好的可解释性。特征选择已经成为机器学习领域中重要的数据预处理步骤之一。粗糙集理论是一种可用于特征选择的有效方法,它可以通过去除冗余信息来保留原始特征的特性。然而,由于计算所有的特征子集组合的开销较大,传统的基于粗糙集的特征选择方法很难找到全局最优的特征子集。针对上述问题,文中提出了一种基于粗糙集和改进鲸鱼优化算法的特征选择方法。为避免鲸鱼算法陷入局部优化,文中提出了种群优化和扰动策略的改进鲸鱼算法。该算法首先随机初始化一系列特征子集,然后用基于粗糙集属性依赖度的目标函数来评价各子集的优劣,最后使用改进鲸鱼优化算法,通过不断迭代找到可接受的近似最优特征子集。在UCI数据集上的实验结果表明,当以支持向量机为评价所用的分类器时,文中提出的算法能找到具有较少信息损失的特征子集,且具有较高的分类精度。因此,所提算法在特征选择方面具有一定的优势。     

基于特征选择的网络入侵检测模型研究

为了有效从收集的恶意数据中选择特征去分析,保障网络系统的安全与稳定,需要进行网络入侵检测模型研究;但目前方法是采用遗传算法找出网络入侵的特征子集,再利用粒子群算法进行进一步选择,找出最优的特征子集,最后利用极限学习机对网络入侵进行分类,但该方法准确性较低;为此,提出一种基于特征选择的网络入侵检测模型研究方法;该方法首先以增强寻优性能为目标对网络入侵检测进行特征选择,结合分析出的特征选择利用特征属性的Fisher比构造出特征子集的评价函数,然后结合计算出的特征子集评价函数进行支持向量机完成对基于特征选择的网络入侵检测模型研究方法;仿真实验表明,利用支持向量机对网络入侵进行检测能有效地提高入侵检测的速度以及入侵检测的准确性。     

Multiple kernel ensemble learning for software defect prediction

Software defect prediction aims to predict the defect proneness of new software modules with the historical defect data so as to improve the quality of a software system. Software historical defect data has a complicated structure and a marked characteristic of class-imbalance; how to fully analyze and utilize the existing historical defect data and build more precise and effective classifiers has attracted considerable researchers’ interest from both academia and industry. Multiple kernel learning and ensemble learning are effective techniques in the field of machine learning. Multiple kernel learning can map the historical defect data to a higher-dimensional feature space and make them express better, and ensemble learning can use a series of weak classifiers to reduce the bias generated by the majority class and obtain better predictive performance. In this paper, we propose to use the multiple kernel learning to predict software defect. By using the characteristics of the metrics mined from the open source software, we get a multiple kernel classifier through ensemble learning method, which has the advantages of both multiple kernel learning and ensemble learning. We thus propose a multiple kernel ensemble learning (MKEL) approach for software defect classification and prediction. Considering the cost of risk in software defect prediction, we design a new sample weight vector updating strategy to reduce the cost of risk caused by misclassifying defective modules as non-defective ones. We employ the widely used NASA MDP datasets as test data to evaluate the performance of all compared methods; experimental results show that MKEL outperforms several representative state-of-the-art defect prediction methods.     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

On preprocessing data for financial credit risk evaluation

Financial credit-risk evaluation is among a class of problems known to be semi-structured, where not all variables that are used for decision-making are either known or captured without error. Machine learning has been successfully used for credit-evaluation decisions. However, blindly applying machine learning methods to financial credit risk evaluation data with minimal knowledge of data may not always lead to expected results. We present and evaluate some data and methodological considerations that are taken into account when using machine learning methods for these decisions. Specifically, we consider the effects of preprocessing of credit-risk evaluation data used as input for machine learning methods.