基于Kalman预测和K-近邻的多目标跟踪

针对Kalman预测跟踪和K-近邻数据关联算法的优缺点,研究一种基于Kalman预测和K-近邻的多目标跟踪方法.该方法首先利用Kalman滤波预测出运动目标在下一帧中最可能出现的位置,接着根据当前帧目标位置和预测目标位置的距离,确定搜索半径,利用K-近邻数据关联算法,在该半径范围内,计算与预测点欧式距离最短的目标,并将其确定为真实目标位置.在MATLAB仿真环境下实现该跟踪算法,实验结果表明,用该方法进行多目标跟踪时,跟踪效果和性能较为稳定和可靠.此外选择合理的K值,能减少运算量,加快系统处理速度.     

改进的K-近邻算法在中文网页分类的应用

K-邻近算法作为一种比较简单,易于实现并且错误低的分类算法,广泛应用于网页分类、模式识别和数据挖掘等多个领域中.本文介绍了传统K-邻近算法并分析了该算法在网页相似度值的计算存在的不足,在此基础上,本文提出了基于类中心向量的K-近邻算法,通过理论分析和仿真实验结果证明了该算法对于中文网页分类具有较好的分类效果.     

基于主动诊断推荐的双层K-最近邻算法

在对传统K-最近邻算法改进的基础上,结合主动诊断推荐系统的特点,提出了双层K-最近邻算法,并以"我佳健康体检管理系统"为例,实现了客户诊断的快速推荐.     

基于HBase的输电线路综合数据存储方案设计

输电线路综合数据具有复杂性、体量巨大及多源异构等特点。针对当前关系数据库对于视频图像、图片等非结构化数据处理能力不足的问题,结合大数据的相关理论,提出基于Hadoop和HBase的输电线路综合数据的存储方案,将结构化数据和非结构化数据均转化为Bytes数组存入HBase数据库,并阐明具体的存储原理和工作方式,有效地解决了原有数据信息共享性差、非结构化数据难以存储等难题,弥补了关系数据库的不足,为大数据时代下智能电网的信息化建设提供思路。     

K-均值聚类算法的MapReduce模型实现

针对日益严峻的大数据处理时间长、执行速率低等问题,通过深入分析,提出了一种提高大规模数据聚类效率的方法。以K-均值聚类算法为原型,利用Map Reduce模型在大规模数据处理方面的优势,对原有算法进行并行化改进,设计出一种基于Hadoop分布式云平台的K-均值聚类Map Reduce模型。应用此模型,对淘宝用户仿真数据进行聚类试验,试验结果表明,对K-均值聚类算法的Map Reduce模型实现后,性能优于原算法性能,缩短了聚类时间,提高了聚类效率,特别适于对海量数据进行聚类处理。     

基于K-近邻域搜索的遗传算法求解旅行商问题

针对传统遗传算法在求解旅行商问题时存在容易陷入局部最优和运算时间较长的问题,着重考虑影响算法局部搜索能力和种群多样性保持两个方面的因素,提出改进策略.将交叉变异产生的新个体与父代种群合并后剔除重复个体,再选择优势个体作为新种群,防止种群中适应度值较低但具有优质基因的个体被剔除,促进种群多样性的发展;通过分析旅行商问题的内在特性,采用K-近邻域搜索的方式减少变异算子的无效操作,提高算法局部搜索能力及算法寻优效率.实验结果表明：与BLS算法相比,改进遗传算法的平均解误差降低了15.36%;相较于传统遗传算法,应用新型变异算子的改进遗传算法收敛速度明显提高.全精英选择法能较好地保持种群多样性,新型启发式变异算子在全局搜索的同时加强了局部搜索能力,对提高算法求解精度和寻优效率都有较好的效果.     

基于主动形状模型和K近邻算法的人脸脸型分类

针对人脸描述性脸型特征分类问题,提出一种新的基于主动形状模型和K近邻算法的脸型分类方法。根据主动形状模型方法定位得到的测试样本人脸边缘轮廓点,经归一化后以其围成区域面积作为人脸脸型特征。采用K近邻算法和面型指数实现测试图像的脸型分类。实验结果表明,该方法对人脸姿态变化有一定的鲁棒性,分类结果准确度高且脸型的分类符合人主观描述性判断。     

一种改进的K-近邻分类法

介绍现有K-近邻分类法的基本思想和研究现状,并针对此方法在分类各类数据集分布不平衡时容易造成分类精度低的问题作相应的改进。改进的K-近邻分类法中引入类代表度和样本代表度,使得K-近邻分类法在相似度计算时选出的近邻样本更能代表其所在类,从而减小误判率。实验证明改进方法有效。     

基于输入K-近邻的正则化路径上SVR贝叶斯组合

在ε-不敏感支持向量回归(ε-insensitive support vector regression, ε-SVR)正则化路径的基础上,提出基于输入K-近邻的三步式SVR模型组合方法。在整个样本集上进行训练,求得ε-SVR的正则化路径。由SVR正则化路径的分段线性性质确定初始模型集合,并应用平均贝叶斯信息准则(Bayesian Information Criterion, BIC)策略对初始模型集合进行修剪以获得候选模型集合。该修剪策略可减小候选模型集合的规模,提高模型组合的计算效率和预测性能。在预测或测试阶段,根据样本输入向量采用K-近邻法确定最终组合模型集合,并实现贝叶斯组合预测。证明了ε-SVR模型组合的L_ε-风险一致性,给出了SVR模型组合基于样本的合理性解释。试验结果验证了正则化路径上基于输入K-近邻的ε-SVR模型组合的有效性。     

一种高效的全局K-均值算法

针对全局K-均值算法时间复杂度大的问题,提出一种增量选择初始聚类中心的新方法。选择数据集中周围分布最密集的样本作为第一个初始聚类中心,选择最小化目标函数贡献大,并且和已有聚类中心距离远的样本作为下一个初始聚类中心。改进算法减少了增量选取初始聚类中心时的计算量,降低了时间复杂度。实验证明,改进算法与全局K-均值算法、快速全局K-均值算法相比,在不影响聚类效果的基础上,减少了聚类时间,与优化初始聚类中心的算法相比,聚类效果更优。     

基于Parameter Server框架的大数据挖掘优化算法

基于大数据挖掘的实时性要求和数据样本的多样性特征,提出一种面向大数据挖掘的机器学习模型训练优化算法。分析当前算法的迭代计算过程,根据模型向量的改变量将迭代过程分为粗调和微调两个阶段,并发现在微调阶段绝大部分样本对计算结果的影响极小,因此可以在微调阶段不计算此类样本的梯度而直接采用上次迭代的计算结果,从而减小计算量,提升计算效率。试验结果表明,算法在分布式集群环境下可以减小模型训练约35%的计算量,且训练得到的模型准确度在正常范围内,可有效提高大数据挖掘的实时性。     

基于大数据背景的市场调查研究

随着市场经济的繁荣，市场调查应运而生，市场调查是20世纪80年代兴起的一个新兴产业，经过多年的理论探索和调查实践经验沉淀，市场调查得到广大企业的青睐和认可。伴随着计算机信息技术的推广，人们由过去的实地进行定性定量调查，以纯粹依赖经验、理论的思维方式不断转向大数据时代下基于宏观数据的模式进行调查。文章主要探讨大数据背景下如何进行市场调查，对此提出一些见解。     

大数据系统和分析技术综述

针对作为各个行业信息化建设重要基础支撑的大数据在收集、存储、传输和使用过程中面临的诸多安全风险,分析了大数据在这些过程中面临的安全威胁. 综述了大数据相关系统平台和大数据应用中安全保障的关键技术及最新进展,包括用户访问控制、数据隔离、数据完整性、隐私保护、安全审计、高级持续性攻击(advanced persistent threat,APT)防范等,以应对云计算、物联网、移动互联等新技术的快速发展对大数据带来的安全挑战和更高的安全要求. 同时也对大数据的安全保障技术的发展趋势进行了展望.

     

基于Hadoop软件框架下海量数据集群处理的探究

现在的海量数据（Big Data）的处理,已经不再是以多少字节（Bit）或者多少兆字节（MBit）为单位了,而是达到千兆位（GB）或者是兆兆位（TB）,在如此庞大的数据信息量面前传统的网络数据处理方式（或者计算方式）,已经远远不能满足实际的需求了,此种情况下基于分布式系统框架结构的Hadoop软件框架应运而生了.     

基于大数据挖掘的终端感知与换机应用研究

通过对移动大数据的分析和挖掘,能够提升终端感知,并为用户换机推荐提供强有力的数据支持。基于早期终端营销存在的问题与不足,提出了基于大数据挖掘的终端感知与换机应用系统解决方案,具体包括基于聚类算法的隐性换机用户提取方法,基于神经网络的指标分析法,基于决策树的换机预测方法。     

H Base 下时态信息索引策略研究

针对海量非结构化时态信息存储与快速检索的需求,提出使用Hadoop 平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;设计了多级分布式哈希索引表算法（ tDHT）,实现对时态列族的时态属性值的高效、快速的检索。通过将时态属性值向二维空间映射,实现时态数据向空间对象的转化,采用对空间数据的处理方法对时态数据区域进行划分,生成多级时态数据子区域,利用分布式哈希表思想设计HBase存储的多级索引表目录。实验结果表明,该索引策略具有较高的性能,可以在一定程度上加快对HBase中时态信息的检索速度。     

大数据技术在移民搬迁信息化中的应用

运用大数据技术对陕南移民搬迁信息化系统中的数据进行管理、分析,简述大数据的基本特点与关键技术、数据采集技术、分布式存储技术、并行化处理技术和海量数据挖掘技术。根据信息化系统的体系框架,对大数据技术在陕南移民信息化系统中的应用进行探讨,分析大数据技术的应用价值,阐述政府在大数据技术上投入的重要性。     

分布式系统下大数据存储结构优化研究

在分布式系统中,数据的存储结构直接影响了大数据的存储效率和处理性能。在行式存储结构下,数据从本地读取,加载速度快,但压缩效率低且存在数据冗余;在列式存储结构下,数据压缩效率高,但数据的跨节点访问增加了网络传输消耗。针对行式存储结构和列式存储结构的缺点,提出一种以行列结合的存储方式,对数据存储结构进行改进。实验结果表明,改进的数据存储结构在加载速度上略低于行式存储;在数据压缩上,比行式存储和列式存储的效率都高。行列结合的存储结构不仅避免行式存储的额外磁盘I/O开销,同时也减少了列式存储不必要的网络传输,极大地提高分布式系统对大数据存储效率及处理性能。     

基于混合密码体制的大数据隐匿性特征安全提取技术

传统大数据隐匿性特征安全提取技术忽略了大数据密文的公钥及密钥封装,且大数据隐匿性特征类别混乱,导致该技术的提取精度偏低、冗余度较高.为此,本文提出一种基于混合密码体制的大数据隐匿性特征安全提取方法.通过混合密码体制中的公钥封装以及密钥封装机制生成大数据密文;根据密文内容设计对称加密方法和非对称加密方法,基于此分类隐匿性特征,利用不同类的隐匿性特征构建大数据隐秘性特征相空间,计算大数据间的关联维值,实现大数据隐匿特征的安全提取.实验结果表明,与传统方法相比,所提出的大数据隐匿特征提取方法冗余度低,大数据隐匿特征平均分类正确率高达95%,且特征安全提取误差低,验证了所提方法具有更好的应用性能.