刍议面向大数据分析的分布式文件系统关键技术

近几年来,我国互联网应用技术水平得到了提高,在这种发展背景下,当前互联网公司企业主要采用的技术手段为数据处理和分析能力,其中多样化和大规模是信息数据结构发展的主要特点,大量的存储数据成为了专业研究学者关注的重点课题。随着社会的逐步发展,现阶段分布式文件系统传统的性能内容已经不能够满足当前形势的需求,数据的扩展性以及一致性操作作为研究的基础,丰富关键数据内容,才能够保证失效的元数据服务器能够在第一时间得到恢复,并且建立相应的存储系统,本文对面向大数据分析的分布式文件系统关键技术内容进行了简要的研究。     

大数据所带来的数据安全问题

大数据是现在的研究热点,正在逐渐着改变着人们的生活,工作方式。但是目前在这方面存在着许许多多的数据安全问题。本文介绍了大数据的概念及其特征,浅析了目前实现大数据安全与隐私保护所面临的技术挑战,简介了该领域内的一些关键技术。     

Altera演示FPGA中高性能DDR4存储器数据速率

Altera公司在硅片中演示了DDR4存储器接口,其工作速率是2 666 Mbps。Altera的Arria 10FPGA和SoC能够支持这一速率DDR4存储器,存储器性能比前一代FPGA提高了43%。硬件设计人员现在可以使用最新的Quartus II软件v14.1,在Arria 10FPGA和SoC设计中实现2 666 Mbps DDR4存储器数据速率。视频演示表明,鲁棒的存储器接口能够工作在2 666 Mbps,并具有一     

大数据时代背景下的网络反恐情报工作

在大数据时代背景下,对网络反恐情报工作提出了更高要求。文中对在网络反恐情报工作中大数据所具有的重要作用进行了详细分析,并在此基础上,对大数据在网络反恐情报工作中的应用进行了深入探讨,旨在进一步提升大数据的应用水平,提高网络反恐情报工作效率。     

浅谈洗钱交易中的异常数据挖掘算法

洗钱交易中的异常数据挖掘算法也有好多种,但是每种算法都有自己的优点和缺点。通过洗钱交易中的数据交易信息进行分析比较,通过洗钱交易中后台数据切片分析,使用聚类分析法或核心树算法对采集的数据进行分析,最终将数据库中的数据划分成许多相似的子模块,最子模块中的数据相似度匹配,通过和标准数据进行比较最终判断出是否出现异常数据,从而判断出洗钱犯罪行为。     

海量不完整数据上基于维度组合的Skyline查询

随着互联网、物联网等信息技术的快速发展,多维数据日益增多,这些海量数据中往往伴随着大量的不完整数据,如何从海量不完整数据中高效地获取用户所需的近似的结果集是一个亟需解决的问题。针对海量高维的不完整数据集,提出了一种基于维度组合的Skyline查询算法,通过构建Rank List数据结构提高查询效率,并减少不完整数据对查询结果的影响;利用维度的不同组合,划分出查询子空间,并渐进地查询出每个子空间的最优先点,从而获得海量不完整数据集上均匀分布的Skyline点。实验结果表明,该算法与Iskyline算法相比,平均查询效率提高了85%,并且在数据量大、维度高时,较普通方法查询效率更高。     

基于签到数据的群体局部分散式旅游路线搜索

基于位置的社交网络产生了大量反映用户喜好及路线流行规律的数据,为旅游路线搜索提供了新的模式。现有的群体旅游路线搜索通过将多个用户的偏好进行聚合,之后利用个体推荐算法进行搜索。现实生活中存在群体整体上浏览一条线路时,个体用户可以根据需要选择局部不同景点进行访问的需求。基于此需求,提出了群体用户局部分散式旅游路线搜索问题。该问题结合群体用户的个人偏好,发现一条带有局部分散POI(point of interest)的且群体收益最大的访问路线。采用签到数据,通过用户在POI间的转移情况生成POI转移关系图,在关系图上进行路线搜索。为了提高搜索效率,根据POI的流行度与转移关系设计了双层转移关系图,对POI进行了概化,实现了分级查询。设计了基于分支限界搜索策略的优化算法,利用结点间的控制关系进行剪枝,进一步提高了算法的搜索效率。利用Gowalla和Foursquare社交网站真实的签到数据集进行了充分实验,对搜索出的路线收益及算法的运行效率进行了对比,验证了所提出方法的有效性。     

密度自适应的数据竞争聚类算法

针对现有数据竞争聚类算法在处理密度不均匀数据集时聚类效果不理想的问题,提出了一种密度自适应的数据竞争聚类算法。首先,定义了一种局部密度自适应线段;然后,根据局部密度自适应线段计算出密度自适应相似度,密度自适应相似度不仅反映了数据的整体空间分布信息,还反映了数据点的局部信息,更加符合数据的实际分布;最后,将密度自适应相似度用于数据竞争聚类算法中。在人工和真实数据集上的仿真实验结果表明,新算法比现有的数据竞争聚类算法在处理密度不均匀数据集时,具有更高的聚类性能。     

罗克韦尔为BHP Billiton提供历史信息系统解决方案

近日,罗克韦尔自动化和OSIsoft与全球最大的多元化矿业公司BHP Billiton达成协议,共同为该公司澳大利亚的铁矿石业务安装企业历史信息系统(生产信息平台)。项目目前处于设计阶段,安装预计于2016年年底前完成。该企业历史信息系统将采用罗克韦尔自动化的     

健康大数据研究热点与隐私保护

医疗健康领域急需从数据到知识再到行动,在已有的传统且严谨的学科框架基础上,加入大数据所带来的思潮变化,形成有意义、超前的研究成果。健康大数据研究拓宽了传统电子医学病历的数据范围,通过研究涵盖医药研发、医患支出、病人行为与情绪以及环境、经济、人口等多方面数据展开研究,该领域蕴藏着巨大的研究价值。健康将与信息技术结合越来越紧密,未来的医疗与健康服务模式将变为个体、应用终端、云端三位一体模式,实现移动健康与智慧健康服务。