社会计算：大数据时代的机遇与挑战

信息技术的飞速发展,特别是物联网、云计算、社交网络、社会媒体以及信息获取技术的进步,数据正以巨大的速度迅速增长和积累,大数据时代已经到来.社会计算作为一种数据密集型科学,在收集和分析数据的广度、深度以及规模上都产生了巨大的影响,社会计算作为一种新的计算范式,产生了一个新的跨学科研究与应用领域,其广阔的研究内容与应用已引起了学术界和工业界的广泛关注.分析了社会计算产生的历史背景及概念、研究现状及大数据带来的机遇,综述了社会计算不同的研究领域,主要有2个发展趋势：一个面向社会科学,包括计算社会科学、计算社会学、社会网络分析等;一个面向技术应用,包括社交应用、娱乐应用、生产应用等,这2种发展趋势同时又相互影响.最后讨论了社会计算研究领域存在的挑战,包括跨学科合作与训练的问题、科学研究中大数据共享问题以及隐私保护.     

面向大数据的Storm框架研究与应用

大数据计算主要包括批量计算和实时计算,针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点,基于Storm并借助开源框架Flume、Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的形式进行计算,输出有价值的信息。最后对系统进行性能测试以及计算能力的测试。实验结果表明,该系统可扩展性良好,且并行计算能力稳定,适合大量实时数据处理。     

数据掘金

当业务数据被收集到遍布整个企业的数据仓库或数据集市、企业利用资源计划(ERP)应用和各种业务数据库中时,数据的利用潜能还未被完全开发。在这其中,业务智能软件帮助企业提高了察看和共享信息的能力,从而更快速地作出业务决策。5月上旬,业务智能软件(BI)厂商 Cognos 携其在华独家代理——北京优信佳信息系统公司在京向业界介绍了其不断发展的Cognos 业务智能解决方案。     

基于计算智能的基因表达数据聚类分析研究进展

基因表达数据聚类是发现基因功能和确立基因调控网络的重要方法,计算智能在该领域的应用为分析 大量基因数据提供了新途径．本文根据基因表达数据的特点,提出了基因表达数据聚类领域的关键问题,探讨了基 于计算智能的基因表达数据聚类基本框架,综述了计算智能在基因数据聚类领域的应用现状,最后指出了在基因数 据聚类领域计算智能方法未来的发展方向．     

基于数据驱动的云边智能协同综述

随着物联网（IoT）的快速发展，大量在传感器等边缘场景产生的数据需要传输至云节点处理，这带来了极大的传输成本和处理时延，而云边协同为这些问题提供了有效的解决方案。首先，在全面调查和分析云边协同发展过程的基础上，结合当前云边智能协同中的研究思路与进展，重点分析和讨论了云边架构中的数据采集与分析、计算迁移技术以及基于模型的智能优化技术；其次，分别从边缘端和云端深入分析了各种技术在云边智能协同中的作用及应用，并探讨了云边智能协同技术在现实中的应用场景；最后，指出了云边智能协同目前存在的挑战及未来的发展方向。     

大数据时代的个人隐私保护

人们普遍认为,计算技术能力的迅速增强导致数据处理的数量、种类和速度发生根本性和质的变化。现如今,人们生活在一个数据驱动的社会,在这个社会中,各种观察技术无处不在,从根本上改变了组织生活和人类价值。但大数据时代的到来也同样带来了一些问题,个人隐私保护就是近年来最受关注的一个问题。笔者在大数据背景下,对个人隐私保护问题进行了研究。     

pH精算及酸碱滴定曲线绘制通用软件的开发

以Microsoft.NET Framework为开发平台,使用面向对象的C#语言,开发pH计算及滴定曲线绘制的软件。该软件利用分布系数计算各种形态的平衡浓度,根据酸碱质子理论归纳出通用方程后,利用二分法求解氢离子浓度计算pH。软件收集了常见酸碱的离解常数,用户只要输入浓度后就可精算pH值、绘制酸碱滴定曲线,同时提供Excel数据输出、图像保存等功能。如果需要考虑活度,可根据德拜-休克尔公式计算活度系数,使用浓度常数代替活度常数,使所得pH更接近体系真实值。软件计算结果准确、界面友好、容易操作,可广泛应用于各种体系。     

基于大数据的可视化科技图谱系统设计

本文根据具体数据与具体应用要求,规划了一些图谱来完成技术大数据的可视化.文章设计和完成的科技图谱软件,把不同种类的科技资源、信息根据不同需求进行可视化,形成相关图谱,展现可视化结果为客户带来科学的交互功能. 如今社会每天日均会形成大量信息,其包括入人们生活的各个方面,人们也由此进到大数据时代.想要充分利用数据,必须要有...     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

如何用PASCALC编程解决实验数据繁琐问题

试验数据处理是一项烦琐而针对性很强的工作,每次试验后都要对试验数据进行科学计算处理,而且根据试验项目不同,处理的要求和参数也不相同。通常的做法就是针对处理要求,编写专用的数据处理程序,将原始数据读进来,然后进行计算,再将计算结果输出到结果文件中。这种程序的编写虽然简单,但是通用性差、重复工作量大。能不能开发一个通用的自动计算软件,用户只要输入计算公式,就自动完成文件的读入并实现快速的科学计算呢？     

对话上海数据交易所：不名一格探寻数据“石油”挖掘之路

<正>未来,一定会出现国家级、省市级、地市级等多层次的数据交易平台。具体而言,相对发达的省市会建立较大的交易平台,而其他省市则会聚焦细分领域,建设更具产业化、专业化的交易平台,最终在我国形成全方位、多层次的数据交易市场格局。如同凡尔纳笔下的潜水艇、飞机等一件件关于未来新事物预言的实现,我们也在见证一个新的世界从构想逐渐走进我们的生活。自古以来,数据就代表着事实、逻辑和智慧。早在2012年,英国数据科学家维克托·迈尔·舍恩伯格就在其代表作《大数据时代》中畅想：“未来,数据将会像土地、石油和资本一样,成为经济运行中的根本性资源。”如今,这一畅想俨然成为了现实。面对汹涌而来的数字智能浪潮,数据正不断扩展着边界,被赋予了新的内涵,而我们正在进入一个“数据不是一切,但一切都将变成数据”的时代。     

近年来大数据应用情况综述

大数据的概念,自出现之日起就不是单独存在的.它源自我们生活、工作和学习中产生的各种信息数据,然后随着大数据技术的发展,又将得到的大数据进行分析、处理后应用到现有的各类应用中,给当前的应用带来巨大的经济效益,给社会带来各方面的长足影响.因此,通过了解近年来各领域大数据应用的情况,可以将大数据应用的思路带到更多的领域,为大数据应用带来更加广阔的前景.     

我们身边的智能计算

智能计算是用于模拟、延伸和扩展人类智能的理论、方法和技术,是一门跨越多学科的深奥科学。提到智能计算,人们免不了会有一种神秘感。实际上智能计算技术已经被广泛应用,它正在我们身边悄悄地改变着我们的生活。     

跨越制造智能——对数据的进一步挖掘和分析

企业制造智能(EMI) 企业智造智能简称为制造智能(MI),是一个专用名词,即使用软件把公司制造相关的数据从多个源收集到一起,完成报告、分析、可视概要、企业级和工厂级系统数据传输的目的.由于数据的收集来自多个源,所以计算的结果能够体现一种新结构或新内容,从而引发新思考,能够帮助用户找到哪些地方需要忽略,哪些地方需要改进.制造智能的基本目的就是把大量的制造数据转换成实际有用的知识,并且通过这些知识优化业务流程,获得更多的收益.     

大数据时代的计算机网络安全及防范措施研究

大数据作为当下的一个新兴产物,随着社会的发展而逐渐发展,不知不觉已经和大家的生活密不可分,虽然给我们带来了一定的机遇,但挑战也随之而来.所谓有利必有弊,伴随着人们对大数据的深入探究,了解到大数据的价值体现,不得不将目光转向信息安全问题.近年来,个人信息惨遭各种泄露,黑客非法入侵,服务器不适配等问题接踵而来,人们的合法权...     

雾辅助智能电网中容错隐私保护数据聚合方案

针对雾辅助智能电网数据收集过程中存在的隐私泄露问题,本文提出一种新的支持容错的隐私保护数据聚合方案.首先,结合BGN同态加密算法和Shamir秘密共享方案确保电量数据的隐私性.同时,基于椭圆曲线离散对数困难问题构造高效的签名认证方法保证数据的完整性.特别地,方案具有两种容错措施,当部分智能电表数据无法正常发送或部分云服务器遭受攻击而无法工作时,方案仍然能够进行聚合统计.安全分析证明了方案满足智能电网的安全需求;性能实验表明,与已有方案相比,本文方案计算和通信性能更优.     

能源大数据智能监管系统设计

能源大数据量级的不断增加给能源大数据智能监管带来了极大的困难。为此提出能源大数据智能监管系统，搭建能源大数据架构单元，设计采集单元和访问接口单元，完成系统硬件设计。通过处理计算能源大数据信息，追踪控制能源数据源头，设计全景态势可视化呈现，实现能源大数据智能监管系统的软件运行。经实验证明系统能源大数据的压缩率高、数据态势预测误差小，具有一定应用性。     

大数据崛起与数据挖掘刍议

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命,对商业管理模式、企业决策、组织流程和个人的生活方式等都将会产生巨大的影响。随着大数据概念的提出,为数据挖掘技术的应用和发展也带来了很大的机遇,数据挖掘技术将会进入一个新的发展时期。"数据爆炸、知识贫乏"是信息时代所面临的一个严峻问题,而数据挖掘就是解决该问题的十分有效的手段。要是说以往的世纪是信息大爆炸或知识大爆炸的世纪,那么如今的世纪则是数据大爆炸的世纪。面对如此巨大的数据量,数据挖掘就显得尤为重要。此文主要论述了大数据及数据挖掘的概念和特点、大数据对人类日常生活的影响以及数据挖掘在大数据时代的应用领域。     

普及计算环境的设备灵活接入技术研究--基于OSGi的数字家庭解决方案

普及计算使人们能通过各类智能计算设备，随时随地获得各种所需的信息服务。作为普及计算的一个重要的应用领域，数字家庭将家庭内各种家电和设备联网，通过网络为人们提供丰富、个性化、方便、安全和高效的服务。而如何达到各种智能设备的灵活接入，成了实现此目标的一个关键问题。在和。SVA-IBM联合实验室合作iHome项目中，作者对此进行了深入的研究。本文提出了基于OSGi的数字家庭普及计算环境智能计算设备灵活接入解决方案，并实现了一个应用的系统，从而验证其可行性。     

如何管理模拟世界的大规模测量数据

正收集更多的数据已经不能让您脱引而出,更重要的是谁能够迅速分清所收集到的数据。在过去,硬件采样率由于受模数转换发生速度的限制,在物理上局限了采集数据的数量。而如今,硬件已不再是采集应用的限制因素。如何管理采集到的数据才是未来的挑战。计算技术的不断进步,包括了微处理器速度和硬盘驱动器存储容量的提高,加之软硬件成本的降低,引发了惊人速度的数据爆炸。特别是在测量应用中,工程师和科学家们每分每秒都能收集大量的数据。欧洲核子研究中心的大型强子对撞机的运行实验每秒钟能产生40TB的数据。而波音喷气发动机运行时,每隔30分钟系就统会创建10TB的操作信息(Gantz,2011)。这就是"大规模数据"。