大数据“理性”碰撞世界杯

2014年巴西世界杯以德国的夺冠而告终，之前一直被微软、谷歌、百度、高盛等互联网企业和研究机构看好的巴西队最终遗憾出局，只获得了第4名。在本次大赛中出镜率最高的当属大数据，无论是赛场外的各种预测，还是赛场内通过传感器和视频设备进行各项数据采集和分析，大数据预知冠军的说法曾风靡一时。而唯一在球队训练过程中就使用了SAP大数据解决方案的德国队最终获胜，更是给大数据添上一抹亮色。     

大数据,大预测

正大家都知道,微软在世界杯结束后炫耀了他们的预测结果:16场淘汰赛预测正确15场,准确率达93.75%。小组赛准确率为60%,48场成功预测29场。这是一个令人兴奋的成绩,也让不少人捶胸顿足,如果跟着Bing买足彩早就发家致富了,下次世界杯赌球了有指路明灯,那就是大数据!这是大数据时代的威力吗?笔者     

大数据与IT基础架构

有研究表明：人类70%的活动都是有规律可循的。大数据,可以让我们看到这种规律并预知未来,例如通过整理近期的气象情况和卫星云图,我们能够判断未来几天的天气状况。去年,央视两次携手百度分别打造“据说春运”与“据说春节”特别节目--“据说春运”携手百度地图,用大数据展现春节前后人口大迁徙的轨迹与特征;“据说春节”运用百度大数据来述说回娘家、恐婚族等春节长假期间的热门话题。可见,通过解读数据可以发现有趣的现象、挖掘以往被忽视的规律,还可以对人类的行为进行预测。     

从世界杯竞猜看大数据预测的有效性

世界杯终于落幕了,虽然本届世界杯没有章鱼帝,但大家对于预测的热情从来没有减少过。本届世界杯期间,决定用大数据这一热门技术来预测赛果的公司不少,高调参与的包括百度、微软、雅虎、谷歌、高盛、德意志银行以及彭博社等。这些玩家都算得上是业内的大腕儿。大腕儿们对于这个游戏怎么玩儿也都有自己的一套想法。也就是说,如何构建大数据分析的规则,是能否让自己在比赛前就成为“诸葛亮”的关键。我把他们大致分为几类：     

首届机器人世界杯足球赛及其意义

首届机器人世界杯足球赛于1997年8月25日～28日在日本名古屋举行。这次活动是由日本人工智能研究会发起和在国际人工智能学会的赞同下举办的,这次比赛有来自日本、美国、英国、法国、加拿大及澳大利亚等国的37支代表队,它们参加了三个项目的角逐。今后,国际人工智能学会将在每年一度的年会期间举办一场机器人足球赛。第二届机器人世界杯足球赛将于1998年在法国世界杯足球赛期间举行。     

基于大数据的信息系统资源利用率人工智能预测方法

数据丢失会影响资源利用率预测结果的全面性,为了提升资源利用率的预测准确率,提升预测效率,降低数据的丢失率,提出基于大数据的信息系统资源利用率人工智能预测方法。构建大数据平台,通过该平台对信息系统资源数据进行采集,得到资源数据集;运用区块链技术对采集得到的资源数据进行存储,通过区块链的形式存储数据能够避免数据丢失;通过决策树分类处理信息系统资源数据,根据分类结果对不同类型的资源数据利用率进行预测,有利于提升预测效率。实验结果表明：所提方法的预测结果准确率最高值达到了97%,数据丢失率始终低于2%,且预测效率更高,由此验证了该方法的预测效果。     

人工智能实验:图像的本地检测和云端识别

目前,中学阶段进行的人工智能教学采用的方式大多为采集数据,然后通过调用接口将数据上传到人工智能平台(如百度AI、讯飞等),再返回预测结果,或者调用已有的模型,进行结果预测。本实验将结合以上教学方式,运用Python代码进行中学人工智能教学的探索,进而引导学生体验人工智能的应用,了解人工智能基本原理,使用已有的人工智能平台和模型处理身边的问题。     

面向城市大数据的分布式并行获取方法研究

通过采取高效的分布式网络数据获取方法,结合大数据分析与人工智能技术,能够为传统行业建设与管理提供更加科学精准的分析与预测手段。以江苏省电力建设的投资成本预测为背景,基于主流python语言和分布式爬虫框架scrapy研究深层网络爬虫,根据深层网络结构设计爬虫策略并实现并行网络数据抓取系统,大规模获取江苏省各地市的GDP、人口数量、企业分类、社区建设、交通建设等宏观经济数据。通过自然语言处理和正则表达式等技术,对获取到的结构化和非结构化数据进行数据清洗和文本处理,最终实现数据的可视化展示。     

基于AI+IOT的智慧家居系统

利用人工智能技术和深度学习算法,设计开发了基于AI+IOT的智慧家居系统。基于百度提供的免费的语音识别云平台,该系统使用ZigBee网络,对家居环境数据进行采集、分析,并通过物联网技术和人工智能技术实现远程语音控制各种家电的功能。基于深度学习,系统通过百度语音识别技术对自然语言进行语音识别,通过搭建系统编译环境成功融合了AI技术和IOT技术实现了具有语音控制功能的智能家居系统,致力于为人们提供更加便捷智能的生活。     

安徽气象为农服务大数据平台设计与应用

从安徽省气象为农信息服务的个性化、精准化、智能化需求出发,采用Hadoop架构、自然语言处理、相关度分析、大数据可视化等大数据和人工智能相关技术,研发安徽省气象为农服务大数据平台。汇集安徽省多部门涉农数据资源,通过建立用户行为画像、网络服务热点的预测,开展精准化的服务产品相关性推荐服务,并跟踪评估信息服务产品的网络传播服务效果,指导后续关键农时农事建议和决策服务产品的研发与制作,同时建立气象为农服务大数据展示系统,探索实现气象为农信息服务从“人找信息”到“信息找人”的转变。该平台已在安徽气象为农业务服务中应用,提升了服务能力,具有较好的行业知名度和社会影响力。     

“我爱世界杯网络联盟”起航

2006年德国世界杯期间，央视国际联手新浪、搜狐、TOM、网易、腾讯、百度、华体网、宽带我世界、中华英才网等网站以及中国移动、中国联通等运营商组成“我爱世界杯网络联盟”。     

基于声纹识别技术精准打击电信网络诈骗犯罪研究

声纹具有独特的生物学特征且相对稳定，已被广泛应用于身份识别。大数据时代，依托人工智能和云计算的声纹识别技术是新形势下打击电信网络诈骗的有力武器。本文基于声纹识别技术研究设计反诈系统，为精准打击电信网络诈骗犯罪实战提供了新路径。     

“世界杯”你准备好了吗？

北京时间6月10日．2006年世界杯将在德国拉开帷幕。四年一度的足球盛宴．吸引了世界上数以亿计的球迷观看．而作为与之伴随的家电厂商也不可避免地加入到一场家电的世界杯中去。据统计．在2002年世界杯期间，家电的销量上涨近20%．而2004年欧洲杯更让其销量飚升了35％世界杯对家电消费的促进能力可见一斑，今年又一恰逢世界杯举行．各大家电厂商都希望能够借助这次世界杯的契机．将五一带来的家电采购潮延续下去．争取在家电“世界杯”中夺魁。同时．央视高满频道将首次以高清信号转播世界杯的消息无疑将更加刺激世界杯期间的家电市场。[编者按]     

基于重引力搜索链接预测和评分传播的大数据推荐系统

大数据推荐系统的搜索空间较大导致推荐的响应时间过长。为权衡大数据推荐系统的时间效率和推荐性能,提出一种基于重引力搜索链接预测和评分传播的大数据推荐系统。采用相对相似性指数度量用户的相似性,采用广义Meta Path模型建立相似图;引入社区信息来提高局部链接预测的准确率,从强社区提取优化的子图来实现局部链接的预测,通过重引力搜索对子图做优化处理,从而缩小搜索空间;设计基于传染病模型的网络传播策略,根据已有的模式探索隐藏的模式。基于公开数据集的实验结果表明,该算法有效地提高了推荐系统的准确率和覆盖率,并且响应时间在可接受的范围内。     

基于稳定信息的小数据学习方法

爆炸式增长的数据极大地推动了人工智能的进步与发展,在公共、国防安全领域得到了广泛应用,然而在这些安全攸关领域中存在分布特殊、以小概率出现的、具有动态不确定性的非完备小数据,难以利用传统的人工智能算法实现精准预测,从而出现被诱导、误判、偏见、分歧等与人类价值显著背离的潜在风险行为,引发针对智能算法模型应用的安全事件并造成灾难性后果。因此需针对这些小数据设计新型学习范式。本文首先梳理了小数据的概念并将其按照学习难度分为信息缺失、信息偏见、信息对抗三种情况,分析了其不满足常规人工智能算法的三种强假设条件,即独立、同分布、封闭世界假设。其次,系统提出基于稳定信息的小数据学习框架,介绍了稳定信息基于模型输入、模型模块、损失函数的嵌入方式,并给出形式化表达。随后,以因果干预及数理内嵌两种稳定信息为例,介绍了相应嵌入方式的小数据学习方法,并在轨迹预测任务上验证基于稳定信息的小数据学习的有效性。最后,给出未来展望。开展基于稳定信息的小数据学习方法研究,是小数据学习的实现途径之一,可有效缓解复杂环境下传统人工智能算法强假设不成立的学习困境,引导和支持人工智能算法的高效学习和精准预测,推动人工智能技术安全、可靠、可信发展。     

基于用户主题精确感知大数据群体计算任务分配算法

针对大数据任务中海量数据分析需求、复杂认知推理挑战和传统计算中随机分配任务算法的低效性以及互联网用户的虚拟性、不确定性等问题,提出了一种基于用户主题精准感知的迭代式任务分配算法。首先,通过基于自适应模糊聚类与主题提取模型相结合的方法提取已发布群体任务的主题,然后构建特定任务模型和用户模型计算各关联度,再利用已提交高质量答案的历史任务迭代地检测新用户的真实主题并计算初始准确率;其次,通过逻辑回归（LR）方法预测用户能参与到某类任务的可能性并得到参与用户候选序列,在充分了解用户真实主题和对应主题上的准确率以及用户诚信度的情况下进行精准分配。通过与随机算法在模拟实验中对准确率进行比较,实验结果表明所提算法准确率比随机算法高20个百分点以上,并随着训练数据量的增加而提高,在相似任务上的准确率更是接近100%。实验验证所提算法更精准、尤其适用于大数据环境,并一定程度上节约了随机算法需多次重复分配确保准确率的花销。     

基于复合分析算法的智能电表数据应用

随着智能电表使用的普及化，其带来的海量数据得到了广泛关注。对这些数据的分析可获得众多有价值的信息。用户用电量预测是泛在电力物联网建设的核心内容。利用智能电表海量数据实现用户用电量的精准预测，是智能电表数据的重要应用方向之一。提出了基于模糊聚类、子群发现和长短期记忆(LSTM)神经网络相结合的复合算法，利用海量智能电表数据实现了用户用电量精准预测。首先，通过模糊聚类将区域内用户按用电量进行合理分类。然后，采用Apriori子群发现算法深度挖掘各子类中影响用电量的关联性因素，将各子类的相似日关联性因素和历史用电量作为LSTM的训练数据完成神经网络的训练。最后，实现了目标日的用电量精准预测。算例分析表明，该算法有效、可行。与其他预测方法相比，该算法剔除了非关联因素的影响，预测精度明显提高，实现了智能电表海量数据的高效利用。     

基于深度学习的图像识别研究

本文从深度学习的历史发展进行分析,由此研究深度学习是如何促进对大量数据精准识别计算与预测准确率,从而能实现真正的图像智能识别。     

评百度开放“大数据引擎”

正4月24日百度正式宣布对外开放"大数据引擎",将开放云、数据工厂和百度大脑等核心大数据能力,向外界提供大数据存储、分析和挖掘技术。李彦宏表示:"百度开放自己的大数据核心能力,将更好地帮助传统行业挖掘数据价值,加快传统行业转型升级。"百度开放"大数据引擎",将成为推动分享型经济发展的重要一步。百度此举的意义,可能超过百度本身对此的认识。百度主观上是在做技术推动工作,客观上却可能引发一场产权变革。就"开放"本身来说,业界的一则评论已经     

手机百度启用拍照搜索功能

正百度图像搜索媒体开放日活动近日举行,来自百度深度学习实验室以及手机百度产品部门的相关负责人,详细介绍了手机百度拍照搜索背后的深度学习、人工智能等技术进展及趋势。据介绍,手机百度拍照搜索不仅能够准确识别物体,更能够根据用户所拍摄的物体精准推荐相关信息或服务。如用户拍包后,手机百度将会推荐同款包的购买链