数据科学研究的现状与趋势

大数据时代的到来催生了一门新的学科——数据科学。首先,探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系。其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题。接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是被动属性)、对智能的认识(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)、人才培养(数据工程师还是数据科学家)。然后,提出了数据科学研究的10个发展趋势:预测模型及相关分析的重视,模型集成及元分析的兴起,数据在先、模式在后或无模式的出现,数据一致性及现实主义的回归,多副本技术及靠近数据原则的广泛应用,多样化技术及一体化应用并存,简单计算及实用主义占据主导地位,数据产品开发及数据科学的嵌入式应用,专家余及公众数据科学的兴起,数据科学家与人才培养的探讨。最后,结合文中工作,对数据科学研究者给出了几点建议和注意事项。     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

数据产权的治理困境与法治化治理路径

文章以数据产权问题的由来为切入点,针对实践分析数据产权治理的三大困境,提出数据产权的法制化治理路径,构建开放型的数据产权谱系,为数据产权治理奠定基础;在治理原则上,协调财产权体系的整体性与数据产权的独特性;在治理内容上,提出建立新型数据产权保护机制,分别从个人、企业、政府角度对数据所有权、数据使用权、数据收益权进行权利构建。     

实时数据库数据特征对事务处理的影响

实时数据库系统事务调度一般只考虑事务的截止期,这对保证满足事务访问数据的时间正确性是不够的。文中针对时序数据的特点给出了同时考虑事务的截止及“数据截止期”的事务优先级分派、调度及并发控制方法。     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

“1+1+N”城市数据运营模式的探索

数据增列为生产要素,已成为城市新型资源。亟需培育数据要素市场,释放数据要素价值,推动数据资产化、要素化、价值化。依托铜仁市公共数据综合服务平台,以铜仁实践为例,创新地提出了“1+1+N”城市数据运营模式。首先需建立良好的数据治理体系,明确提出数据源于场景并用于场景;其次需构建完善的数据供应链机制,高效管理城市数据资产,建立数据授权通道,搭建数据追溯、结算和安全防护系统,创新应用场景迭代升级模式和多元主体利益分配机制。“1+1+N”城市数据运营模式可有效推动数据整合共享和开发利用。     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...     

借鉴发达经济体经验推动我国数据资源利用需过三道槛

当前,全球各国日益重视数据资源开发利用,美国、欧盟、韩国等经济体探索通过开放数据倡议、数据经纪人、数据空间、个人数据管理(Mydata)、数据信托等模式,释放公共数据、企业数据以及个人数据价值.相比之下,虽然我国数据资源储量日益提升,在数据资源开发利用方面形成了很多特色化探索,但仍面临公共数据供给不足、企业数据流通效率不高、个人数据创新应用不够等问题.因此,我国应借鉴发达国家经验做法,从数据供给、数据流通、数据应用等方面入手,提高我国数据资源开发利用水平.     

高校数据中台建设研究

针对目前高校信息系统烟囱式搭建导致数据孤岛林立、数据质量参差不齐和数据价值难以共享应用的现象,本文通过校级数据规范定义、全域数据采集、数据建模、数据资产管理和数据应用的规划,总结关键技术难点;提出利用数据中台实现数据规范化、数据资产融合、数据价值创新应用,探讨高校数据中台的发展趋势。     

基于实时数据库读写的工业实时数据清洗系统设计与实现

介绍一种高效、可靠的基于实时数据库读写的工业实时数据清洗系统的实现方案.目前,工业实时数据的清洗主要采用了基于关系型数据库的方式,在数据量呈现海量增长的今天,弊端显著.针对该现状,提出了一种基于实时数据库本身的工业实时数据清洗系统设计思路,从系统功能需求、系统分析与设计,以及系统实现3个方面做了阐述.实践表明,系统实现了对工业实时数据的快速、稳定清洗目的.