基于HBase的金融时序数据存储系统

设计并实现了1个基于HBase的金融时序数据的存储系统。设计了基于金融时序数据的HBase预分区策略,可解决HBase存储热点的问题;采用了行键优化策略和基于时序数据的表设计策略,可解决数据存储分散的问题;使用了提供异步处理机制的事件驱动的Netty框架所编写的中间件接收采集器发送的请求,可解决高并发事务的处理问题。实验结果表明,与HBase原生方法相比,该系统的性能在处理高并发事务时更好。     

利用Python解析计算机网络上传数据算法

本文中提出一种组合模型的Python解析计算机网络上传数据算法,希望能够解决这几类问题,提升我国网络上传数据效率,简化上传过程。采用此种方法,解决了当前我国计算机网络上传数据算法所面临的问题,应用于实际计算机网络上传数据解析工作中,具有良好的实用性。     

大数据环境下的数据安全

本文首先对大数据的概念、特点进行了讨论,列举了若干大数据环境下存在的问题及问题产生的影响因素,最后又总结了一些关于问题的解决措施,以期能够更好的保障大数据环境下数据的安全性。     

ArcGIS数据与CASS数据的相互转换

由于ARCGIS与CASS(CAD)他们的数据格式、存贮、表达形式不尽相同,数据共享间方面的诸多问题。分析了两种数据之间互转的实现方法,以实际问题情况具体的分析数据转换方法,实现了两者之间数据互通,提高数据共享程度,实现数据的最大化利用,解决了工作问题。     

城市水环境系统设施监控预警管理信息平台数据交换研究

多级、异构城市水环境设施信息系统的数据交换是一项亟需解决的问题.本文通过分析各级城市水环境设施管理部门的业务需求,确定了数据交换的指标内容.介绍了数据交换方案,解决了数据粒度不一致、数据描述不一致、数据转换等问题.概述了数据交换流程和松耦合的数据交换工具功能结构,并说明了应用情况.通过数据交换,有助于各级主管部门及时完整获取水环境数据、提高监管效率.     

Hadoop支持下海量出租车轨迹数据预处理技术研究

海量出租车轨迹数据预处理是轨迹数据挖掘和应用的前提。出租车轨迹数据是典型的大数据,传统的数据处理技术无法解决大规模出租车轨迹数据误差分析和处理问题,文章在分析轨迹数据误差来源和误差类型的基础上,提出基于Hadoop的海量出租车轨迹数据预处理模型,使用Hive实现轨迹数据误差统计分析,设计MapReduce并行处理程序实现轨迹数据预处理。实验结果表明,该模型可以有效解决大规模出租车轨迹数据预处理问题,处理方式可靠性较高,大大提高了轨迹数据预处理效率,为后期轨迹数据深入挖掘和分析奠定了基础。     

大数据时代数据保护与金融交易如何平衡?——评《个人金融信息管理:隐私保护与金融交易》

加强个人数据保护与促进金融交易效率一直是金融发展中不容忽视的矛盾问题。在大数据时代背景下,寻求解决这一问题的途径尤为现实和迫切。《个人金融信息管理:隐私保护与金融交易》一书从微观角度阐明了数据产权界定,从宏观角度解决了隐私保护和金融交易的相容问题,并对中国金融发展相关问题提出建议。     

城市规划信息系统数据采集技术刍论

文章对城市规划信息系统面临的数据问题、城市规划与空间数据的关系进行了分析,指出数据的供应问题已经逐步上升为城市规划信息系统发挥其作用的主要障碍,并提出了相应解决方法。     

基于CASS9.0的基础地形图数据入库方法分析与应用

结合我国新的地形图图式的应用实例,在CASS9.0成图软件的环境下,对地形图数据入库的步骤和内容进行了分析,并提出了具体解决的技术方法,包括地形图数据整理、图形要素检查等,该方法在上虞地形图数据入库工作中得到了应用,一定程度上解决了现有地形图数据入库方法的不适应问题。     

基于语义网的中医药数据处理方法研究思路

"大数据"时代的来临,为中医药工作者重新思考中医药数据的本质,革新中医药数据处理方法,提供了宝贵的契机。中医药数据的核心是"知识密集性"数据。"大数据"时代的中医药数据处理方法,应侧重于解决知识建模、知识融合、知识服务等一系列与"知识"相关的问题。语义网技术发端于知识表示和推理领域的研究成果,又能解决数据集成与互联问题。它为构建中医药"大数据"并从中发现新颖知识,提供了理想的技术手段。     

高层住宅基础优化设计实例

通过对浅层强风化炭质页(灰)岩进行深入的勘察检测和分析,将原设计的冲(钻)孔灌注桩优化为筏形基础,介绍了浅层地基土承载力取值、筏形基础浅埋稳定性分析、基础沉降预测等关键问题和沉降实测数据反演结果,对软硬不均地基上的筏形基础提出采用统计方法预测沉降的思路.     

油罐地基沉降的概率预测与实测比较

应用可靠性理论,利用软土地基土性指标的统计数据,对油罐地基的沉降进行概率分析,得到了可能的沉降区间;并与根据沉降实测资料应用双曲线法推算得到的地基最终沉降量进行了比较。由实测推算的最终沉降均落在预计区间之内。     

水泥土搅拌桩复合地基承载力设计公式的可靠性分析

通过水泥土搅拌桩复合地基的承载力设计公式,建立试计比的极限状态方程,利用各随机变量的概率分布及统计参数,计算被统计复合地基的平均可靠度指标,分析设计公式的可靠性。     

基于模式识别理论基坑监测数据周期性误差分析

要识别测量数据的周期性误差，传统解决方法是利用数理统计中的统计检验方法。论文结合模式识别理论和方法，以贝叶斯风险函数为基础，分析基坑监测数据的周期性误差。对比统计检验方法，模式识别方法的判识错误率最小，在识别测量数据是否有周期性误差的同时得到判识结果的可靠性。     

上海奉贤区地基土工程性质指标统计研究

在收集、整理了上海奉贤区10个工程场地的岩土工程勘察资料以及作了一系列室内土工试验的基础上,对上海奉贤区几种地基土的工程性质指标进行了统计研究,得出了工程性质指标的变异系数的变化规律,对某些土的设计指标建立了概率分布模型,并建立了指标间的经验关系。     

采用静力压桩的方法为基础增加承载力

结合工作实践，通过对该工程基础施工情况的概述，提出采用静力压桩增加基础承载力的方法，对具体沉桩工艺作了总结，工程静载试验结果表明：地基承载力满足使用要求。     

桩基不重复随机抽样不合格桩数概率分布研究及其工程应用

用条件概率方法研究桩基质量随机抽样不合格桩数ｒ的概率分布ｐ_（ｎ,Ｎ）（ｒ）和数字特征的计算公式。然后,引用计算随机变量函数概率分布的方法,导出桩基抽样不合格率γ的概率分布ｐ_（ｎ,Ｎ）（γ）和数字特征的计算公式。这些公式为桩基质量检测的统计推断提供了理论基础。     

单桩竖向抗压极限承载力检测结果的不确定度评定

依据单桩竖向抗压极限承载力静载试验的原理,结合工程实践经验,采用检测领域的不确定度理论,分析了单桩竖向抗压极限承载力检测结果的不确定度来源,并对检测结果进行了不确定度评定,给出了标准合成不确定度及特定置信概率下的合成不确定度。     

预制桩极限承载力的可靠性分析

介绍了预制桩侧摩阻力统计特性和端阻力统计特性获取的过程,以及在此基础上进行预制桩可靠度计算的方法。采用这一新方法计算得到了上海地区31个场地预制桩的可靠指标及可靠指标统计特性。     

静力触探法设计预制桩的分项系数研究

结合上海市标准，利用随机场理论和可靠度理论，研究了获得预制桩Ps,fi,Psb统计特性的统计原则，给出了计算相应统计特性的理论公式。为解决理论公式的实用问题，对相关距离、桩截面尺寸、端阻力计算范围等在程序编制中的协调问题进行了研究，并对上海地区19个场地进行了电算，进而求出了由静力触探法(CPT)确定预制桩极限承载力的可靠度指标的统计特性。在此基础上，利用完全可靠性分析方法求出了上海地区由CPT确定预制桩承载力的分项系数，从而为由CPT确定预制桩承载力的确定性设计方法过渡到概率极限状态设计方法提供了一种途径。