国土资源网上交易系统云平台迁移技术实践

参考主流的现有应用向云平台迁移的方法, 结合国土资源网上交易系统在稳定性、实时性、高并发性和安全性等方面的特殊要求, 提出一种在向云平台迁移后能保持其上述特性的解决方案. 该解决方案分别从数据交换模式, 交易引擎, 数据交互方式等方面对系统进行了云平台的适应性改造. 最后, 在重庆市、江西省等地进行了测试和生产运行, 移植后的系统运行稳定, 且能满足实时高并发的需求. 此方法也可以为公安、城市规划等部门的现有应用云平台迁移提供参考.     

国土资源网上交易系统内核优化设计研究

国土资源网上交易系统是使用信息化技术,将传统线下国土资源交易嫁接到互联网上进行交易的系统,其对实时性、稳定性和安全性要求极高.目前国内投入运行的网上交易系统在响应速度、稳定性方面大都存在一定缺陷,本文从系统数据库设计、核心引擎结构设计方面讨论其内核的优化.数据库设计方面,对其关系进行横向、纵向切割等方式进行优化,使得资源平均查询时间缩短近一半,且系统响应速度不会随着交易量的累积而明显变慢;核心引擎方面,通过增加资源池、线程池等方法,使得同等运行环境下其内核处理能力至少提升3倍.论文提出的优化设计技术在江西省国土资源网络交易系统升级改造中得到了应用,实际运行效果良好,为其他类似系统的设计及优化改进提供了重要参考.     

大规模时空轨迹数据连接查询效率优化实践

本文提出一种低集群计算资源条件下, 大规模轨迹类数据同时空关系的快速连接查询算法DPCP-CROSS-JOIN. 该算法通过对轨迹数据时间字段进行分段交叉编码和位置网格化等方式对连续的轨迹数据离散化, 并以日期和网格区域编码进行两级分区存储. 通过交叉“等值”连接查询, 实现时空连接查询的三级索引、四级加速, 将$n\cdot n $对象间同时空关系连接查询时间复杂度从O(n²)降为O(nlogn). 在Hadoop集群上使用Hive和TEZ等进行大规模轨迹数据连接查询时能将连接查询效率最高提升到30.66倍. 该算法以时间段编码作为关联条件, 巧妙绕开连接过程中复杂表达式的实时计算, 以“等值”替代复杂表达式计算连接, 提高MapReduce任务并行度, 提升集群存储和计算资源利用率. 在面对仅使用一般优化已几乎无法完成的, 更大规模类似任务, 仍能在数分钟内完成. 实验表明, 该算法具有高效和稳定等特性, 尤其适用低“算力”资源条件下大规模轨迹数据的同时空关系连接查询. 此方法还可作为时空轨迹伴随查找, 对象间关系亲密度判定等的原子算法, 可广泛应用于维护国家安全、社会治安秩序, 预防和打击犯罪, 辅助城乡规划统筹等领域.     

基于子模式的关系数据到图数据ETL方法研究

图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换效率低、转换结果不利于分布式存储等问题。因此,提出基于子模式的关系数据到图数据ETL方法,改进原有ETL方法的流程和算法。该方法将关系数据库模式拆分为若干个子模式,并行进行ETL。不仅提高了ETL的效率,转换结果能满足图数据的分布式存储要求,也可以作为Spark GraphX计算框架的基础数据。最后,使用Java EE和Neo4j开发了原型系统,并进行了实验验证。结果表明,改进后的ETL方法获得了较已有方法更好的转化性能。