数据库外基于多模型的学习式查询优化方法

对于AI与数据库优化问题,现有技术均须改动数据库底层,影响研究成果的应用且缺乏可扩展性. 提出一种非嵌入数据库的学习式查询优化方法. 在基数估计阶段,使用多模型的方法,对特定的子查询建立神经网络,独立训练不同的子模型,解决需要训练集过多且可扩展性差的问题;在连接优化阶段,应用基于代价的强化学习方法,提高查询优化性能. 针对每个查询,从基数估计到连接排序的优化过程都在数据库外执行,按照得到的优化策略对查询重写,并将重写结果返回到数据库中,通过设置参数使该查询按照指定的计划执行. 在包含8个表的数据集上进行实验验证,与未进行优化的查询进行比较,非嵌入数据库的优化方法具有良好的优化效果.     

SQL查询优化技术在Informix数据库的应用

查询操作在各种数据库操作中所占比重最大，在数据量很大的数据库里查询，SQL语句的优化就成了很关键的问题。通过建立合理的索引、设置合适的where予句中的条件、使用临时表等措施来给数据库管理系统的优化器提供条件，以提高查询语句的执行效率，同时给出在Informix数据库中的应用实例。     

基于HBase整合Hive的查询性能研究

HBase可以实现海量数据的查询,但是在数据定位方面具有先天劣势。引入Hive对HBase进行优化,搭建了一个基于"HBase存储+Hive查询"的整合框架。通过对美国新冠肺炎的部分数据分别使用HBase与HBase+Hive整合框架进行数据统计并且记录查询时间,可证明HBase+Hive整合框架的查询性能优于HBase原生访问,并且随着数据量的增加,两种方案查询性能的差距更加明显。     

基于改进QR-树的空间数据索引的研究

分析了基于常规QR-树建立空间数据索引的数据结构,常规四叉树在数据量特别大时．导致其QR-树深度特别深,占用空间大,查询效率低,并且平面区域分割极限的确定很不灵活。提出了一种改进QR-的数据模型来建立高效的空间数据索引,通过检测水平和垂直相交区域以确定图元所属节点,从而实现海量数据的快速检索。     

基于批量提交数据的快速查询算法研究与设计

针对批量提交数据的存储特性,提出了一种对批量提交数据进行索引的快速查询算法。在测点采样周期已知的条件下,采用分组归并算法描述了测点的分类与测点编号、分组主表文件和索引表文件的建立,构建了相应的优化算法,并在此基础上设计了批量提交数据的快速查询算法。进一步对设计的算法进行了改进,使得改进后的算法具有更高的查询效率和存储效率。算例测试表明,本算法能有效解决批量提交数据的快速查询问题,并且改进后的算法在存储效率和查询效率方面比改进前有了明显提高。这一研究有助于为大数据量环境下的数据查询者提供科学的数据处理方法。     

一种VANET信息查询模式及分析

提出了一种基于车载自组织网络的车辆实时信息查询模式.在该模式下,实时交通及设施服务信息和用户查询都采用自组织网络传染病路由的方式进行数据传输和发布,只有当查询和实时报告信息在某个节点匹配后,为了节省查询时间,将查询结果信息通过基础设施网络返回查询节点.针对该车辆实时信息查询模式建立了系统模型,对系统查询机制和延时进行了理论分析和推导,并在STRAW/SWANS环境下验证了推导结论,为系统的参数设置和优化提供了理论依据.     

基于Hive的空气质量大数据查询优化方法

为了提高对环境空气质量监测系统中省级环境监测中心站里已汇集的海量监测数据的统计和分析效率,提出了一种基于Spark 集群在Hive上进行多维数据分区的查询优化方法。以湖北省环境监测中心站中的空气质量监测数据为研究对象,将数据转移到Spark集群利用Spark SQL连接Hive并进行分区存储。设计了12种查询,查询4个数据集,通过与采用传统查询方法的实验对比得出结论。实验结果表明:基于Hive的分区优化方法对空气质量大数据的查询时间有47%到96%的优化,而随着查询的复杂程度和数据量的增加,该方法的优化效果越明显。     

基于数据仓库的水利工程信息管理系统设计

针对我国当前业务型的水利信息管理系统难以获取隐含信息的问题,提出基于数据仓库技术和OLAP技术设计开发水利工程信息管理系统的解决方案。系统使用Java作为开发语言,后台数据库采用SQL Server 2005系统,使用SQL Server中的数据仓库工具建立数据仓库。根据需求分析,系统确定获取渠道、科室和资金3个主题的隐含信息,并采用查询效率较高的星型模型作为概念模型,通过事实表设计和维度表设计来完成3个主题设计的具体实现。     

基于统计的查询优化

本文介绍一种关系数据库查询优化方法,讨论如何利用与数据库文件存取相关的参数,评估查询策略的实现成本,如何利用统计信息寻找最优查询策略,以及查询优化的必要性和基本步骤。     

基于分布式数据库的相关子查询优化

子查询在数据库中的应用较为广泛,根据是否与父查询的表有依赖关系,可以将其分为相关子查询和非相关子查询。相关子查询需要先从父查询中取出一个元组后执行子查询,即需要反复对子查询的内容进行运算。这种策略的磁盘访问开销很大,在分布式数据库中,由于存在数据通信开销,在父查询元组过多时效率较低。针对该类子查询,在现有的优化查询策略的基础上,结合分布式数据库的特点,提出了通过子查询上拉为连接查询,消除子查询中冗余子句,消除聚集函数等方法实现的基于分布式数据库的子查询优化策略,并通过实验验证了所提优化策略的有效性。     

基于权重哈尔小波的XML包含连接估计方法

针对可扩展标记语言（XML）基本查询操作符--包含连接,提出了一种基于权重哈尔小波的结果数估计方法.该方法利用哈尔小波有效压缩XML包含连接结果统计,并通过小波摘要维护统计信息.在估计阶段,使用小波系数重构包含连接结果数.为了减小估计误差,提出基于标签名查询频率的权重模型,并集成于哈尔小波估计方法中.实验证明,对于XML包含连接结果数估计,权重哈尔小波估计方法优于先前的估计方法（如直方图法、随机取样法）.在相同的空间限制下,权重小波估计具有更小的平均相对误差.     

实时垂直搜索引擎对象缓存优化策略

针对实时垂直搜索引擎搜索对象热门度多变和数据抓取由查询驱动等问题,提出一种全新的实时垂直搜索引擎对象缓存优化策略.基于对象及属性间的关联设计热门对象预测模型,预测热门对象的变化趋势;基于用户查询及对象变化符合泊松过程的特点,推导最大化数据新鲜度的计算方法,从理论上给出资源分配和动态平衡的最优策略.大量的对比实验验证了新的缓存优化策略在较少开销增长的前提下,用户查询结果平均新鲜度和准确率均明显优于传统固定频率的缓存策略．     

多区块链环境下的连接查询优化算法

为了提高多区块链间的连接查询处理效率,提出多区块链环境下的连接查询优化算法. 该方法在传统的多区块链模型中增加语义信息,构建语义多区块链模型,为多区块链间的连接查询提供基础. 基于该模型,参考分布式数据库的索引结构,提出多区块链间的连接索引结构,将多条区块链进行属性连接,提高连接计算的效率,减少数据传输的通信代价. 在此基础上,提出多链连接查询优化算法,提升多区块链连接查询的效率. 最后,在2个真实公开的数据集上进行实验. 结果表明,多区块链间的连接索引结构稳定;与传统的直接进行连接查询的操作相比,多区块链连接查询优化方法简化了查询处理过程,通过访问连接索引直接获取查询结果,减少了本地计算负载和网络开销,提高了查询效率.     

基于极化多维星座调制的OFDM物理层安全通信机制

提出了一种基于极化多维星座的正交频分复用（OFDM）物理层安全通信机制,通过高维星座设计,可以有效地加密调制信息,保护无线通信的调制信息不被发现,从而保证无线通信的安全.在此基础上,推导并仿真了系统误码率性能和频谱利用率.仿真结果证明,OFDM极化多维星座调制方案可以有效防止窃听者获取调制信息,并且其误符号率及频谱效率都显著优于传统OFDM-QAM调制.     

关系数据库多表查询的优化实现

本文通过理论研究及实际计算,对关系数据库多表连接查询给出了具有最优查询速度的查询分解策略,为多表查询的优化实现提供了一种简洁的方法。对于每次运算只支持两个表的连接的那种类型的DBMS(例如dBASE),采用本文所提供的策略,可对三元查询设计出具有最快查询速度的查询程序;对n(n≥4)元查询设计出具有准优化查询速度的查询程序。     

自适应事件触发机制下带有未知输入的多速率信息物理系统的递归滤波（英文）

信息物理系统具有多速率的信息收集和处理功能,并且对信息交换具有依赖性。本文旨在设计一种联合递归滤波方案,用于估计具有未知输入的多速率信息物理系统的输入和系统状态,其中联合递归滤波器和传感器之间的信息传输受自适应事件触发策略控制。通过求解一组代数矩阵方程,可以递归地确定满足要求的联合滤波器增益,并且可以通过一些代数运算获得保证滤波误差协方差有界的充分条件。基于协方差交叉融合的概念,提出一种利用局部状态估计的融合估计方案。最后,通过一个数值仿真验证了所提自适应事件触发递归滤波算法的有效性。     

一种移动互联网序列化数据的传输优化方法

数据在移动互联网上通常被序列化成键值对形式实现传输。服务端向移动客户端返回数据集时,键值对的键因按照特定代码规范命名,导致其字符串过长;当移动终端发出复杂查询请求时,将所有查询条件合并为一个查询字符串后发送给服务端,因此,结构化的查询语句关键词被重复传输。针对上述两个增加网络延时、消耗用户流量的问题,在开发架构层面提出一种移动互联网上序列化数据传输优化方法,对实体类属性进行编码,以减少响应结果集的数据量;在复杂查询时,以键值对保存移动客户端发出的查询数据,服务端接收到该数据后只需解析对应的值,再通过一般处理程序中的特定函数即可获得查询内容。实验结果显示该优化传输方法可有效地减少交互数据量和网络响应时间。     

软件定义网络中源地址验证绑定表安全

为了提高软件定义网络（SDN）中IPv6源地址验证（SAVI）绑定表的安全性,从地址分配机制（AAM）消息验证、绑定项更新和拒绝服务（DoS）攻击防御三方面对绑定表进行保护. 基于SDN控制器构建AAM消息验证表,记录交换机端口、MAC地址、主机IP地址等信息;建立DHCPv6和SLAAC这2种地址配置报文的验证模型,下发流表监听路由器通告（RA）消息,获取DHCPv6 request/reply报文和NS/NA报文,基于AAM消息验证表验证报文中的地址信息;针对网络的动态变化建立绑定信息监听和更新机制,监听主机离线或者主机IP失效事件,及时更新绑定信息,保证绑定表和实际网络信息的一致性;基于OpenFlow多级流表建立交换机端口限速表,防止拒绝服务攻击. 实验结果表明,本方案能够有效防御多种针对绑定表的伪造AAM报文攻击,及时更新绑定表信息,提高AAM消息的处理效率.     

基于强化学习的多阶段网络分组路由方法

多阶段网络被广泛应用于机器学习集群,由于多阶段网络中可用路径多,分组的路由是一个组合优化难题。现有基于启发式的路由算法由于缺乏性能保证,严重影响分组传输延迟。提出了基于强化学习的多阶段网络分组路由方法,使用一个新颖的策略迭代算法,通过学习的方式计算出最佳路由策略。算法通过在策略评估步骤中使用价值函数的最大似然估计器,克服了强化学习方法中蒙泰卡罗(MC)或时间差分(TD)价值估计器样本效率低的问题。为了应对组合优化时计算复杂度高的问题,算法在策略改进步骤中将组合动作空间上的优化分解为各组成动作的序列优化,以提高求解效率。基于NS-3网络模拟器的仿真实验结果表明,相较于现有最优的启发式路由策略,该算法学习到的路由策略降低了13.9%的平均分组延迟。     

基于能量UWSAN的最大似然目标定位

文章针对低信噪比下的水下目标定位问题,建立了水下无线传感器阵列网络,该结构包括多个分布式声传感器阵列,它适应于多模态信号处理,既可以利用目标的方位信息,又可以用能量信息.文中提出了用每个阵列接收到的信号能量作为参量完成目标定位并推导了基于能量的最大似然比目标定位方法.数值仿真表明:基于该结构的能量似然函数定位方法,可以有效估计目标的位置,并且比单阵元网络的定位性能和信息传输率上有了较大的提高,尤其是在低信噪比下情况下,可以大大减小估计的方差.