Cross-source Data Error Detection Approach Based on Federated Learning

With the emergence and accumulation of massive data, data governance has become an important manner to improve data quality and maximize data value. Specifically, data error detection is a crucial step to improve data quality, which has attracted wide attention from both industry and academia. At present, various detection methods tailored for a single data source have been proposed. However, in many real-world scenarios, data are not centrally stored or managed. Data from different sources but highly correlated can be employed to improve the accuracy of error detection. Unfortunately, due to privacy/security issues, cross-source data are often not allowed to be integrated centrally. To this end, this paper proposes FeLeDetect, a cross-source data error detection method based on federated learning, so as to improve the error detection accuracy by using cross-source data information on the premise of data privacy. First, a Graph-based Error Detection Model, namely GEDM, is presented to capture sufficient data features from each data source. On this basis, the paper then designs a federated co-training algorithm, namely FCTA, to collaboratively train GEDM by using different cross-source data without privacy leakage of data. Furthermore, the paper designs a series of optimization methods to reduce communication costs during federated learning and manual labeling efforts. Finally, extensive experiments on three real-world datasets demonstrate that (1) GEDM achieves an average improvement of 10.3% and 25.2% in terms of the $F1$ score in the local and centralized scenarios, respectively, outperforming all the five existing state-of-the-art methods for error detection; (2) the F1 score of the error detection by FeLeDetect is 23.2% on average higher than that by GEDM in the local scenario.     

基于特征迭代的云存储数据即时确定性删除方法

传统数据删除方法易受到云存储环境中大量近似特征的影响,产生冗余数据,导致加解密时间过长、密钥可用率较低,为此提出一种基于特征迭代的云存储数据即时确定性删除方法。首先,提取云存储数据中的冗余数据特征,对云存储下冗余数据进行分类,迭代直至收敛,实现冗余数据高性能删除;其次,采用加密机制实现云存储数据在网络用户间的安全共享,将原始数据密文切分为剩余密文和采样密文;最后,把不完整的剩余数据密文上传至云端,同时引入可信任第三方对取样密文进行保存,通过销毁取样密文实现数据即时确定性删除。实验结果表明,所提方法的数据密文拆分所用时间较短,且密钥可用率较高,可达90%,说明其方法能够有效满足云存储系统中对冗余数据或过期数据的确定性删除要求。     

基于云端协同计算架构的边缘端I/O密集型虚拟机资源分配方案

大型制造业生产车间业务流程复杂,传统固定资源配置方式将产生负载不均衡的问题。针对此问题,设计并实现了一种基于云端协同架构的边缘端I/O密集型虚拟机资源的分配算法,通过定义计算节点中每个I/O密集型虚拟机三个维度的信息计算得出I/O密集型虚拟机的优先级,并按最大优先级队列实时统一分配硬件资源。实验结果表明,该算法在应对工业机械设备高响应和高通量的要求上有较为明显的提升,为实际生产起到了优化资源配置的作用。     

Managing nutrient losses from rural point sources and urban environments

Nutrient loss from rural point sources and urban environments need to be minimised as part of strategies to overcome declining water quality on the Swan Coastal Plain and in the Peel-Harvey estuary in Western Australia. This paper discusses the management of nutrient losses from domestic effluent, urban stormwater runoff, domestic gardens and public open space, intensive animal industries and intensive irrigated agriculture. Measures to minimise nutrient losses from these sources are outlined, using cooperative, technological and regulatory approaches.     

多粒度时序特征在离网预测中的应用

电信运营商为了发现可能离网的客户,针对不同的场景研究开发了多种离网预测模型。目前的离网预测模型首先选择一种时间粒度抽取特征,之后使用机器学习算法对抽取的数据建模。这类方法只考虑了模型对分类性能的影响,没有充分考虑数据的作用。针对上述问题,提出一种使用多种时间粒度抽取特征的方法,并尝试在模型训练的不同阶段对不同粒度的特征进行融合。实验结果表明,使用多种粒度抽取特征训练出来的模型性能会明显优于使用单一粒度抽取特征的模型。     

基于多判据的散乱点云特征点提取算法

为了有效获取散乱点云中的尖锐特征点和边界特征点,提出一种利用多判据融合的特征点提取算法。首先利用一种改进的k-d tree构建点云拓扑,搜索样点的K局部邻域;然后利用法向夹角判定准则、核密度判定准则、场力和判定准则分别求取各个样点局部邻域的三个特征参数,最后通过加权计算特征参数得到每个样点的特征值与全局判定阈值,特征值比阈值大的点即为特征点。实验证明,该算法能有效的获取散乱点云中边沿特征点与尖锐特征点。     

基于slope one算法改进评分矩阵填充的协同过滤算法研究

为解决协同过滤算法中的数据稀疏性问题,提出了一种改进的协同过滤算法。该算法使用slope one算法计算出来的评分预测值来填充评分矩阵中的未评分项目,然后在填充后的用户-项目评分矩阵上通过基于用户的协同过滤方法给出推荐。利用slope one算法计算出来的评分预测值作为回填值,既能降低评分矩阵的稀疏性,也保证了回填值的多样性,从而减少均值、中值等单一填充值造成的推荐误差。在MovieLens-1M数据集上对本文改进算法和协同过滤算法及均值中心化处理的算法作五折交叉实验,结果表明,基于评分预测值填充数据后的协同过滤算法有效的缓解了数据稀疏性问题,并且有更好的推荐效果。     

面向聚类的平面反射数据扰动方法

面向聚类的数据隐藏通常使用数据扰动技术防止敏感信息泄露。针对现有的面向聚类的数据扰动方法隐私保护度低的问题,提出一种基于平面反射的数据扰动方法,将发布对象的全部属性两两配对构成平面上的点,再随机选择一条直线,作每对属性关于直线的对称点,转换后的数据即为发布的数据。实验结果表明,这种方法具有较好的隐私保护度和聚类可用性,且对高维数据有良好的适应性。     

云制造环境下面向多目标优化的虚拟资源调度研究

为解决云制造环境下虚拟资源调度存在的算法求解效率不高、模型建立缺乏考虑任务间关系约束和任务间及子任务间的物流时间及成本因素等不足,构建了兼顾交货期时间最小化、服务成本最低化、服务质量最优化为目标的多目标虚拟资源调度模型;采用一种基于项目阶段的双链编码方式进行编码,并提出自适应交叉与变异概率公式,以避免交叉、变异概率始终不变导致算法效率下降与过早收敛的问题;在此基础上利用基于项目阶段的多种交叉变异策略相结合的改进遗传算法进行求解,保证了算法的全局与局部搜索性能。实例结果表明,相比于传统的模型与算法,该模型适用性更强,改进的遗传算法在求解效率、准确度与稳定性方面均有较大提高。     

Unikernel的研究及其进展

Unikernel是一种专门定制、优化的轻量级虚拟机,在云环境中,它能够解决由传统虚拟机带来的资源消耗大、低效率、低安全性的问题,有望成为超越Docker的下一代轻量级微服务系统架构。目前,Unikernel开源项目较多,技术呈现复杂性和多样性,使得研究人员和开发人员难以准确理解和把握。为此,首先介绍了Unikernel的基本概念和基本特点;然后总结出了Unikernel的系统架构,并详细阐述了Unikernel关键技术的研究工作进展,包括应用层、库操作系统层和平台适配层;最后结合已有的研究成果,探讨了Unikernel的研究方向及其面临的机遇和挑战。