对模拟纵向数据集缺失值处理的几种方法比较

运用SAS9.0、数据模拟技术,分别模拟纵向完整数据集和具有各种缺失率的随机缺失数据集,采用多重填补法(MI)、期望值最大化法(EM)和回归插补法(Regression)对各缺失数据集进行处理,对结果进行比较和分析.结果表明,对不同缺失率的数据集,MI、EM和Regression法对缺失值的处理各有优劣.     

半参数方法在缺失数据中的研究及应用

为了更多的利用缺失数据提供的信息,采用经验似然给出缺失协变量的条件分布的半参数方法对数据的缺失部分进行处理,并与几种比较常见的数据缺失处理方法——均值插补、多重插补、EM方法等进行了比较。模拟和实证研究中,在不同的缺失率下,运用Logistic模型,对几种方法的缺失处理效果加以比较,结果表明,随着缺失率的增加,几种方法的性能都受到影响,而半参数方法较其他几种方法更好。     

一种基于成分数据的修正EM算法

针对成分数据中的零值或近似零值,导致对成分数据作对数比变换后出现了缺失数据的现象,提出了一种基于均值插补法的修正EM算法来估计变换后的缺失数据.该方法首先对缺失数据所在列中的数据用Bootstrap方法反复抽样,然后用抽样得到的样本均值作为EM算法的初始值来估计缺失数据,最后将缺失数据的估计值代入对数比变换的逆变换求得原始成分数据零值的近似估计.实验结果表明:在误差允许的范围内,基于均值插补法的修正EM算法计算量少,操作简单,因此对于数据量大或者缺失率高的数据不失为一个好的插补法.     

带有缺失数据的聚类分析方法

传统的聚类分析方法需要完全数据集,但有些情况下数据是不完全的,即包含缺失数据,这给聚类分析带来了一定的困难.作者给出了一种迭代算法为缺失数据确定一个合理的替补值,构造出一个"完全"的数据集,逐步迭代进行聚类分析,并用实例详细阐述了该方法的步骤.     

基于负二项分布的单细胞数据缺失值分治插补研究

单细胞转录组测序（scRNA-seq,single cell RNA sequencing）技术为单个细胞高通量、高分辨率的深入研究提供了机会,为在单细胞层面研究细胞功能及其背后的基因调控机制提供了重要技术手段。然而这项技术也带来新的挑战,单细胞数据具有规模大、噪声高、异构性强等特点,特别是高比例的数据缺失（dropout）严重影响了下游分析的可靠性,甚至掩盖了基因与基因间的重要关系。这里提出一种基于负二项分布的分治插补策略ND-Impute(Negative binomial distribution based Divide and conquer strategy for imputation)对scRNA-seq数据进行处理,该方法假设scRNA-seq数据符合负二项分布,利用包含特定损失函数的自动编码器获取数据的特异性参数,并使用分治策略估计潜在的基因表达值。通过聚类效果、相关性和误差分析等比较,表明该方法可以有效地恢复缺失数据,提高了后续研究分析的准确性。     

温度与应变率对聚羟基脂肪酸酯弹塑性力学行为的影响

为探究温度和应变率对聚羟基脂肪酸酯（PHA）的弹塑性力学行为的影响,首先对2种具有代表性的PHA （牌号分别为EM10080和EM20010）在4种不同的加载速率和2种不同温度下进行准静态单轴拉伸测试研究。测试结果表明2种牌号的PHA的力学性能（杨氏模量、屈服应力）均随温度升高而降低,而随应变率的增加而升高;并且由于EM20010的玻璃态转化温度为55.96℃,因而在22℃时表现出玻璃态的线弹性力学行为,而在62℃表现出橡胶态的弹塑性力学行为;此外,拉伸后样件表面都出现了平行于拉伸方向的微观裂纹,使得材料表面呈现出类似于被“撕裂”的形貌,E10080的撕裂孔呈梭形,而EM20010的撕裂孔呈条状。然后,依据试验数据,采用Johnson-Cook本构模型对EM10080的温度和应变率相关应力应变响应进行了模拟;并分别采用线弹性本构模型和传统弹塑性本构模型对EM20010在室温（22℃）和高温（62℃）下的应力应变响应进行了模拟。     

基于自适应Lasso的缺失数据图模型选择

考虑数据完全随机缺失情形下的高斯图模型选择问题.在惩罚似然方法的框架下,基于自适应Lasso惩罚提出自适应MissGLasso方法,并结合EM算法和GLasso算法对协方差逆阵进行估计.通过模拟发现,与MissGLasso方法相比,自适应MissGLasso方法在图模型选择和协方差逆阵估计上具有较优的表现.     

基于神经网络及时间序列混合模型的桥梁健康监测系统缺失数据填补

列举了实际桥梁健康监测系统中数据缺失的几种形式,根据桥梁健康监测系统中监测数据是时间序列集的特点,以及神经网络强大的映射能力,利用神经网络及时间序列混合模型的方法来填补缺失数据,并将该方法与时间序列法的填补结果进行对比,结果表明该方法处理缺失数据的误差较低。     

缺失数据下局部M-估计

在缺失响应变量的不完全数据下,对非参数回归模型进行研究.利用稳健的局部线性回归的方法,给出了回归函数m（x）的3个局部线性M-估计：完整数据M-估计,加权M-估计和估计的加权M-估计,证明了3个M-估计有相同的相合性和渐近正态性.模拟研究表明估计的加权M-估计优越于一般的加权估计.     

基于SAEM算法对缺失协变量的Logistic模型参数估计

给出了Logistic模型中对缺失协变量数据的一种估计方法.将Marc Lavielle等人提出的SAEM算法进行了改进,引入Samiran Sinha等人提出的一种基于不可忽视机制基础上的NI-机制,以此来尽可能的利用数据中已存在的信息,并将其与现有处理缺失协变量较好的MCAR缺失机制下的半参数方法做对比研究.对Logistic模型的参数分别进行估计,对比分析这两种方法在不同缺失率下的优劣,并对最终结果进行回判,将回判准确率与标准误差作为判别标准.结果表明,当缺失率较小时,两者对缺失数据的处理性能都很好;但当缺失率较高时,半参数方法对数据的处理性能要优于SAEM算法.SAEM算法的运行速度始终快于半参数方法,缺失率较小时,用提出的SAEM算法做线上估计比半参数方法更具有优势.