太赫兹波谱在冬虫夏草检测中的应用

利用太赫兹波谱技术对名贵中药冬虫夏草及其常见伪品进行太赫兹波谱检测、反射式切片成像及分析,得到冬虫夏草正品及其常见伪品的太赫兹图谱特征.结果表明,冬虫夏草4种正品在1. 10 THz和1. 13 THz频段均具有特征吸收峰,在0. 5～1. 5 THz频段,其折射率分布于[1. 55,1. 63].常见伪品地蚕在太赫兹频段没有特征吸收峰,其折射率与冬虫夏草正品差距较大( 12%),可作为重要鉴别依据;另外两种常见伪品古力虫草和亚香棒虫草具有与正品相近的特征吸收峰,然而其折射率与正品有明显的差异( 3%).冬虫夏草太赫兹反射成像时域切片图像表明,通过分析有效轮廓区域内相对信号强度的分布,可有效评估各自结构特点,为鉴别冬虫夏草真伪提供了新方法.     

基于统计感知的大数据系统计算框架

为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总体概率分布的一致性.后者通过分析若干个随机样本数据块替代了Tbyte级全量数据分析.使用1 Tbyte模拟数据集验证随机样本划分模型的有效性,通过逐渐增加随机样本块的个数,提升了Higgs数据集基分类器的分类准确度,证明该方法能克服大数据分析中计算资源的限制瓶颈.     

大数据随机样本划分模型及相关分析计算技术

设计了一种新的适用于大数据的管理和分析模型——大数据随机样本划分（Random sample partition,RSP）模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持统计意义上的一致,因此,每个RSP数据块是大数据的一个随机样本数据,可以用来估计大数据的统计特征,或建立大数据的分类和回归模型。基于RSP模型,大数据的分析任务可以通过对RSP数据块的分析来完成,不需要对整个大数据进行计算,极大地减少了计算量,降低了对计算资源的要求,提高了集群系统的计算能力和扩展能力。本文首先给出RSP模型的定义、理论基础和生成方法;然后介绍基于RSP数据块的渐近式集成学习Alpha计算框架;之后讨论基于RSP模型和Alpha框架的大数据分析相关计算技术,包括：数据探索与清洗、概率密度函数估计、有监督子空间学习、半监督集成学习、聚类集成和异常点检测;最后讨论RSP模型在分而治之大数据分析和抽样方法上的创新,以及RSP模型和Alpha计算框架实现大规模数据分析的优势。