试验数据异常值的检验及剔除方法

目录

摘要 ........................................................................................................................................................................ I 关键词 .................................................................................................................................................................. I 1 引言 ................................................................................................................................................................1 2 异常值的判别方法 ..........................................................................................................................1

2.1 检验（3S）准则..............................................................................................................................1 2.2 狄克松（Dixon）准则 ................................................................................................................2 2.3 格拉布斯（Grubbs）准则 ........................................................................................................2 2.4 指数分布时异常值检验..............................................................................................................3 2.5 莱茵达准则（PanTa） ................................................................................................................3 2.6 肖维勒准则（Chauvenet）......................................................................................................4

3 实验异常数据的处理 ....................................................................................................................4 4 结束语..........................................................................................................................................................5 参考文献.............................................................................................................................................................6

内江师范学院本科学年论文

试验数据异常值的检验及剔除方法

摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会

掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析.

关键词：异常值检验；异常值剔除；DPS；测量数据

I

内江师范学院本科学年论文

1 引言

在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度.

判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除.

利用计算机剔除异常值的方法许多专家做了详细的文献[1]报告.如王鑫，吴先球，用Origin剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文.

2 异常值的判别方法

判别异常值的准则很多，常用的有t检验（3S）准则、狄克松（Dixon）准则、格拉布斯（Grubbs）准则等准则.下面将一一简要介绍. 2.1 检验（3S）准则

t检验准则又称罗曼诺夫斯基准则，它是按t分布的实际误差分布范围来判别

异常值，对重复测量次数较少的情况比较合理.

基本思想：首先剔除一个可疑值，然后安t分布来检验被剔除的值是否为异常值.

,x,x?x设样本数据为x，若认x为可疑值.计算余下n?1个数据平均值123nxn?1及标准差sn?11n1n2?x,s?(x?x) ，即xn?1??in?1in?1n?1n?2i??1,iji??1,ij.

然后，按t分布来判别被剔除的值x是否为异常值.

?xk(na,)，则x为异常值，应予剔除，否则为正常值，应予以保若xn?1?j留.其中：a为显著水平；n数据个数；k(n,a)为检验系数，可通过查表得到.

1

内江师范学院本科学年论文

2.2 狄克松（Dixon）准则

设有一组测量数据x，且为正态分布，则可能为异常值的测?x?x??x123n量数据必然出现在两端，即x1或xn.

狄克松给出了不同样本数量n时检验统计量的计算公式（见表1）.当显著水平a为1%或5%时，狄克松给出了其临界值D1?a(n).如果测量数据的检验统计量，则x1D?D1?a(n)常值.

表1 狄克松检验统计量计算公式为 数据个数n 3?n?7 为异常值，如果测量数据的检验统计量D'?D，则xn为异1?a(n)统计量D x1为可疑值D xn为可疑值D (x?x)/(x?x)21n1 (x?x)/(x?x)21n?11 (x?x)/(x?x)31n?11(x?x)/(x?x) 31n?21 (x?x)/(x?x)nn?1n1 (x?x)/(x?x)nn?1n2 (x?x)/(x?x)nn?2n2(x?x)/(x?x) nn?2n3 8?n?10 11?n?13 14?n?30

2.3 格拉布斯（Grubbs）准则

设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按

?x?x??x大小顺序排列，即x，可能为异常值的测量数据一定出现在最大123n或最小的数据中.

?(x?x)/s.式中x是均值、s是标准若最小值x1是可疑的，则检验统计量G11n1n2x,s?(x?x). 差，即x???iini?n?11i?1对于检验统计量G，格拉布斯导出了其统计分布，并给出了当显著水平a为1%或5%时的临界值G(1?n)(n).G(1?n)(n)称格拉布斯系数，可通过抽查表得到.当最小值x1或最大值xn对应的检验统计量G大于临界值时，则认为与之对应的x1或

xn为可疑异常值，应予以剔除.

2

内江师范学院本科学年论文

2.4 指数分布时异常值检验

设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即x.检验最小值或最大值是否为异常值的检验方法?x?x??x123n如下：

当样本量n?100时，计算统计量Tn(n)?xn/?xi及Tn(1)?x1/?xi

i?1i?1nn对于给定的显著水平a（通常取0.5）和样本数量n，通过查表得到Tn(n)及Tn(1)分别对应的临界值T时，认为xn为异常值；(1?a)和Tn(1)(a).若T?T(1?a)n(n)nn()nn()?T(a)时，认为x1为异常值. 若Tn(1)n(1)n当样本容量n?100时，计算统计量E及?(n?1)(x?x)/(x?x)?n(n)nn?1in?1i?1nE?n(n?1)x/(x?nx). ?n(1)1i1i?11?n?1?F?(n?1)(a?1)，则对于给定显著水平a和样本数量n，若En()n2,2n~2,1?a?F?(n?1)[(1?a)?1]判断xn为异常值；若E，则判断x1为异常值. n(1)2,2n?2,a1?n?12.5 莱茵达准则（PanTa）

n,x,x,?,x对于实验数据测出值x，求取其算术平均值x?1/n?xi及剩余123ni?121/2?(v/n?1). 误差值vi?xi?x，然后求出其均方根偏差??i判别依据（假设v服从正态分布）：

xi?x?3?，则x相对而言误差较大，应舍去； xi?x?3?，x为正常数据，应该保留.

有概率论统计可知，如果误差服从正要分布，误差大于3?的观测数据出现的概率小于0.003，相当大于300次观测中有一次出现的可能.莱茵达准则只是进行粗略的剔除，取舍的概率较小，可能将不合理的异常值保留.

3

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库试验数据异常值的检验及剔除方法在线全文阅读。