跳到正文
方法说明

离群点检测、稳健去噪稳健去噪:在选择估计量之前,先理解崩溃点

离群点是不符合你所研究模式的值。离群点检测就是命名这种不匹配,而每条自动规则都编码了关于模式的假设。本页比较工作台中的三个尺度估计量、它们的效率与崩溃点,以及各自会欺骗你的情形。

可复现流程

下面是工作台针对该方法实际执行的流程,按顺序排列。每一步都包含一个动作、一条可以中止该步骤的规则,以及一份明确的输出。

  1. 01

    选择规则:IQR 围栏、修正 Z 分数、MAD 或 Qn,或 STL 残差规则。

    规则
    规则在应用于任何数据之前,必须先公开自己的效率与崩溃点。
    输出
    生效的规则及其阈值。
  2. 02

    标记违反既定阈值的观测。

    规则
    只有确实违反已声明规则的观测才会被剔除,而不是因为它看起来不寻常。
    输出
    被标记的索引集合。
  3. 03

    为每个被剔除的观测记录规则、阈值与行号。

    规则
    没有来源记录的剔除点不允许出现在结论中。
    输出
    被剔除点表。
  4. 04

    在保留与剔除被剔除观测两种情况下分别重算结论。

    规则
    如果结论发生变化,该变化会作为注意事项被公开,而不是被丢弃。
    输出
    前后对比与注意事项。

IQR 围栏

围栏是 Q1 − k·IQR 与 Q3 + k·IQR,默认 k = 1.5。四分位使用线性插值(R type 7、NumPy 默认)。规则透明,适用于大致对称的数据;在强偏态分布中,它会把长尾当作离群点,即使那些值是真实值。

IQR fences
Q1 − k·IQR and Q3 + k·IQR
What this computes:
Line the data up smallest to largest, take the middle half (25th–75th percentile); anything too far below or above the fences is an outlier.
Example:
Q1 = 10, Q3 = 20, IQR = 10, k = 1.5 → below −5 or above 35 is an outlier.
Caution:
In skewed data it may flag a legitimately long tail; raise k or switch to MAD.

修正 Z 分数

修正 Z 分数以 MAD 为单位度量到中位数的距离。它抵抗极端值,但当 MAD 为零时,每个点都显得无限远。此时工作台不删除任何点,并说明原因。

Modified Z-score
0.6745 · (x − median) / MAD
What this computes:
Distance from the median in units of MAD, more resistant to extremes than the usual Z-score.
Example:
median = 50, MAD = 4, x = 70 → 0.6745 × 20 / 4 ≈ 3.37, near the 3.5 threshold.
Caution:
MAD near 0 inflates the score; impose a floor.

MAD 与 Qn

两者都有 50% 崩溃点:几乎一半数据被污染前,估计仍然有意义。它们在干净高斯数据上的效率差异很大。MAD 保留标准差效率的 37%;Qn 保留 82%。当关注功效且污染不严重时,Qn 是更好的尺度估计;当需要最简单、最易解释与审计的规则时,MAD 更合适。

估计量高斯效率崩溃点最佳用途
标准差100%0%干净、近似正态的数据
MAD37%50%简单稳健规则、严重污染
Qn82%50%稳健但关注功效的分析

STL 残差去噪

对时间序列而言,离群点可能是偏离局部有效模式的点。STL 残差规则以 MAD 为单位比较每个残差与残差中位数。它需要先做分解,并继承错误周期的全部问题。应在诊断之后使用,而不是替代诊断。

管线顺序与可审计性

每一步接收上一步存活的索引;最终剔除集合是各步的并集,每个被剔除点保留剔除它的步骤 id。若剔除离群点改变了趋势结论,结果会说明;工具不会删掉点后,把干净数据的结论当作什么都没发生。

常见问题

离群点检测应该用 IQR 还是 MAD?

近似对称、只需要透明围栏时用 IQR;极端值会扭曲四分位或分布重尾时用 MAD 或修正 Z 分数。强偏态数据中,IQR 可能把合法的长尾标成离群。

MAD 与 Qn 有什么区别?

两者崩溃点都是 50%。在干净高斯数据上,MAD 保留标准差效率的 37%,Qn 保留 82%。当关注功效且污染不严重时 Qn 更好;需要简单、易解释与审计时 MAD 更合适。

修正 Z 分数阈值应该取多少?

常用阈值是 3.5,公式为 0.6745·(x − median)/MAD。阈值越低剔除越多、假阳性越高;越高保留越多极端值。MAD 为零时分数无定义,因此工作台不删除任何点并说明原因。

STL 残差能检测时间序列离群点吗?

可以先分解再判断:残差与残差中位数之差超过 k 倍 MAD 的点是候选。该规则继承错误周期的全部问题,因此应在诊断之后使用,并先确认周期长度。

相关方法说明

引用本页:Detrend, “稳健去噪:在选择估计量之前,先理解崩溃点”, https://detrend.datacorp.top/zh-CN/methods/robust-denoising. 最后更新 2026-11-15。

验证矩阵常见问题全部方法RSSllms.txt

在自己的工作簿上运行这套流程

工作台在本地执行同样的步骤,根据诊断选择方法,并保留所有备选结果可见。

打开工作台