离群点检测、稳健去噪稳健去噪:在选择估计量之前,先理解崩溃点
离群点是不符合你所研究模式的值。离群点检测就是命名这种不匹配,而每条自动规则都编码了关于模式的假设。本页比较工作台中的三个尺度估计量、它们的效率与崩溃点,以及各自会欺骗你的情形。
可复现流程
下面是工作台针对该方法实际执行的流程,按顺序排列。每一步都包含一个动作、一条可以中止该步骤的规则,以及一份明确的输出。
- 01
选择规则:IQR 围栏、修正 Z 分数、MAD 或 Qn,或 STL 残差规则。
- 规则
- 规则在应用于任何数据之前,必须先公开自己的效率与崩溃点。
- 输出
- 生效的规则及其阈值。
- 02
标记违反既定阈值的观测。
- 规则
- 只有确实违反已声明规则的观测才会被剔除,而不是因为它看起来不寻常。
- 输出
- 被标记的索引集合。
- 03
为每个被剔除的观测记录规则、阈值与行号。
- 规则
- 没有来源记录的剔除点不允许出现在结论中。
- 输出
- 被剔除点表。
- 04
在保留与剔除被剔除观测两种情况下分别重算结论。
- 规则
- 如果结论发生变化,该变化会作为注意事项被公开,而不是被丢弃。
- 输出
- 前后对比与注意事项。
IQR 围栏
围栏是 Q1 − k·IQR 与 Q3 + k·IQR,默认 k = 1.5。四分位使用线性插值(R type 7、NumPy 默认)。规则透明,适用于大致对称的数据;在强偏态分布中,它会把长尾当作离群点,即使那些值是真实值。
- What this computes:
- Line the data up smallest to largest, take the middle half (25th–75th percentile); anything too far below or above the fences is an outlier.
- Example:
- Q1 = 10, Q3 = 20, IQR = 10, k = 1.5 → below −5 or above 35 is an outlier.
- Caution:
- In skewed data it may flag a legitimately long tail; raise k or switch to MAD.
修正 Z 分数
修正 Z 分数以 MAD 为单位度量到中位数的距离。它抵抗极端值,但当 MAD 为零时,每个点都显得无限远。此时工作台不删除任何点,并说明原因。
- What this computes:
- Distance from the median in units of MAD, more resistant to extremes than the usual Z-score.
- Example:
- median = 50, MAD = 4, x = 70 → 0.6745 × 20 / 4 ≈ 3.37, near the 3.5 threshold.
- Caution:
- MAD near 0 inflates the score; impose a floor.
MAD 与 Qn
两者都有 50% 崩溃点:几乎一半数据被污染前,估计仍然有意义。它们在干净高斯数据上的效率差异很大。MAD 保留标准差效率的 37%;Qn 保留 82%。当关注功效且污染不严重时,Qn 是更好的尺度估计;当需要最简单、最易解释与审计的规则时,MAD 更合适。
| 估计量 | 高斯效率 | 崩溃点 | 最佳用途 |
|---|---|---|---|
| 标准差 | 100% | 0% | 干净、近似正态的数据 |
| MAD | 37% | 50% | 简单稳健规则、严重污染 |
| Qn | 82% | 50% | 稳健但关注功效的分析 |
STL 残差去噪
对时间序列而言,离群点可能是偏离局部有效模式的点。STL 残差规则以 MAD 为单位比较每个残差与残差中位数。它需要先做分解,并继承错误周期的全部问题。应在诊断之后使用,而不是替代诊断。
管线顺序与可审计性
每一步接收上一步存活的索引;最终剔除集合是各步的并集,每个被剔除点保留剔除它的步骤 id。若剔除离群点改变了趋势结论,结果会说明;工具不会删掉点后,把干净数据的结论当作什么都没发生。
常见问题
离群点检测应该用 IQR 还是 MAD?
近似对称、只需要透明围栏时用 IQR;极端值会扭曲四分位或分布重尾时用 MAD 或修正 Z 分数。强偏态数据中,IQR 可能把合法的长尾标成离群。
MAD 与 Qn 有什么区别?
两者崩溃点都是 50%。在干净高斯数据上,MAD 保留标准差效率的 37%,Qn 保留 82%。当关注功效且污染不严重时 Qn 更好;需要简单、易解释与审计时 MAD 更合适。
修正 Z 分数阈值应该取多少?
常用阈值是 3.5,公式为 0.6745·(x − median)/MAD。阈值越低剔除越多、假阳性越高;越高保留越多极端值。MAD 为零时分数无定义,因此工作台不删除任何点并说明原因。
STL 残差能检测时间序列离群点吗?
可以先分解再判断:残差与残差中位数之差超过 k 倍 MAD 的点是候选。该规则继承错误周期的全部问题,因此应在诊断之后使用,并先确认周期长度。
相关方法说明
引用本页:Detrend, “稳健去噪:在选择估计量之前,先理解崩溃点”, https://detrend.datacorp.top/zh-CN/methods/robust-denoising. 最后更新 2026-11-15。
在自己的工作簿上运行这套流程
工作台在本地执行同样的步骤,根据诊断选择方法,并保留所有备选结果可见。
打开工作台