/knowledge/notes/filling-gaps-in-time-series
概念笔记 · ML
时间序列中的缺失值
Time Series
- 学于
- 时间序列MAST90083
- 时间
- 2024 年第一学期
- 应用于
- 南澳博彩机统计
- 阅读 / 复习
- 约 5 分钟阅读2026-10-15
时间序列数据经常有缺口:传感器失效、调查跳过或财年报告缺失。三种方法(前向填充、后向填充和插值)各自对缺失值与其邻居的关系做出不同的假设。对于预测和因果推断,选择很重要。
01
基本想法
前向填充(ffill)向前复制最后一个已知值。它假设变量保持不变,直到新数据到达。后向填充(bfill)向后复制下一个值。它假设未来值早就存在,这会将未来信息泄露到过去并破坏时间因果关系。插值(线性、样条或多项式)在邻居之间拟合曲线。它假设平滑过渡。
对于预测任务,前向填充是安全的:模型只看到过去的值。后向填充不安全:它使用模型在预测时不会有的未来值。插值如果只使用过去的邻居是安全的,如果使用未来的则危险。
实际应用中,金融数据常用前向填充:价格在新报价前保持不变。传感器数据可能用线性插值:温度通常平滑变化。调查数据通常保留缺口:插值会发明从未观察到的响应。方法的选择取决于数据生成过程和使用目的。错误的填充方法会在下游分析中引入系统性偏差,使模式看起来比实际更平滑或更不稳定。
02
数学
03
动手试
Original
5
∅
∅
8
10
∅
12
ffill
5
5
5
8
10
10
12
Method: ffill
04
我在哪用到它
05
容易出错的地方
06
参考资料
初稿于2023,2026年重写。