MLOps 与模型监控

01

最后一公里的鸿沟

这个领域里有一个著名而发人深省的统计数字：被构建出来的模型，有很大一部分从未真正进入生产。「它 在我笔记本里能跑」与「它可靠地运行、服务真实用户、并保持准确」之间的鸿沟是巨大的，而它大多是 工程与运营，而非建模。MLOps 是那套——从软件的 DevOps 借来的——弥合那道鸿沟的实践。

心态的转变才是重要的部分：一个已部署的模型是一个要去运营的系统，而非一个要 归档的结果。它需要版本控制、测试、监控，以及一个应对它表现下滑那一天的计划——因为那一天总会来。

02

模型生命周期是一个循环

MLOps 的决定性想法是：一个模型的生命不是一条终止于部署的直线——它是一个循环： 训练、部署、监控、（当它衰减时）重新训练，一圈又一圈。部署不是终点；它是一个只要模型还在用就 一直转动的循环上的一站。

03

部署的方式

把一个模型送到它能做预测的地方，有几种常见的形态，而选择取决于预测如何被使用：

• 批处理——按计划在一堆数据上运行模型（隔夜给每个个案打分）。简单而稳健；在不需要 即时预测时很好。
• 实时 / API——把模型包进一个服务里，按需一次回答一个请求。当一个决策实时发生时 需要它，但活动部件更多。
• 影子部署——让一个新模型与旧的并排运行，比较它的预测而不据以行动，以在切换之前 建立信心。

04

模型为何腐烂：漂移

这就是让监控没得商量的那个事实：一个模型的准确度随时间衰减，尽管模型本身从不改变。它是在世界的一张快照上训练的，而世界继续向前。这就是漂移，它有两种值得 区分开来的味道：

• 数据漂移——输入的分布移动了。新种类的客户、一个改变了的流程、一个不同的 季节——流进来的数据不再像训练数据，即便底层的关系仍然成立。
• 概念漂移——输入与目标之间的关系变了。去年能预测欺诈的，今年不能了，因为 欺诈者适应了。游戏本身的规则移动了，而这是更危险的那种。

两者都悄悄侵蚀表现，而除非你盯着，否则哪一个都不会显现。一个上线时优秀的模型，一年后可能悄悄 变得一文不值——直接连到时间序列页的模型陈旧告诫，以及异常检测里那个不断演化的目标问题。

05

监控什么

监控一个机器学习系统，意味着盯着的不只是服务器是否在线。那些层，从最容易到最有价值：

• 运营健康——延迟、错误、在线时长。标准的软件监控；必要但不充分。
• 输入分布——盯着进来的特征以发现数据漂移。这是最早的警告，立刻就有，甚至在你知道 预测是否出错之前。
• 预测——追踪模型输出的分布；一个突然的移动是一面红旗。
• 结果——黄金标准：把预测与实际发生的相比较。难处是标签滞后——真相 往往在几周或几个月后才到（被标记的个案真的原来是欺诈吗？），所以准确度只能事后确认。

06

训练-服务偏斜

一个微妙而常见的生产 bug：训练-服务偏斜——模型在生产中看到的数据，与它训练时的 数据被以不同的方式处理。一个特征在训练笔记本里以一种方式计算、在活服务里以另一种方式计算，就 意味着模型实际上被喂入了它从未学过的输入，而它表现欠佳的原因，与模型本身毫无关系。

标准的防御是一个特征存储——每个特征的一个单一、共享的定义，对训练与服务都被同样地 使用，好让两者无法分道扬镳。它是泄漏与可复现性纪律在生产中的表亲：同样的转换，以同样的 方式，每一次都如此。

07

何时重新训练

漂移的答案是在新鲜的数据上重新训练——但何时？两种策略，常常结合使用：

• 定时——按固定的节奏重新训练（每月、每季）。简单而可预测，但可能不必要地重新 训练、或太晚。
• 触发——当监控检测到漂移、或一次表现下降越过一个阈值时重新训练。更灵敏，也是现代 MLOps 偏好的方向——监控自己决定循环的下一圈何时开始。

08

它在我工作中的体现

09

60 秒回顾

数据漂移对概念漂移的区分、输入分布监控、训练-服务偏斜，以及触发式重新训练的实务，反映了当前的 MLOps 参考文献以及亲身的工作。