联邦学习 — rin.contact

机器学习的标准配方很简单：把所有数据聚到一处，然后在它上面训练一个模型。但有大量有价值的数据没法被聚起来——它太敏感、太受监管，或散落在不被允许把它汇集到一起的不同组织或司法辖区里。数据被锁在孤岛里，而那个显而易见的办法根本行不通。联邦学习（FL）是那个巧妙的反转：不是把数据带到模型那里，而是把模型带到数据那里——在所有孤岛上训练，而原始数据从不离开它所在的地方。

在任何隐私与数据共享规则起作用之处，它都越来越相关，并与差分隐私和MLOps 页天然相配。这一页讲核心的想法、让它奏效的联邦平均、真实的隐私好处（及其局限），以及那些让它不只是「分布式训练」的困难之处。

当数据无法移动

那个推动性的问题很具体：你想要一个在散布于许多地方的数据上训练的模型——医院、机构、手机、司法辖区——但数据无法被集中。隐私法禁止它，数据在商业上或法律上敏感，或者它根本不能离开持有它的设备或组织。你被卡住了：你本可以从所有数据建起的模型，会远好过任何单个孤岛独自能训练的，然而你没法把数据合起来去建它。联邦学习是走出那个困局的路。

把模型送到数据

核心的想法是一个让数据待在原地的循环。一个中央服务器持有当前的共享模型。每一轮：它把一份副本发给每一个参与的站点；每个站点在它自己本地的数据上简短地训练它；每个站点只把得到的模型更新（改变了的权重）发回来——而非数据；服务器把那些更新合并成一个改进了的共享模型；循环重复。

联邦学习循环。服务器把共享模型发给每个站点；每个在从不离开的数据上本地训练；只有模型更新回来；服务器把它们平均成一个更好的共享模型、再发出去。原始数据自始至终待在家里。

结果是一个实际上从所有数据中学到了东西的模型，尽管没有任何原始数据被共享或移动过。信息以模型更新、而非记录的形式流动。

联邦平均

合并这些更新的标准算法是联邦平均（FedAvg），而它令人愉快地简单：服务器拿来所有站点的模型更新，计算一个加权平均——每个站点的贡献按它有多少数据来加权（数据更多的站点更有发言权）。那个平均后的模型成为新的共享模型。尽管简单，FedAvg 出奇地有效，是实用联邦学习的主力。

隐私角度——以及它的局限

标志性的好处是隐私：原始数据从不离开它的家，这绕开了集中化最大的风险、并有助于合规。但有一个关键的、诚实的告诫：

为什么它比分布式训练更难

FL 不只是「在许多机器上训练」。它独特的困难：

非独立同分布数据——最大的那个。每个站点的数据都不同、且不代表整体（一家医院的病人与另一家不同）。当本地数据集很偏斜时，把它们的更新平均会朝相互冲突的方向拉，拖慢收敛并使模型有偏。标准机器学习假设独立同分布（IID）数据；FL 几乎从不具备它。
通信成本——每一轮来回发送模型更新是昂贵的，在客户端很多或带宽受限时尤甚；减少轮数很要紧。
掉队者与可靠性——客户端（尤其是设备）会掉线、变慢，或在能力上千差万别；系统必须容忍这一点。

设备对孤岛

两种场景，性格不同：

跨设备——数百万个小的、不可靠的客户端（手机）。著名的例子是手机键盘的下一个词预测，跨手机训练，而不上传任何人打的字。
跨孤岛——少数几个大的、可靠的参与者（医院、银行、机构），每个都有大量敏感数据。参与者更少、赌注更高，也是与「不能合法汇集数据的组织」最相关的场景。

它在我工作中的体现

不共享数据地协作

联邦学习所解决的那个确切问题，在政府里是真实存在的：不同的机构或司法辖区持有在法律上或实际上无法合并的敏感数据，然而一个在这一切之上训练的模型，会远比任何一个机构的切片更有用。FL——本地训练、只共享模型更新——是那种协作的机制，而无需隐私法与信任本会禁止的数据共享。是那个跨孤岛的场景契合。

让它保持诚实的，是那个隐私告诫：FL 是一个真实的改进，但它单独并非一个保证——更新可能泄漏，所以为了真正的保护，它必须与差分隐私和安全聚合配对。而非独立同分布的现实（每个机构的数据都不同）是那个让它不只是分布式训练的实际障碍。它与 DP 和治理一道，补全了隐私保护的工具包——那套在不暴露人的前提下，从关于人的数据中获取价值的技术。

60 秒回顾

把模型送到数据的想法、FedAvg、更新泄漏的告诫（DP + 安全聚合），以及非独立同分布的挑战，反映了当前的联邦学习参考文献以及隐私机器学习工作。