向专家学习

01

基本想法

想象有一组专家（算法、模型或策略），不知道哪个最好。每一轮，选择一个专家，学习其成本，并调整权重。乘法权重算法在专家表现不佳时将其权重乘以因子 β（接近 1），表现良好时保持不变。随着时间推移，好的专家积累更高的权重，就能学习。

关键见解是这个简单的重新加权策略是可证明接近最优的。所引起的后悔与专家数量和轮数成正比，但常数因子很小。这使其对各种问题都有用：投资组合管理、在线分类、组合优化。

02

数学

将所有专家权重初始化为 1。每一轮：

1. 按权重比例抽取专家：Pr(专家 i) = 权重[i] / 总权重
2. 为选定的专家招致成本 cost。
3. 对于所有专家，如果它们也招致该成本则将权重乘以 β^cost，否则保持不变。常见规则是 权重[i] ← 权重[i] × (1 - η × 成本[i])，其中学习率 η 很小。

后悔（与始终遵循最佳专家的累积差异）是 O((log n) / η + η T)，其中 n 是专家数量，T 是轮数。最优 η 平衡这两个项。

03

动手试

小工具运行简化的乘法权重模拟。移动学习率滑块以查看专家如何快速重新加权。"新专家"按钮重新打乱质量以显示算法如何适应。

• 高学习率（η 接近 1）：对不佳专家快速响应，但嘈杂。
• 低学习率（η 接近 0.01）：平滑，但从不幸的专家转移缓慢。
• 算法从不完全提交于一个专家；它进行对冲。

04

我在哪用到它

05

容易出错的地方

06

参考资料

• 在线凸优化导论（Hazan）arXiv 1206.4670乘法权重和在线学习算法的全面处理，包含详细的后悔分析。

首次在 （2023）中记录，2026 年扩展。