Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好
与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。
另一个显而易见的好处是，由于 Lion 的简单性，Lion 在我们的实验中具有更快的运行时间（step/s），通常比 AdamW 和 Adafactor 提速 2-15%，具体取决于任务、代码库和硬件。
2.1 图像分类
2.2 视觉-语言对比训练
2.3 扩散模型
2.4 语言建模
和因式分解相关的参数。 为了确保公平比较，我们使用对数标度为 AdamW (Adafactor) 和我们的 Lion 调整峰值学习率
和解耦权重衰减
。 AdamW 中
和
的默认值分别设置为 0.9 和 0.999，
为
，而在 Lion 中，
和
的默认值
是通过程序搜索过程发现的，分别设置为 0.9 和 0.99。 作者只调整语言任务中的那些超参数，其中
，
在 AdamW 中，
，
在 Lion 中。 此外，AdamW 中的
设置为
而不是默认的
，因为它提高了我们实验中的稳定性，类似于 RoBERTa 中的观察结果。
，作为符号操作的结果，因此它具有比其他优化器生成的更大的范数。 根据作者的经验，Lion 的合适学习率通常比 AdamW 小 10 倍，尽管有时小 3 倍的学习率可能表现稍好。 由于有效权重衰减为
，因此用于 Lion 的
值比 AdamW 大 10 倍，以保持相似的强度。 例如，
,
在 Lion 和
,
在 ImageNet 上训练 ViT-B/16 时使用强增强。
,
和 AdamW 中的
,
用于扩散模型。
、
和 Adafactor 中的
、
用于 7.5B 语言建模。
和
。 热图表明，与 AdamW 相比，Lion 对于不同的超参数选择更加稳健。
左：批量大小影响的消融实验。 Lion 比 AdamW 更喜欢更大的批次。 当我们为 AdamW（中间）和 Lion（右）改变
和