Lecture9#
这份PPT是关于变换器模型的扩展法则（Scaling Laws）的课程介绍，由Carter Blair和Cole Wyeth在2024年3月31日为加拿大滑铁卢大学（UWaterloo）的CS886课程准备。以下是对PPT内容的详细解释和分析，以及相应的课程笔记：
扩展法则（Scaling Laws）#
动机：研究模型性能如何随着规模增加而变化的科学问题，以及训练前沿模型的工程重要性和安全性重要性。
Kaplan et al., 2020#
主要研究问题：计算、数据、参数数量和性能之间的关系是什么？
主要思想：训练不同规模的模型，并发现损失与规模可预测地相关。
推荐：基于扩展法则提出某些建议，如参数与数据的比率、不要训练到收敛、关键批量大小。
Kaplan et al., 2020 - 主要结果#
性能：与规模因素N（模型大小）、D（数据大小）、C（计算量）有幂律关系，当不受其他两个因素限制时。
训练曲线：遵循可预测的幂律，其参数大致与模型大小无关。
样本效率：大型模型比小型模型更样本高效，用更少的优化步骤和数据点达到相同性能水平。
Kaplan et al., 2020 - 结论#
损失：交叉熵损失可预测地随模型规模变化。
模型形状：与规模相比，模型形状的影响要小得多。
嵌入参数：嵌入参数的数量并不真正重要。
预测最终损失：基于训练曲线的早期部分可以预测模型的最终损失。
训练至收敛：训练模型至收敛在计算上是低效的。
理想批量大小：理想批量大小仅与损失的幂律有关，与模型大小无关。
Kaplan et al., 2021 - 迁移学习的扩展法则#
主要研究问题：迁移学习的实证扩展法则是什么？
Kaplan et al., 2021 - 主要结果#
预训练：在低数据环境下非常有价值。
有效数据转移：量化“有效数据转移”与另一个幂律的关系。
数据集相似性：研究“固化”现象，即预训练是否会损害性能。
Hutter, 2021 - 学习曲线理论#
主要研究问题：我们能否数学上复制观察到的神经扩展幂律？
Hoffman et al., 2022 - 训练计算最优的大型语言模型#
主要研究问题：在固定计算预算下，模型大小和训练令牌数量之间的最佳权衡是什么？
Hoffman et al., 2022 - 主要结果#
训练：大型语言模型显著地未被充分训练。
模型大小与训练令牌：应该平等地缩放模型大小和训练令牌数量。
Emergent Abilities（突现能力）#
Wei et al., 2022：调查和讨论大型语言模型的突现能力及其原因。
Schaeffer et al., 2023 - 突现能力的幻觉#
主要研究问题：大型语言模型中新能力的明显突然出现是否真的是用于衡量它们的指标选择的结果？
Schaeffer et al., 2023 - 主要结果#
度量标准：非线性或不连续的度量标准可以在没有线性或连续度量标准的情况下显示出能力的突然变化。
Complicating Scaling Laws（复杂的扩展法则）#
Wei et al., 2022：逆向扩展可以变成U形。
Tay et al., 2022 - 通过额外0.1%的计算超越扩展法则#
主要研究问题：新的训练技术能否改善扩展？
Tay et al., 2022 - 结果#
改进的扩展属性：在540B模型中，中间检查点的节省率大约为2倍。
Tay et al., 2022 - 结论#
扩展法则：可能适用于自回归训练。
新的训练方案：如UL2，可能给我们带来意想不到的额外性能。
这份PPT为学生提供了变换器模型扩展法则的全面介绍，包括它们在不同研究中的发现、迁移学习、突现能力以及如何通过新的训练技术来改善扩展。通过这些笔记，学生可以更好地理解变换器模型的扩展法则，以及如何利用这些法则来优化模型性能和训练效率。