cs25

• Lecture1
  • 1. AI的快速发展
  • 2. 研究变化本身的意义
  • 3. 预测未来轨迹的困难
  • 4. AI研究的当前状态
  • 5. 大脑规模的计算能力
  • 6. AI研究者的工作
  • 7. AI进展的苦涩教训
  • 8. 结构与可扩展性
  • 9. 选择适当的结构
  • 10. 长期与短期的权衡
  • 11. 总结
  • 12. Transformer架构变体
  • 13. 处理过程
  • 14. 编码器-解码器架构
  • 15. 仅编码器架构
  • 16. 仅解码器架构
  • 17. 编码器-解码器与仅解码器架构的差异
  • 18. 将编码器-解码器转换为仅解码器
  • 19. 额外的结构
  • 20. 示例应用
  • 21. 指令微调
  • 22. 编码器-解码器的额外结构
  • 23. 深度神经网络的层级编码
  • 24. 双向性的重要性
  • 25. 多轮对话的输入注意力模式
  • 26. 结论
  • 课程笔记总结
• Lecture2
  • 1. 语言模型的基本问题
  • 2. 查看数据的重要性
  • 3. 语言模型回顾
  • 4. 语言模型的直觉1
  • 5. 下一个词预测的示例任务
  • 6. 语言模型的直觉2
  • 7. 规模扩展的效果
  • 8. 规模扩展的原因
  • 9. 语言模型的直觉3
  • 10. 损失的组成
  • 11. 突现现象
  • 12. 突现的示例
  • 13. 语言模型的直觉4
  • 14. 反向和U形规模扩展
  • 15. 大型语言模型的直觉
  • 课程笔记总结
• Lecture3
  • 1. 语言模型的简史
  • 2. 重要的语言模型发布
  • 3. 强化学习与人类反馈（RLHF）
  • 4. RLHF的重要性
  • 5. 讲座概览
  • 6. 模型对齐的定义
  • 7. 开放指令调整模型的首次出现
  • 8. 模型对齐的资源
  • 9. 稳定Vicuna：第一个RLHF模型
  • 10. QLoRA和Guanaco
  • 11. 评估与期望
  • 12. 评估工具的建立
  • 13. RLHF的工作方式
  • 14. 偏好（奖励）建模
  • 15. 直接偏好优化（DPO）
  • 16. DPO与RL（PPO、REINFORCE等）
  • 17. RLHF阶段：Zephyr β和Tulu 2
  • 18. RLHF阶段：SteerLM和Starling
  • 19. 当代生态系统
  • 20. 当前方向
  • 21. 开放对齐发生的地方
  • 课程笔记总结
• Lecture4
  • 1. 课程教师介绍
  • 2. 课程安排
  • 3. 本次课程新内容
  • 4. 重要声明
  • 5. 学习目标
  • 6. Transformer和LLMs简介
  • 7. Transformer与RNNs的比较
  • 8. 大型语言模型（LLMs）
  • 9. LLMs的出现能力
  • 10. 超越规模
  • 11. RLHF、ChatGPT、GPT-4、Gemini
  • 12. 2024年的现状
  • 13. 未来（下一步是什么？）
  • 14. 未来（缺少什么？）
  • 15. Transformer的主要应用
  • 16. LLMs的近期趋势和剩余弱点
  • 17. 从语言模型到AI代理
  • 18. AI代理的构建
  • 19. AI代理的自主性
  • 20. 代理间通信
  • 21. 未来方向
  • 课程笔记总结