LLM-101-Bootcamp

---

项目介绍

---

项目简介

目录

• 第01章：Bigram语言模型（语言建模）
  • 1. 语言模型基础概念
    • 什么是语言模型
    • 语言模型的历史发展
    • 语言模型的应用场景
  • 2. 概率论基础
    • 条件概率
    • 联合概率
    • 马尔可夫假设
  • 3. Bigram模型详解
    • Bigram模型的数学定义
    • 从文本数据构建Bigram模型
    • Bigram模型的参数估计
  • 4. 实现一个简单的Bigram模型
    • 数据预处理
    • 模型训练
    • 文本生成
    • 完整示例
  • 5. Bigram模型的局限性
    • 稀疏性问题
    • 上下文有限问题
    • 平滑技术简介
  • 总结
• 第02章：Micrograd（机器学习，反向传播）
  • 1. 机器学习基础
    • 监督学习、无监督学习与强化学习
    • 损失函数与优化
    • 梯度下降法
  • 2. 计算图与自动微分
    • 前向传播
    • 反向传播算法详解
    • 链式法则
  • 3. Micrograd框架介绍
    • Micrograd的设计理念
    • 核心组件与架构
  • 4. 从零实现Micrograd
    • 实现Value类
    • 实现基本运算操作
    • 实现反向传播
  • 5. 使用Micrograd构建简单神经网络
    • 实现神经网络层
    • 训练过程实现
    • 案例：使用Micrograd解决简单分类问题
  • 总结
• 第03章：N-gram模型（多层感知器，矩阵乘法，GELU激活函数）
  • 1. 从Bigram到N-gram
    • N-gram模型的数学定义
    • 高阶N-gram的优势与挑战
  • 2. 多层感知器(MLP)基础
    • 感知器模型
    • 多层网络结构
    • 前向传播算法
  • 3. 矩阵乘法在深度学习中的应用
    • 矩阵乘法基础
    • 向量化计算的优势
    • 批处理技术
  • 4. 激活函数详解
    • 常见激活函数比较
    • GELU激活函数的特点
    • 为什么现代语言模型选择GELU
  • 5. 实现基于MLP的N-gram模型
    • 模型架构设计
    • 训练与评估
    • 与传统N-gram模型的比较
  • 总结
• 第04章：注意力机制（Attention，Softmax，位置编码器）
  • 1. 序列模型的挑战
    • 长距离依赖问题
    • RNN及其变体的局限性
  • 2. 注意力机制基础
    • 注意力的直观理解
    • 查询(Query)、键(Key)、值(Value)三元组
    • 注意力分数计算
  • 3. Softmax函数详解
    • Softmax的数学定义
    • 数值稳定性考虑
    • 实现技巧
  • 4. 位置编码器
    • 为什么需要位置信息
    • 正弦余弦位置编码
    • 可学习位置编码
  • 5. 实现自注意力机制
    • 自注意力层的前向传播
    • 自注意力层的反向传播
    • 案例：使用自注意力处理序列数据
  • 总结
• 第05章：Transformer（transformer架构，残差连接，层归一化，GPT-2）
  • 1. Transformer架构概览
    • 编码器-解码器结构
    • 多头注意力机制
    • 前馈神经网络
  • 2. 残差连接
    • 残差连接的动机
    • 梯度流与信息流
    • 实现细节
  • 3. 层归一化
    • 批归一化vs层归一化
    • 数学原理
    • 实现与优化
  • 4. GPT-2模型详解
    • GPT-2架构特点
    • 预训练与生成策略
    • 解码器架构的优势
  • 5. 实现简化版Transformer
    • 构建Transformer块
    • 实现完整模型
    • 训练与文本生成
  • 总结
• 第6章：分词技术(Tokenization)
  • 6.1 分词的基本概念与重要性
  • 6.2 字节对编码(Byte Pair Encoding, BPE)原理
  • 6.3 minBPE算法详解
  • 6.4 实现一个简单的分词器
  • 6.5 分词器训练与优化
    • 6.5.1 词汇量选择
    • 6.5.2 训练语料选择
    • 6.5.3 预处理策略
    • 6.5.4 高级BPE变种
    • 6.5.5 性能优化
  • 6.6 在故事生成中的应用
    • 6.6.1 多语言故事生成
    • 6.6.2 风格和语调控制
    • 6.6.3 角色语音和对话
    • 6.6.4 情感和氛围控制
    • 6.6.5 故事结构和节奏
  • 6.7 总结与展望
• 第7章：优化技术(Optimization)
  • 7.1 神经网络优化基础
  • 7.2 参数初始化方法与重要性
    • 7.2.1 初始化的重要性
    • 7.2.2 常见初始化方法
    • 7.2.3 初始化的实践考虑
    • 7.2.4 初始化的代码实现
  • 7.3 梯度下降及其变种
    • 7.3.1 基本梯度下降
    • 7.3.2 动量法（Momentum）
    • 7.3.3 Nesterov加速梯度（NAG）
    • 7.3.4 Adagrad
    • 7.3.5 RMSprop
    • 7.3.6 Adam
  • 7.4 AdamW优化器详解
    • 7.4.1 Adam与L2正则化的问题
    • 7.4.2 AdamW的解决方案
    • 7.4.3 AdamW的PyTorch实现
    • 7.4.4 AdamW在大语言模型中的应用
  • 7.5 学习率调度策略
    • 7.5.1 固定学习率
    • 7.5.2 学习率衰减
    • 7.5.3 线性预热（Linear Warmup）
    • 7.5.4 线性预热后余弦衰减
    • 7.5.5 在PyTorch中实现学习率调度
    • 7.5.6 故事生成模型的学习率调度
  • 7.6 优化过程中的常见问题与解决方案
    • 7.6.1 梯度消失与爆炸
    • 7.6.2 训练不稳定
    • 7.6.3 过拟合
    • 7.6.4 训练效率低下
    • 7.6.5 优化器状态管理
  • 7.7 故事生成模型的优化实践
    • 7.7.1 完整的训练流程
    • 7.7.2 优化技巧总结
    • 7.7.3 大规模训练的考虑
  • 7.8 总结与展望
• 第8章：速度提升I：设备(Device)
  • 8.1 计算设备概述
    • 8.1.1 主要计算设备类型
    • 8.1.2 计算设备的关键指标
  • 8.2 设备间的性能差异与选择
    • 8.2.1 CPU的特点与适用场景
    • 8.2.2 GPU的特点与适用场景
    • 8.2.3 TPU的特点与适用场景
    • 8.2.4 FPGA和专用加速器
    • 8.2.5 设备选择策略
  • 8.3 CUDA基础与GPU编程
    • 8.3.1 CUDA架构概述
    • 8.3.2 CUDA编程模型
    • 8.3.3 PyTorch中的CUDA编程
    • 8.3.4 自定义CUDA扩展
    • 8.3.5 CUDA性能优化技巧
  • 8.4 内存管理与数据传输优化
    • 8.4.1 GPU内存层次结构
    • 8.4.2 PyTorch中的GPU内存管理
    • 8.4.3 主机与设备间的数据传输优化
    • 8.4.4 内存碎片化与处理
  • 8.5 设备特定优化技巧
    • 8.5.1 CPU优化
    • 8.5.2 NVIDIA GPU优化
    • 8.5.3 其他设备优化
  • 8.6 多设备协同工作
    • 8.6.1 数据并行
    • 8.6.2 模型并行
    • 8.6.3 分布式训练框架
  • 8.7 在故事生成中的应用
    • 8.7.1 训练大型故事生成模型
    • 8.7.2 故事生成模型的推理优化
    • 8.7.3 多设备故事生成系统
  • 8.8 总结与展望
• 第9章：速度提升II：精度(Precision)
  • 9.1 数值精度基础
    • 9.1.1 浮点数表示
    • 9.1.2 精度与计算效率的关系
    • 9.1.3 精度与模型质量的权衡
  • 9.2 混合精度训练原理
    • 9.2.1 混合精度训练的基本原则
    • 9.2.2 混合精度训练的工作流程
    • 9.2.3 损失缩放详解
  • 9.3 实现混合精度训练
    • 9.3.1 PyTorch中的混合精度训练
    • 9.3.2 TensorFlow中的混合精度训练
    • 9.3.3 混合精度训练的最佳实践
    • 9.3.4 完整的混合精度训练示例
  • 9.4 精度与性能的权衡
    • 9.4.1 不同精度格式的比较
    • 9.4.2 FP16 vs BF16
    • 9.4.3 FP8简介
    • 9.4.4 精度选择策略
  • 9.5 精度问题排查与解决
    • 9.5.1 常见精度问题
    • 9.5.2 调试工具和技术
    • 9.5.3 解决方案和最佳实践
  • 9.6 不同精度在故事生成中的影响
    • 9.6.1 精度对生成质量的影响
    • 9.6.2 精度对推理性能的影响
    • 9.6.3 为故事生成选择最佳精度
  • 9.7 总结与展望
• 第10章：速度提升III：分布式(Distributed)
  • 10.1 分布式训练基础
    • 10.1.1 为什么需要分布式训练
    • 10.1.2 分布式训练的挑战
    • 10.1.3 分布式系统架构
  • 10.2 数据并行训练
    • 10.2.1 数据并行的基本原理
    • 10.2.2 同步与异步数据并行
    • 10.2.3 梯度累积
    • 10.2.4 PyTorch中的DistributedDataParallel (DDP)
    • 10.2.5 ZeRO: 零冗余优化器
  • 10.3 模型并行训练
    • 10.3.1 张量并行
    • 10.3.2 流水线并行
    • 10.3.3 混合并行策略
  • 10.4 分布式优化算法
    • 10.4.1 大批量优化
    • 10.4.2 分布式优化器
    • 10.4.3 通信优化
  • 10.5 分布式训练的实用技巧
    • 10.5.1 检查点保存与恢复
    • 10.5.2 分布式训练调试
    • 10.5.3 性能分析与优化
  • 10.6 分布式训练在故事生成中的应用
    • 10.6.1 大型故事生成模型的训练策略
    • 10.6.2 分布式训练配置示例
    • 10.6.3 分布式训练的实际考虑因素
  • 10.7 总结与展望
• 第11章：数据集（Datasets）
  • 11.1 数据集概述
  • 11.2 数据收集
    • 11.2.1 公开数据集
    • 11.2.2 自定义数据收集
  • 11.3 数据清洗与预处理
    • 11.3.1 基础文本清洗
    • 11.3.2 语言学预处理
    • 11.3.3 故事特定的预处理
    • 11.3.4 数据质量控制
  • 11.4 数据加载与处理
    • 11.4.1 数据格式化
    • 11.4.2 数据分割
    • 11.4.3 数据加载库
    • 11.4.4 数据批处理与动态加载
  • 11.5 合成数据生成
    • 11.5.1 基于规则的数据生成
    • 11.5.2 基于模型的数据生成
    • 11.5.3 数据增强技术
    • 11.5.4 合成数据的质量控制
  • 11.6 数据集管理与版本控制
    • 11.6.1 数据集元数据
    • 11.6.2 数据集版本控制
    • 11.6.3 数据集共享与发布
  • 引用
• 上传README.md
  • 11.7 数据集评估与分析
• 第12章：推理 I：KV缓存（KV-Cache）
  • 12.1 推理过程概述
  • 12.2 Transformer架构回顾
    • 12.2.1 Transformer基本结构
    • 12.2.2 自注意力机制详解
    • 12.2.3 自回归生成中的计算冗余
  • 12.3 KV缓存原理
    • 12.3.1 基本原理
    • 12.3.2 数学表示
    • 12.3.3 多层多头注意力中的KV缓存
  • 12.4 KV缓存实现
    • 12.4.1 基本实现
    • 12.4.2 高效实现考虑因素
    • 12.4.3 主流框架中的KV缓存实现
  • 12.5 KV缓存优化技术
    • 12.5.1 内存优化
• 第13章：推理 II：量化 (Quantization)
  • 13.1 量化基础概念
    • 13.1.1 为什么需要量化？
    • 13.1.2 量化的数学基础
    • 13.1.3 量化的类型
  • 13.2 量化技术详解
    • 13.2.1 整数量化
    • 13.2.2 按通道量化与按张量量化
    • 13.2.3 非线性量化
    • 13.2.4 权重压缩与稀疏化
  • 13.3 量化对模型性能的影响
    • 13.3.1 精度损失与量化误差
    • 13.3.2 量化对不同任务的影响
    • 13.3.3 评估量化模型性能
    • 13.3.4 量化敏感层的识别与处理
  • 13.4 实践：LLM模型量化
    • 13.4.1 使用Hugging Face Transformers进行量化
    • 13.4.2 使用GPTQ进行更高效的量化
    • 13.4.3 使用GGML格式进行CPU推理
    • 13.4.4 量化感知微调(QAT)
    • 13.4.5 在我们的故事讲述AI项目中应用量化
• 第14章：监督式微调 I-SFT-14.1 监督式微调基础
  • 14.1 监督式微调基础
    • 监督式微调的概念与原理
    • 预训练与微调的区别
    • 微调在LLM中的重要性
    • 数据集准备与处理
    • 微调的挑战与限制
• 第14章：监督式微调 I: SFT-14.1 监督式微调基础
  • 14.2 参数高效微调技术(PEFT)
    • PEFT的概念与必要性
    • 常见PEFT方法概述
    • 计算资源与效果的权衡
    • PEFT在故事生成中的应用
• 第14章：监督式微调 I: SFT-14.3 LoRA技术详解
  • 14.3 LoRA技术详解
    • LoRA的基本原理与数学基础
    • 低秩适应性的优势
    • LoRA参数设置与调优
    • 与其他PEFT方法的比较
    • LoRA实现的技术细节
    • LoRA在多模态模型中的应用
• 第14章：监督式微调 I: SFT-14.4 聊天模型的监督式微调
  • 14.4 聊天模型的监督式微调
    • 聊天模型的特殊性
    • 对话数据的准备与处理
    • 指令微调(Instruction Tuning)
• 第14章：监督式微调 I: SFT-实践案例：故事讲述模型的SFT实现
  • 14.5 实践案例：故事讲述模型的SFT实现
    • 数据集构建
    • 模型选择与配置
    • 训练过程与参数设置
    • 评估与优化
• 第15章：强化学习微调 II: RL-15.1 强化学习基础
  • 15.1 强化学习基础
    • 强化学习的核心概念
    • 强化学习在NLP中的应用挑战
    • 奖励函数设计
    • 策略与价值函数
    • 探索与利用的平衡
    • RL在NLP中的应用挑战
    • 实际应用示例
• 第15章：强化学习微调 II: RL-15.2 人类反馈的强化学习(RLHF)
  • 15.2 人类反馈的强化学习(RLHF)
    • RLHF的工作原理
    • 人类偏好数据的收集
    • 奖励模型的训练
    • RLHF的实现流程
• 第15章：强化学习微调 II: RL-15.3 近端策略优化(PPO)算法
  • 15.3 近端策略优化(PPO)算法
    • PPO算法的数学基础
    • PPO在LLM中的适应性修改
    • 实现细节与技巧
    • 实现细节与优化
• 第15章：强化学习微调 II: RL-## 15.4 直接偏好优化(DPO)算法
  • 15.4 直接偏好优化(DPO)算法
    • DPO的基本原理
    • DPO与PPO-RLHF的比较
    • DPO的实现细节
    • DPO在故事生成中的应用
    • DPO的高级技术和扩展
    • DPO的实际案例：儿童故事优化
    • DPO的局限性和未来发展
• 第16章：部署-16.1 API开发基础
  • 16.1 API开发基础
    • API设计原则
    • API功能规划
    • API架构设计
    • API规范设计
    • 实现API服务器
    • API测试与文档
    • 部署考虑事项
    • Docker化API服务
    • 总结
• 第16章：部署-16.2 Web应用开发
  • 16.2 Web应用开发
    • Web应用设计原则
    • 用户需求分析
    • 技术栈选择
    • 应用架构设计
    • 前端实现
    • 多模态集成
    • 部署Web应用
    • 性能优化
    • 安全考虑
    • 多模态应用的未来发展
    • 总结
• 第17章：多模态-17.1 多模态基础理论
  • 17.1 多模态基础理论
    • 什么是多模态学习
    • 多模态学习的主要任务
    • 多模态学习的架构
    • 多模态预训练模型
    • 多模态数据集
    • 多模态评估指标
    • 多模态学习的挑战
    • 多模态学习在故事讲述中的应用
• 第17章：多模态-17.2 VQVAE技术详解
  • 17.2 VQVAE技术详解
    • 变分自编码器回顾
    • VQVAE的基本原理
    • VQVAE的架构
    • VQVAE的训练目标
    • VQVAE-2：层次化VQVAE
    • VQVAE的Python实现
    • VQVAE在多模态系统中的应用
    • VQGAN：结合GAN的VQVAE
    • VQVAE与扩散模型的结合
    • VQVAE在故事讲述AI中的实现
    • VQVAE的局限性和未来发展
    • 总结
• 第17章：多模态-17.3 扩散变换器
  • 17.3 扩散变换器(Diffusion Transformer)
    • 扩散模型基础
    • 扩散变换器(Diffusion Transformer)的诞生
    • 扩散变换器的架构
    • 扩散变换器的变种
    • 扩散变换器的训练
    • 扩散变换器的Python实现
    • 扩散变换器在文本到图像生成中的应用
    • 扩散变换器在故事讲述AI中的应用
    • 扩散变换器与其他技术的比较
    • 扩散变换器的最新进展
    • 扩散变换器的局限性和未来方向
    • 总结
• 第17章：多模态-基于LoRA的多模态模型训练
  • 17.4 基于LoRA的多模态模型训练
    • 多模态模型微调的挑战
    • LoRA技术回顾
    • 多模态模型中的LoRA应用
    • 基于LoRA的CLIP模型微调
    • 基于LoRA的BLIP2模型微调
    • 基于LoRA的LLaVA模型微调
    • 基于LoRA的Qwen-VL模型微调
    • LoRA微调的最佳实践
    • 多模态LoRA微调的未来发展
    • 总结
• 第17章：多模态-17.5 多模态模型整合
  • 17.5 多模态模型整合
    • 多模态模型整合的挑战
    • 多模态整合架构设计
    • 整合CLIP、BLIP2、LLaVA和Qwen-VL
    • 多模态模型整合的优化策略
    • 多模态模型整合的未来趋势
    • 总结
• 附录
• 附录A：编程语言基础
  • A.1 编程语言：从汇编到Python
    • 汇编语言：与硬件对话
    • C语言：系统编程的基石
    • Python：AI开发的首选语言
    • 语言交互与混合编程
    • 编程语言选择策略
    • 总结
• 附录B：数据类型基础
  • B.1 数据类型：从整数到字符串
    • 整数类型
    • 浮点数类型
    • 字符串类型
    • 特殊数据类型
    • 数据类型转换
    • 数据类型安全和最佳实践
    • 总结
• 附录C：张量操作基础
  • C.1 张量：形状、视图、步长与连续性
    • 张量的基本概念
    • 张量的存储和布局
    • 张量的视图和重塑
    • 张量的高级索引和切片
    • 张量的广播机制
    • 张量的内存管理
    • 张量的设备管理
    • 张量操作的性能考虑
    • 张量操作的实际应用
    • 总结
• 附录D：深度学习框架
  • D.1 深度学习框架：PyTorch与JAX
    • PyTorch：动态计算图框架
    • JAX：函数式编程与XLA加速
    • PyTorch与JAX的比较
    • 在故事讲述AI系统中的框架选择策略
    • 总结
• 附录E：神经网络架构
  • E.1 神经网络架构：GPT、Llama、MoE及其演进
    • Transformer架构基础
    • GPT系列：从GPT-1到GPT-4
    • Llama系列：开放权重模型
    • 混合专家模型（MoE）
    • 神经网络架构在故事讲述AI中的应用
    • 未来架构趋势
    • 总结
• 附录F：多模态基础
  • F.1 多模态：VQVAE、VQGAN、扩散模型
    • 多模态AI的基础概念
    • VQVAE：向量量化变分自编码器
    • VQGAN：结合GAN的VQVAE
    • 扩散模型
    • 多模态模型训练与整合
    • 多模态技术在故事讲述中的应用
    • 未来发展趋势
    • 总结