LLM-101-Bootcamp#
项目介绍#
项目简介#
目录
- 第01章:Bigram语言模型(语言建模)
- 第02章:Micrograd(机器学习,反向传播)
- 第03章:N-gram模型(多层感知器,矩阵乘法,GELU激活函数)
- 第04章:注意力机制(Attention,Softmax,位置编码器)
- 第05章:Transformer(transformer架构,残差连接,层归一化,GPT-2)
- 第6章:分词技术(Tokenization)
- 第7章:优化技术(Optimization)
- 第8章:速度提升I:设备(Device)
- 第9章:速度提升II:精度(Precision)
- 第10章:速度提升III:分布式(Distributed)
- 第11章:数据集(Datasets)
- 上传README.md
- 第12章:推理 I:KV缓存(KV-Cache)
- 第13章:推理 II:量化 (Quantization)
- 第14章:监督式微调 I-SFT-14.1 监督式微调基础
- 第14章:监督式微调 I: SFT-14.1 监督式微调基础
- 第14章:监督式微调 I: SFT-14.3 LoRA技术详解
- 第14章:监督式微调 I: SFT-14.4 聊天模型的监督式微调
- 第14章:监督式微调 I: SFT-实践案例:故事讲述模型的SFT实现
- 第15章:强化学习微调 II: RL-15.1 强化学习基础
- 第15章:强化学习微调 II: RL-15.2 人类反馈的强化学习(RLHF)
- 第15章:强化学习微调 II: RL-15.3 近端策略优化(PPO)算法
- 第15章:强化学习微调 II: RL-## 15.4 直接偏好优化(DPO)算法
- 第16章:部署-16.1 API开发基础
- 第16章:部署-16.2 Web应用开发
- 第17章:多模态-17.1 多模态基础理论
- 第17章:多模态-17.2 VQVAE技术详解
- 第17章:多模态-17.3 扩散变换器
- 第17章:多模态-基于LoRA的多模态模型训练
- 第17章:多模态-17.5 多模态模型整合
- 附录
- 附录A:编程语言基础
- 附录B:数据类型基础
- 附录C:张量操作基础
- 附录D:深度学习框架
- 附录E:神经网络架构
- 附录F:多模态基础