🎴 最全面的大语言模型索引项目 — 模型卡牌屋 (House of Model Cards) — 使用扑克牌花色体系对 AI 模型进行创意分类，涵盖从 GPT-1 到最新开源模型的完整调研，包含技术细节、性能指标、部署方式与官方资源。

📊 核心统计

🌟 项目特色

• ✅ 覆盖全面：从 GPT-1 到 GPT-5、Claude 4.6、LLaMA 4、Qwen3.5 的完整演进（200+ 模型）
• ✅ 资源完整：每个模型提供 arXiv 论文、GitHub 仓库、HuggingFace 权重、API 文档四件套
• ✅ 🃏 扑克牌分类体系：独创的 House of Model Cards (HOMC) 分类标记法，用扑克牌花色直观标记模型类型
• ✅ 分类科学：5 维快速索引 + 🃏 花色/点数双重标记
• ✅ 安全对齐：完整的 LLM 安全框架、攻击防御指南、开源安全工具推荐
• ✅ 评测详解：30+ Benchmark 基准解读，覆盖通用/代码/数学/多模态/安全/Agent
• ✅ 微调实战：LoRA/QLoRA 完整模板 + 工具链推荐 + 数据工程要点
• ✅ 行业案例：10 大行业落地场景 + RAG 架构图 + 成本估算模型
• ✅ Prompt 工程：高阶技巧 + 不同模型的 Prompt 风格偏好
• ✅ 前沿追踪：视频生成、世界模型等 2026 最新方向
• ✅ 持续更新：跟踪 2024-2026 年最新模型进展
• ✅ 实用导向：包含部署指南、硬件配置、量化方案

🎴 House of Model Cards — 扑克牌分类体系说明

设计理念

花色映射规则

点数规则（数字/A/J/Q/K）

标记示例

♠K  InternVL2    →  视觉语言模型之王 (76B)
♥A  GPT-5        →  SOTA 级别通用语言模型
♦J  StarCoder2   →  代码专业模型
♣Q  LLaVA-OneVision → 多模态大模型
🃏  DeepSeek-R1   →  推理突破性模型 (GRPO强化学习)

与原 HOMC 项目的区别

• 扩展至 LLM 领域：将花色含义从 CV 任务映射到 LLM 任务域
• 增加点数维度：引入 A/J/Q/K 表示模型规模和能力等级
• 保留 Joker 机制：用于标记具有突破性创新的模型
• 双向兼容：对于纯 CV 模型仍使用原始 HOMC 分类标准

📑 目录

1. 快速索引

1.1 按开源状态

1.2 按厂商/组织

1.3 按应用领域

1.4 按参数规模

1.5 按架构类型

1.6 🃏 按扑克牌花色分类

♠ 黑桃 — 视觉与多模态理解 (Spade: Vision & Multimodal Understanding)

♥ 红心 — 通用语言模型 (Heart: General Language Models)

♦ 方块 — 结构化推理与代码 (Diamond: Structured Reasoning & Code)

♣ 梅花 — Agent 与嵌入 (Club: Agent & Embeddings)

🃏 Joker — 突破性创新模型

🃏 双花色标记规则（新增）

♥♠ 通用+视觉   →  GPT-4V, Gemini 3.1, Claude 4.5（原生多模态通用模型）
♥♦ 通用+代码   →  Qwen2.5-Coder, LLaMA 3.2（编码增强的通用模型）
♠♣ 视觉+Agent  →  InternVL-Tool, LLaVA-Agent
🃏♥ 突破+通用   →  DeepSeek-R1, Kimi K2（推理突破 + 通用能力）

说明：主花色（第一个）表示最突出的能力，副花色（第二个）表示次要但显著的能力。

1.7 按推理能力等级分类（⭐ 新增）

2024-2026 年最重要的范式转移：从「快速响应」到「深度推理」。此维度帮助用户按模型的"思考深度"选型。

1.8 按部署场景分类（⭐ 新增）

1.9 按训练对齐方法分类（⭐ 新增）

SFT (2022) → RLHF (2023) → DPO (2023) → GRPO/Muon (2025)
                    ↓                ↓              ↓
               Constitutional      SimPO/KTO     PRM+ORM
                  AI (2023)       (2024)        (2024-25)

1.10 🏆 SOTA 模型排行榜（2026年4月实时）（⭐ 新增）

综合多项基准测试的 Top 10 排行，分为闭源/开源双赛道。

闭源赛道

开源赛道

注意：以上数据来源于各官方技术报告及第三方基准测试（Arena、LMSYS Chatbot Arena），具体数值因评测版本不同可能有差异。

2. 通用基础模型

2.1 OpenAI GPT 系列 ♥A

2.2 Anthropic Claude 系列 ♥A

2.3 Meta LLaMA 系列 ♥K

2.4 Google Gemini/Gemma 系列 ♥Q

2.5 Microsoft Phi 系列 ♥10

2.6 xAI Grok 系列 ♥K

2.7 Mistral AI 系列 ♥Q

2.8 Cohere Command 系列 ♥Q

2.9 TII Falcon 系列 ♥Q

2.10 AI2 OLMo 系列 ♥8~9

2.11 EleutherAI Pythia 系列 ♥8

2.12 BigScience BLOOM 系列 ♥Q

2.13 Stability AI StableLM 系列

2.14 Databricks DBRX 系列

2.15 Snowflake Arctic 系列

2.16 阿里 Qwen 系列 ♥K

2.17 DeepSeek 系列 🃏 Joker

2.18 智谱 GLM 系列 ♥Q

2.19 百度 ERNIE 系列 ♥Q

2.20 腾讯混元系列 ♥K

2.21 字节豆包/Seed 系列 ♠Q / ♦J

2.22 月之暗面 Kimi 系列 🃏 Joker

2.23 MiniMax 系列 ♥K

2.24 面壁 MiniCPM 系列 ♥7

2.25 上海 AI Lab InternLM 系列 ♠Q

2.26 百川 Baichuan 系列 ♥Q

2.27 零一万物 Yi 系列 ♥10

2.28 阶跃星辰 Step 系列

2.29 科大讯飞 星火系列

2.30 360智脑系列

3. 专项领域模型

3.1 代码专项模型 ♦J

3.2 数学推理模型 ♦J

3.3 多模态 VLM 模型 ♠ / ♣

3.4 小语言模型 SLM ♥2~7

3.5 MoE 架构模型 ♥K

3.6 新架构模型（SSM/RNN/Hybrid）🃏 Joker

3.7 推理增强模型 🃏 Joker

3.8 Agent/工具调用模型 ♣J

3.9 嵌入模型 ♣

3.10 医疗/科学模型 ♦10

3.11 音频语言模型 ♣J

3.12 检索增强 RAG 模型 ♣10

4. 技术对比

4.1 性能基准对比（2026年4月）

4.2 API 定价对比（2026年4月，每百万 Token）

4.3 许可协议汇总

5. 部署指南

5.1 硬件配置参考

5.2 推理框架对比

5.3 量化方案对比

5.4 代码示例

from vllm import LLM, SamplingParams

llm = LLM(model="Qwen/Qwen2.5-72B-Instruct", tensor_parallel_size=4)
sampling_params = SamplingParams(temperature=0.7, max_tokens=2048)
outputs = llm.generate(["请介绍一下大语言模型的发展历程"], sampling_params)
print(outputs[0].outputs[0].text)

# 安装
curl -fsSL https://ollama.com/install.sh | sh
# 运行
ollama run qwen2.5:72b

# 量化为 Q4_K_M
./quantize model.gguf model-q4_k_m.gguf Q4_K_M
# 运行
./main -m model-q4_k_m.gguf -p "Hello, world!"

docker run --gpus all -p 8080:80 \
  -v /path/to/model:/model \
  ghcr.io/huggingface/text-generation-inference:latest \
  --model-id /model --num-shard 4

6. 📈 LLM 发展时间线

从 2017 年 Transformer 诞生到 2026 年 AGI 级模型，大语言模型的发展可以用一副扑克牌的演进历程来理解。

6.1 里程碑事件

2017 ┃────────── Attention Is All You Need (Transformer) ──────┃
      │                                                           │
2018 ┃ GPT-1 ♥2  BERT ♠3  T5 ♣4                                │
      │   (117M)    (110M)   (220M)                               │
2019 ┃ GPT-2 ♥5  XLNet ♥6  ALBERT                              │
      │   (1.5B)   (340M)                                        │
2020 ┃ GPT-3 ♥K(175B)  GPT-J ♥8(6B)                            │
      │   Few-shot革命                                            │
2021 ┃ GLM-130B ♥Q  Codex ♦J  ERNIE 3.0                         │
      │   PaLM ♥K(540B)                                           │
2022 ┃ ChatGLM ♥7  Galactica ♦10  LLaMA 1 ♥Q                     │
      │   (开源爆发元年)                                           │
2023 ┃ GPT-4 ♥A  Claude 1 ♥Q  LLaMA 2 ♥K                        │
      │   Mistral 7B ♥J  GPT-4-turbo  DeepSeek-V1                │
      │   (闭源 vs 开源 分野)                                      │
2024 ┃ Claude 3.5  LLaMA 3/3.1  Gemma 2  Qwen 2/2.5              │
      │   DeepSeek-V2/V3  Mamba 🃏  o1 🃏  Phi-3                 │
      │   (MoE + SSM + 推理 三大革命)                             │
2025 ┃ GPT-5 ♥A  Claude 4/4.5  LLaMA 4 Behemoth(2T)♥K           │
      │   DeepSeek-R1 🃏(GRPO)  Kimi K2 🃏  Grok-3               │
      │   Qwen 3/3.5  Gemini 2.5  Mamba-3  RWKV-7               │
      │   (开源首次逼近闭源 SOTA)                                  │
2026 ┃ Claude 4.6 ♥A  Gemini 3.1  GLM-5  Kimi K2.5              │
      │   Intern-S1-Pro  Baichuan-M3  MiniMax-M2.5               │
      │   Qwen3.5  DeepSeek-V3.2  **GPT-5.4 (最新旗舰)**         │
      ┃────────── AGI 能力加速显现 ──────────────────────────────┃

6.2 代际演进特征

6.3 关键技术节点

注意力机制 (2017)
  └─→ 自回归预训练 (GPT, 2018)
       └─→ Scale-up (GPT-3 175B, 2020)  ──┐
                                             ├─→ 并行发展路径:
        RLHF 对齐 (InstructGPT, 2022) ──────┤  1️⃣ 闭源SOTA路线 → GPT-4/5, Claude
                                             │  2️⃣ 开源路线 → LLaMA → Mistral → Qwen
        LLaMA 开源引爆 (2023-02) ──────────┤  3️⃣ 架构创新 → Mamba, RWKV
                                             │  4️⃣ 推理增强 → o1, R1, QwQ
        MoE 效率突破 (Mixtral, 2023-12) ────┤  5️⃣ 多模态统一 → GPT-4V, Gemi
                                             │
        GRPO 纯RL推理 (DeepSeek-R1, 2025) ──┘

7. 🔬 训练方法与对齐技术

模型的"性格"由训练方法决定——同样的骨架，不同的训练方式会产生截然不同的模型。

7.1 预训练范式

7.2 对齐技术矩阵（核心）

7.3 技术演进脉络

SFT (2020) ──基础──→ 所有模型必经之路
                  │
    RLHF (2022) ←──标准── PPO + RM（需要大量人工标注）
       │            │
       │         DPO (2023) ←──简化── 无需RM，直接从偏好学习
       │            │
       │         ORPO/KTO/SimPO (2024) ──进一步降低门槛
       │
    GRPO (2025) ──突破── 无RM、组内相对排序 → 成本↓90%
       │
    RST (2025) ──极致── 纯推理时自训练 → 几乎零额外训练成本

7.4 数据工程

8. ⚡ 场景化模型选择指南

不知道该选哪个模型？根据你的场景，快速找到最合适的 🃏 卡牌。

8.1 决策树

你的主要使用场景是什么？
│
├─ 💬 日常对话 / 通用助手
│  ├─ 追求最强效果 → GPT-5 / Claude 4.6 (♥A, API)
│  ├─ 最佳性价比开源 → Qwen2.5-72B / Qwen3-235B (♥K)
│  ├─ 本地部署 (<16GB显存) → Qwen2.5-7B (♥J) / Phi-4 (♥10)
│  └─ 手机端部署 → Phi-4-mini / SmolLM2 (♥7)
│
├─ 💻 代码生成 / 编程助手
│  ├─ 商业级API → Claude 3.5/4 Sonnet (♥A) / GPT-5
│  ├─ 本地专业 → DeepSeek-Coder-V2-236B (♦J) / StarCoder2-15B
│  ├─ 轻量级 → Qwen2.5-Coder-32B (♦J) / CodeGeeX4-9B
│  └─ 补全/IDE集成 → StarCoder2-3B / CodeLlama-7B
│
├─ 🔢 数学推理 / 科学计算
│  ├─ 最强推理 → DeepSeek-R1 (🃏) / o3 (🃏) / QwQ (🃏)
│  ├─ 数学专用 → Qwen2.5-Math-72B (♦10) / NuminaMath-7B
│  └─ 轻量数学 → DeepSeekMath-7B / Llemma-7B
│
├─ 👁️ 图像理解 / 视觉问答
│  ├─ 最强视觉 → InternVL2-76B (♠K) / LLaVA-OneVision-72B (♠Q)
│  ├─ 平衡之选 → Qwen3-VL-8B (♠10) / CogVLM2-19B (♠J)
│  └─ 端侧部署 → MiniCPM-V-2.6-8B (♠9) / SmolVLM-2B (♠7)
│
├─ 🤖 Agent开发 / 工具调用
│  ├─ 强Agent框架 → Qwen-Agent-72B (♣K)
│  ├─ 工具调用专精 → ToolLLaMA-7B (♣J) / Gorilla-7B (♣J)
│  └─ API调用专精 → Gorilla (♣J)
│
├─ 🔍 向量检索 / 嵌入模型
│  ├─ 多语言通用 → BGE-M3 (♣Q) / GTE-Qwen2-7B (♣10)
│  ├─ 英文专用 → E5-Mistral-7B (♣10)
│  └─ 轻量嵌入 → Nomic Embed v2 (137M, ♣7)
│
├─ 🏥 医疗 / 法律 / 金融垂直领域
│  ├─ 医疗 → MedGemma / HuatuoGPT-o1 / BioMistral
│  ├─ 法律 → ChatLaw-13B
│  └─ 金融 → FinGPT-7B
│
└─ 📱 极致小模型 / 边缘设备
   ├─ <2B → TinyLlama-1.1B / Gemma-2-2B / SmolLM2-1.7B
   ├─ 2-4B → MiniCPM-2.4B / Phi-4-mini-3.8B / MobileLLM-1B
   └─ 移动端 → OpenELM系列 / Apple Intelligence Foundation Models

8.2 场景推荐速查表

8.3 硬件预算与模型匹配

预算等级          可运行模型示例                    适用场景
═════════════════════════════════════════════════════════════
手机/NPU     →  Phi-4-mini, SmolLM2, MiniCPM 4     端侧AI助手
单卡 RTX3060 →  Qwen2.5-7B, Mistral-7B, Gemma-2-9B  个人开发
单卡 RTX4090 →  Qwen2.5-32B, LLaMA 3-8B×2, CodeLlama-34B  专业开发
双卡 RTX4090 →  Qwen2.5-72B, LLaMA 3-70B INT4       小团队服务
单卡 A100 80G →  Mixtral 8x22B, DeepSeek-Coder-V2    企业研发
8× H100      →  LLaMA 4 Behemoth, DeepSeek-V3/R1    前沿研究
云API (无限)  →  GPT-5, Claude 4.6, Gemini 3.1      生产环境

9. 🌍 开源生态地图

开源模型之间不是孤立的——它们形成了复杂的衍生、合并和竞争关系。

9.1 主要家族谱系

                    Meta LLaMA (2023.02) ♥Q
                        │
            ┌───────────┼───────────┬───────────────┐
            ↓           ↓           ↓               ↓
       LLaMA 2      Vicuna      Alpaca          WizardLM
       (2023.07)    (LM Sys)    (Stanford)      (MSRA)
     ♥K            ♥Q          ♥8              ♥J
            │           │           │               │
            └─────┬─────┘           └───────┬───────┘
                  ↓                         ↓
           LLaMA 3/3.1/4              OpenChat
           ♥K/J/A                     ♥Q
                  │
    ┌─────────────┼─────────────┐
    ↓             ↓             ↓
 Yi 系列      Qwen 系列     Baichuan 系列
 (零一万物)   (阿里通义)     (百川智能)
 ♥10          ♥K            ♥Q
    │             │             │
    └─────┬───────┴─────────────┘
          ↓
   中国开源模型生态圈 (Apache 2.0)

                   Mistral AI (法国, 2023.09) ♥J
                        │
            ┌───────────┼───────────┐
            ↓           ↓           ↓
       Mixtral      Codestral    Mistral Large
       8x7B/8x22B    (代码专用)    2/3
       ♥Q            ♦J           ♥Q
            │                       │
            └───────────┬───────────┘
                        ↓
              欧洲开源模型中心 (Apache 2.0)

              DeepSeek (深度求索, 2024.01) 🃏 Joker
                        │
        ┌───────────────┼───────────────┐
        ↓               ↓               ↓
   DeepSeek-V2/V3   DeepSeek-R1    DeepSeek-Coder
   MoE架构          GRPO推理        代码专项
   ♥K               🃏              ♦J
        │               │               │
        └───────┬───────┴───────┬───────┘
                ↓               ↓
      DeepSeek-R1-Distill   DeepSeek-Math
      (蒸馏到Qwen/LaMA)     ♦10

9.2 架构影响关系

Transformer (2017)
  ├── Dense (主流): GPT → LLaMA → Qwen → Mistral → ...  (♥ 全家桶)
  │     └─ MoE分支: Switch → GLaM → Mixtral → DeepSeek-V2/V3 → DBRX → Arctic
  ├── SSM (状态空间): S4 → S5 → Mamba-1/2/3 → Falcon-H1 → Jamba  (🃏 Joker)
  ├── RNN变体: LSTM → RWKV-4/5/6/7  (🃏 Joker)
  ├── Hybrid混合: Jamba(M+A) → RecurrentGemma → Falcon-H1  (♣Q)
  └─ xLSTM扩展: xLSTM-7B  (🃏 Joker)

推理增强 (2024-2025):
  CoT → o1(o-style RL) → DeepSeek-R1(GRPO) → QwQ → Kimi K2(KTO+CoT) → R1-Zero(RST)

9.3 微调生态

10. 🔮 2026 技术趋势展望

基于当前技术轨迹，以下是值得关注的 6 大趋势。

10.1 六大趋势

🔄 趋势一：开源全面逼近闭源 SOTA

🧠 趋势二：推理时计算 (Test-Time Compute) 成为新范式

🌐 趋势三：超长上下文成为标配

🎯 趋势四：Agent 能力从工具调用走向自主规划

⚡ 趋势五：端侧模型性能持续跃升

🔗 趋势六：全模态统一 (Any-to-Any)

10.2 值得关注的模型发布

11. ❓ FAQ 常见问题

Q1: 🃏 扑克牌标记怎么记？

简单记忆法：
- ♥ 红心 = 心脏 = 语言（最重要的）
- ♠ 黑桃 = 铲子 = 视觉（像铲子一样"挖"信息）
- ♦ 方块 = 方正 = 代码/数学（结构化的东西都是方正的）
- ♣ 梅花 = 三叶草 = Agent/嵌入（三片叶子=多功能）
- 🃏 Joker = 王炸 = 打破规则的

Q2: 开源 vs 闭源怎么选？

Q3: 7B / 14B / 72B 模型差距有多大？

Q4: 什么是 MoE？为什么重要？

传统 Dense 模型 (如 LLaMA 70B):
  输入 → [全部70B参数都参与计算] → 输出
  (每次推理都要加载全部参数)

MoE 模型 (如 Mixtral 8x7B = 总46.7B, 仅12.9B激活):
  输入 → [路由器选择其中2个专家] → [仅这2个专家计算] → 输出
  (每次推理只用到约1/4的参数)

Q5: 量化会损失多少精度？

Q6: 如何快速开始部署一个模型？

# 方法一：Ollama（最快，适合新手）
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

# 方法二：vLLM（高性能生产部署）
pip install vllm
python -c "
from vllm import LLM
llm = LLM(model='Qwen/Qwen2.5-7B-Instruct')
print(llm.generate('你好'))
"

# 方法三：llama.cpp（CPU/边缘设备）
# 下载 GGUF 文件后
./main -m qwen2.5-7b-q4_k_m.gguf -p 'Hello' -n 256

Q7: 本项目如何保持更新？如何贡献？

Q8: 🃏 HOMC 与其他 Awesome 列表有什么区别？

12. 🛡️ 安全与对齐

随着 LLM 能力的增强，安全对齐 (Alignment) 已从"锦上添花"变成"生死攸关"。本章梳理主流安全技术体系。

12.1 对齐技术全景图

12.2 主流安全框架对比

12.3 攻击类型与防御

常见攻击手段

防御最佳实践

🛡️ LLM 安全防御纵深体系:

第1层: 输入过滤 (Input Guardrails)
  ├── Prompt Injection 检测 (正则 + 模型分类)
  ├── PII/Sensitive Info 脱敏
  └── 长度/格式校验
      │
第2层: 模型内对齐 (Model Alignment)
  ├── RLHF / DPO / GRPO 训练
  ├── System Prompt 约束 ("你是助手，拒绝...")
  └── Refusal Training (学会优雅拒绝)
      │
第3层: 输出审查 (Output Filtering)
  ├── 有害内容检测 (Perplexity 异常)
  ├── PII 泄露检测
  └── 格式化输出约束 (JSON Schema)
      │
第4层: 运行时防护 (Runtime Protection)
  ├── 速率限制 (Rate Limiting)
  ├── 日志审计 (Audit Logging)
  └── 人机协同 (Human-in-the-loop for 高风险操作)

12.4 开源安全工具

13. 📏 评测基准详解

"你无法改进你不能测量的东西。" — 评测基准是 LLM 进化的标尺。

13.1 基准测试全景图

13.2 如何解读 Benchmark 分数

⚠️ Benchmark 解读指南：

❌ 错误认知：
   - "MMLU 90% = 这个模型什么都懂"
   - "HumanEval 95% = 可以替代程序员"
   - Benchmark 分数越高 = 实际体验越好

✅ 正确理解：
┌─────────────────────────────────────────────┐
│  Benchmark 是标准化场景，不是真实场景        │
│                                             │
│  • MMLU-Pro 考的是多项选择题（可猜）         │
│  • HumanEval 考的是简单函数生成              │
│  • GSM8K 的"数学"≈小学应用题                 │
│                                             │
│  真正重要的是：                             │
│  • 在你的具体任务上做 A/B Test               │
│  • 关注"失败案例"而非平均分                  │
│  • 考虑成本/延迟/质量的综合权衡               │
└─────────────────────────────────────────────┘

13.3 2026 年值得关注的新基准

14. 🔧 微调工具链与实战

从预训练模型到生产级应用的完整微调流水线。

14.1 微调范式总览

14.2 推荐工具链（2026 年版）

🥇 全流程一站式方案

🥈 专业组件

🥉 商业平台

14.3 LoRA 微调实战模板

# ====== QLoRA 微调标准模板 (2026 最佳实践) ======
from datasets import load_dataset
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from trl import SFTTrainer
import torch

# 1️⃣ 加载基座模型（以 Qwen2.5-7B 为例）
model_name = "Qwen/Qwen2.5-7B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    attn_implementation="flash_attention_2",  # ✅ 必须！
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 2️⃣ LoRA 配置（经验值）
lora_config = LoraConfig(
    r=64,           # 秩：越大表达能力越强，但过拟合风险↑
    lora_alpha=128, # 缩放系数 ≈ r × 2
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.05,
    task_type="CAUSAL_LM",
)

# 3️⃣ 训练参数
training_args = TrainingArguments(
    output_dir="./output",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,  # 有效 batch = 16
    num_train_epochs=3,
    learning_rate=2e-4,             # LoRA 推荐学习率
    warmup_ratio=0.03,
    lr_scheduler_type="cosine",
    bf16=True,                      # BF16 > FP16 (无溢出)
    gradient_checkpointing=True,   # 节省显存 ~30%
    logging_steps=10,
    save_strategy="epoch",
    report_to="wandb",              # 可视化训练曲线
)

# 4️⃣ 数据准备（Alpaca 格式）
dataset = load_dataset("json", data_files="train_data.json")

# 5️⃣ 开始微调
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset["train"],
    args=training_args,
    peft_config=lora_config,
    max_seq_length=2048,
)
trainer.train()

# 6️⃣ 保存 LoRA 权重（通常仅几十 MB）
trainer.save_model("./my-lora-adapter")
print("✅ 微调完成！LoRA 权重已保存")

# 7️⃣ 合并基座 + LoRA（可选）
# from peft import PeftModel
# base_model = AutoModelForCausalLM.from_pretrained(model_name)
# model = PeftModel.from_pretrained(base_model, "./my-lora-adapter")
# merged_model = model.merge_and_unload()
# merged_model.save_pretrained("./merged-model")

14.4 数据工程要点

15. 🏭 行业应用案例

LLM 从实验室走向真实世界的 10 大典型落地场景。

15.1 应用矩阵

15.2 RAG 架构最佳实践（企业知识库）

┌──────────────────────────────────────────────────────┐
│                企业级 RAG 架构图                       │
│                                                        │
│  👤 用户提问                                          │
│     │                                                  │
│     ▼                                                  │
│  ┌─────────────┐    ┌──────────────────┐              │
│  │ Query       │───→│ Intent Classifier │              │
│  │ Rewriting   │    │ (意图识别)        │              │
│  └─────────────┘    └────────┬─────────┘              │
│                               │                        │
│              ┌────────────────┼────────────────┐       │
│              ▼                ▼                ▼       │
│       ┌──────────┐   ┌──────────┐   ┌──────────┐     │
│       │ Keyword  │   │ Semantic │   │ Hybrid   │     │
│       │ Search   │   │ Search   │   │ Search   │     │
│       │ (BM25)   │   │ (BGE-M3) │   │ (两者结合)│     │
│       └────┬─────┘   └────┬─────┘   └────┬─────┘     │
│            │              │              │            │
│            ▼              ▼              ▼            │
│       ┌──────────────────────────────────────┐       │
│       │         Re-ranker (重排序)           │       │
│       │  bge-reranker-v2-m3 / Cohere Rerank  │       │
│       └──────────────┬───────────────────────┘       │
│                      ▼                              │
│       ┌──────────────────────────────────────┐       │
│       │  Context Assembly + Windowing        │       │
│       │  (上下文组装 + 滑动窗口截断)          │       │
│       └──────────────┬───────────────────────┘       │
│                      ▼                              │
│  ┌──────────────────────────────────────┐           │
│  │  LLM Generator (生成回答)            │ ◄── 🃏 ♥K   │
│  │  · 引用来源标注                      │           │
│  │  · 不确定时说"我不知道"              │           │
│  │  · 幻觉检测                          │           │
│  └──────────────────────────────────────┘           │
│                      │                              │
│                      ▼                              │
│              📤 结构化回答 + 引用                     │
│                                                        │
│  💾 存储层:                                           │
│  · 向量库: Milvus / Qdrant / FAISS                   │
│  · 文档库: Elasticsearch / MongoDB                     │
│  · 缓存: Redis                                       │
│                                                        │
│  🔄 数据流:                                           │
│  · 文档 → Chunk → Embed → Index → Retrieve → Generate │
└──────────────────────────────────────────────────────┘

15.3 成本估算模型

16. 💡 Prompt Engineering 指南

好的 Prompt = 好的结果。这是性价比最高的一项技能。

16.1 Prompt 设计核心原则

16.2 高阶 Prompt 技巧

Chain-of-Thought (CoT)

❌ 简单提问:
  "小明有5个苹果，给了小红2个，又买了3个，现在几个？"

✅ CoT 提问:
  "请按以下步骤解答:
   ① 列出初始数量
   ② 逐步计算每次变化
   ③ 给出最终答案和验证
   
   问题：小明有5个苹果，给了小红2个，又买了3个，现在几个？"

Self-Consistency (自洽采样)

# 同一问题采样多次，取多数投票结果
question = "求解: 15 × 23 + 47 ÷ 2 = ?"

answers = []
for _ in range(5):
    resp = llm.generate(question, temperature=0.7)
    answers.append(extract_answer(resp))

final_answer = majority_vote(answers)  # 取出现最多的答案

System Prompt 模板

你是一个专业的 {角色}。

## 能力
- 你精通 {领域1}、{领域2} 和 {领域3}
- 你的回答基于事实，不确定时会明确说明

## 约束
- 回答使用 {语言}
- 对于专业术语，首次出现时给出解释
- 代码必须通过编译/运行检查

## 输出格式
{具体的格式要求}

---
用户消息开始:
{user_message}

16.3 不同模型的 Prompt 偏好

17. 🎬 视频生成与世界模型

2025-2026 年最激动人心的前沿方向之一——从理解世界到生成世界。

17.1 视频生成模型

17.2 世界模型 (World Model)

17.3 从 LLM 到 World Model 的演进

LLM 发展路径 (2024-2030):

2024 ┃── 文本/图像理解 (GPT-4V, Gemini) ──────────┃
      │                                                    │
2025 ┃── 多模态统一 (GPT-5, Qwen3.5, Claude 4.6) ────────┃
      │                                                    │
2026 ┃── 视频生成 (Sora, Kling, Veo) ────────────────────┃
      │   · 理解时间连续性                                  │
      │   · 学习物理规律 (重力、碰撞、流体)                 │
      │                                                    │
2027? ┃── 交互式世界模型 ─────────────────────────────────┃
      │   · Genie 2: 图片→可交互 3D 世界                  │
      │   · 用户可以"走进"生成的世界                       │
      │                                                    │
2028? ┃── 通用世界模拟器 ────────────────────────────────┃
      │   · 统一的物理/社会/经济模拟                       │
      │   · AGI 的"沙箱训练场"                            │
      │                                                    │
      ┃────────── 最终目标: 理解并预测真实世界 ──────────┃

18. 参考文献

12.0 综述论文

12.1 训练与对齐技术

12.2 通用基础模型

12.3 中国模型

12.4 代码模型

12.5 数学模型

12.6 多模态 VLM

12.7 小语言模型 SLM

12.8 MoE 架构

12.9 新架构（SSM/RNN/Hybrid）

12.10 推理与对齐

12.11 Agent/工具调用

12.12 嵌入模型

12.13 音频语言

12.14 医疗/科学

12.15 RAG/长上下文

12.16 其他

19. 资源索引

13.1 GitHub 仓库索引（152个）

13.2 HuggingFace 链接索引（162个）

20. 贡献指南

14.1 🃏 Model Card 模板（含扑克牌标记）

### 模型名称

| 版本 | 发布时间 | 参数规模 | 上下文 | 许可协议 | 核心特性 | 🃏 标记 |
|:---|:---|:---|:---|:---|:---|:---|
| v1.0 | YYYY-MM | XB | XK | License | 特性描述 | ♥J |

**官方资源**：
- 📄 论文：[arXiv:XXXX.XXXXX](https://arxiv.org/abs/XXXX.XXXXX)
- 💻 GitHub：[org/repo](https://github.com/org/repo)
- 🤗 HuggingFace：[org/model](https://huggingface.co/org/model)
- 📖 API：https://api.example.com

14.2 🃏 扑克牌标记规范

模型是否具有范式创新？
├─ 是 → 🃏 Joker（如 Mamba、RWKV、DeepSeek-R1）
└─ 否 → 主要功能是什么？
    ├─ 通用语言生成 → ♥ + 按规模定点数
    ├─ 视觉/多模态理解 → ♠ + 按规模定点数
    ├─ 代码/数学/推理 → ♦ + 按规模定点数
    ├─ Agent/嵌入/RAG → ♣ + 按规模定点数
    └─ 其他 → 选择最接近的花色

14.3 贡献流程