Ctrl+K

Lecture8

Lecture8#

这份PPT是关于如何提高大型语言模型（LLM）的事实性（factuality）的讨论，由Eric Mitchell在斯坦福大学的CS329T课程中进行。以下是对PPT内容的详细解释和分析，以及相应的课程笔记。

1. LLM的事实性问题#

  • 问题：LLM可能非常有说服力，但并不总是正确的。

  • 例子：引用了关于Google AI chatbot Bard的错误信息的报道。

2. Transformer概述#

  • Transformer：一种用于自然语言处理的模型，它通过注意力机制（self-attention）来处理输入序列。

  • 自回归Transformer：预测下一个词/像素/标记的概率分布。

3. 事实性的希望#

  • 问题：LLM是否能够模拟出陈述的真实性？

  • 方法：通过监督学习或无监督学习来映射隐藏状态到{真，假}。

4. 解码陈述的真实性#

  • 策略：使用监督学习或无监督学习来解码LLM隐藏状态的真实性。

  • 研究：Burns, Ye, Klein, & Steinhardt (ICLR 2023) 展示了如何无监督地训练探针来预测陈述的真实性。

5. 模型置信度与真实性#

  • 研究：Kadavath et al. (2022) 测量模型校准度，即模型置信度是否反映了答案正确的概率。

  • 发现：更大的LLM模型校准度更好。

6. 模型不确定性与真实性#

  • 研究：Kuhn et al. (2022) 探讨了模型不确定性（如预测熵）是否与真实性相关。

  • 语义熵：通过将等价的响应组合在一起，然后计算这些组合的熵，而不是单个标记序列的熵。

7. 提高LLM的事实性#

  • 当前训练方法：通过人类反馈进行强化学习（RLHF）。

  • 问题：RLHF鼓励使人类标签者满意的行为，但决定“这个响应是否事实正确”比“我喜欢这个响应”要困难得多。

8. RLHF训练过程#

  • 步骤：首先进行大量的无监督生成模型训练，然后通过人类反馈学习奖励模型，最后学习一个优化奖励的策略。

9. 自动化事实性排名#

  • 方法：使用FactScore (Min et al., 2023) 进行基于参考的真实性排名。

10. 事实性调整的效果#

  • 研究：Tian*, Mitchell*, Yao, Manning, Finn (2023) 发现，只有使用基于参考的事实性排名的事实性调整才能严格优于监督式微调。

11. 结论#

  • 挑战：构建产生事实性输出的系统是NLP中的关键挑战。

  • 原因：LLM拥有（一些）关于真实和虚假的内部模型。

  • 方法：与典型的RLHF不同，使用自动化事实性排名的RLHF可以提高事实性。

课程笔记总结#

  • LLM事实性问题：了解LLM可能产生误导性但有说服力的响应的问题。

  • Transformer模型：学习Transformer和自回归Transformer的基础知识。

  • 事实性的希望：探索LLM是否能够模拟陈述的真实性。

  • 解码真实性：了解如何通过监督和无监督学习方法解码LLM隐藏状态的真实性。

  • 模型置信度：学习模型置信度与答案正确概率之间的关系。

  • 模型不确定性：了解模型不确定性如何与真实性相关。

  • 提高事实性：了解当前LLM训练方法，如RLHF，以及它们如何影响事实性。

  • 自动化事实性排名：学习如何使用FactScore进行事实性排名。

  • 事实性调整效果：了解事实性调整在提高LLM事实性方面的效果。

  • 结论：认识到构建产生事实性输出的系统的重要性，并了解LLM在表示真实性方面的潜力。

这份PPT提供了对提高LLM事实性的全面了解，包括当前的挑战、潜在的解决方案和最新的研究进展。通过这些课程笔记，学习者可以更好地理解LLM在事实性方面的潜力和提高方法。

Contents