Ctrl+K

Lecture1

Lecture1#

这份PDF文档是关于《CS329T Trustworthy Machine Learning: Large Language Models & Applications》课程的概述，由Anupam Datta、John Mitchell和Ankur Taly在2023年秋季学期为斯坦福大学的学生提供。以下是对文档内容的详细解释和分析，以及相应的课程笔记：

课程概览#

  • 课程名称：CS329T 值得信赖的机器学习：大型语言模型与应用

  • 讲师：Anupam Datta (TruEra/CMU)、John Mitchell (Stanford)、Ankur Taly (Google)

课程物流#

  • 讲座时间：周二/周四 3:00 - 4:20pm，Hewlett 101

  • 项目：深入探索特定应用的挑战和方法

  • 实验室：额外的周五会议，涵盖更多细节

  • 网页：http://web.stanford.edu/class/cs329t/

  • Gradescope：作业提交

  • Canvas：成绩

  • Ed：公告，所有其他通信和课堂讨论

  • 斯坦福荣誉守则

讲师信息#

  • Anupam Datta：TruEra的联合创始人、总裁和首席科学家，卡内基梅隆大学教授，研究领域包括安全、隐私和值得信赖的AI。

  • John Mitchell：计算机科学教授，研究领域包括编程语言、计算机安全与隐私、教育和AI。

  • Ankur Taly：谷歌的研究科学家，研究领域包括模型和数据分析、协议分析和程序分析。

课程目标#

  • 理解：评估基于大型语言模型（LLMs）的应用程序的方法和工具。

  • 先决条件：基于Python的机器学习课程（CS229）、深度学习知识（如CS230、CS231N等）、熟悉Python中的ML框架（scikit-learn、Keras）。

  • 成绩构成：75%项目，15%作业，10%课堂参与。

课程组织#

  • 三个模块：

    • 第一部分：LLMOps的背景知识，快速介绍使用LlamaIndex构建LLM应用程序，动手作业评估基于LLM和向量数据库构建的检索增强生成问答应用程序。

    • 第二部分：LLM的关键应用领域，包括医疗保健、教育和安全会议，头脑风暴开发项目方向。

    • 第三部分：当前LLM（应用）评估方法和工具，包括相关性、基础性、置信度、校准、不确定性、可解释性、隐私、公平性、毒性、对抗性攻击等。

课程项目#

  • 小组工作：两人一组

  • 选择LLM应用领域：医疗保健、安全、教育或其他

  • 确定信任需求：识别基于课堂讨论的相关属性

  • 开发方法：基于课堂介绍的方法，寻找衡量、增加或确保LLM在使用中的可信度的方法

LLM革命#

  • 能力：解决大多数NLP任务、执行数学和逻辑推理、在标准化测试中达到人类水平。

LLM的挑战#

  • 问题：倾向于编造事实（幻觉）、不可解释的黑箱、倾向于生成有偏见的内容、使社交工程攻击和诈骗成为可能。

信任度量维度#

  • NLP模型的演变：从基于规则/语法的模型到统计模型，再到预训练的变换器（如BERT、T5、GPT等）。

LLM功能和训练#

  • LLM本质上：是一个下一词预测器，给定输入词序列，预测下一个词的概率分布。

LLM能力示例#

  • 查询理解：解释光合作用给五岁儿童。

  • 推理和解释：解决数学问题。

LLM的局限性#

  • 写作好的提示：仍然是一门艺术。

  • 知识测试：测试LLM的知识，例如写一个关于John C. Mitchell教授的100字传记。

信任度量维度#

  • 基础性：LLM响应被认为是基础性的，如果响应中的每个声明都可以归因于权威知识来源。

  • 一致性：确保LLM响应与语义等价的生成提示、相应的辨别提示、相关解释一致。

  • 置信度：为LLM响应建立置信度/确定性水平。

  • 可解释性：理解/解释/解读模型如何得出响应。

  • 对齐：防止LLM利用其优越的语言理解能力生成有害、有毒、有偏见、不诚实、不可靠的响应。

课程详细概览#

  • 第1周：介绍，LlamaIndex概述；课程工具和方法。

  • 第2-3周：LLM的关键应用领域，包括教育、安全、医疗保健，评估基础性、一致性、置信度和不确定性、对抗性攻击、隐私、公平性。

  • 第4周：项目提案和反馈。

  • 第5-6周：LLM评估，包括上下文相关性、查询相关性、基础性、置信度、校准、不确定性、可解释性。

  • 第7周：项目中期提案和反馈。

  • 第8周：进一步探索，可能的客座演讲，对齐、安全。

  • 第9-10周：项目演示和讨论。

课程项目#

  • 小组工作：选择基于LLM的应用领域，确定信任需求，开发基于课堂方法的方法。

讨论#

  • LLM作为幻觉：除非证明否则，考虑LLMs是幻觉性的。

  • 泛化与记忆：LLMs训练泛化，有时作为副作用记忆。

  • 前进的道路：让LLMs专注于一般任务，将记忆留给其他事物。

背景总结#

  • LLM的强大：展示超人类的表现，但也非常脆弱，以非常非人类的方式失败。

  • 可靠部署：确保LLMs响应是基础性的、一致的、校准的、可解释的、对齐的。

课程人员#

  • 讲师：Anupam Datta、John Mitchell、Ankur Taly

  • 课程助理：Michelle Bao、Ayush Singla、Josh Reini

这份文档为学生提供了课程的全面介绍，包括课程目标、组织、项目要求、LLM的能力和挑战，以及如何确保LLM部署的可靠性。通过这些笔记，学生可以更好地理解课程内容，准备项目，并与同学和讲师进行深入讨论。

Contents