cs329# Lecture1 课程概览 课程物流 讲师信息 课程目标 课程组织 课程项目 LLM革命 LLM的挑战 信任度量维度 LLM功能和训练 LLM能力示例 LLM的局限性 信任度量维度 课程详细概览 课程项目 讨论 背景总结 课程人员 Lecture2 1. LLM应用开发 2. LlamaIndex介绍 3. LLM的一般化与记忆 4. RAGs（Retrieval-Augmented Generators） 5. TruLens工具 6. 实践和演示 7. 避免幻觉的RAGs 8. 附加材料 课程笔记总结 Lecture3 1. 教育领域的应用案例 2. 信任度的维度 3. 未来的梦想 4. 安全扩展编程风格反馈 5. 基于GPT的教师培训 6. AI生成的教学案例 7. MetaGPT 8. 价值类型 9. 教育中的信任问题 10. 其他项目示例 课程笔记总结 Lecture4 1. 课程回顾 2. 信任度的维度 3. 当天讲座内容 4. LLMs的安全性 5. 讲座部分详解 第一部分：LLMs用于安全 第二部分：LLMs的安全性 课程笔记总结 Lecture5 1. 电子健康记录（EHRs） 2. 变量和挑战 3. 临床文本解读 4. 信息提取的现状 5. 信息提取的其他用途 6. 可信ML在医疗保健中的重要性 7. 大型语言模型（LLM）在临床文本中的应用 8. 面临的挑战 9. 鼓励引用结构化输出 10. 部署性问题 11. 将LLM输出视为弱标签 12. 临床缩写的歧义消解 13. 药物信息解析示例 14. 文档重构 15. EHRs的可用性问题 16. 解决方案 17. 部署和评估 18. 利用EHR审计日志 19. 人机AI团队在临床注释中的应用 20. 人机AI团队的启示 课程笔记总结 Lecture6 1. 课程回顾 2. “LLM for X”项目的关键步骤 3. 项目示例：改进作业评分 4. 项目示例：总结医生笔记 5. 可靠性和可信度的更多信息 6. 教育项目方向示例 7. 安全项目方向示例 8. 医疗保健项目方向示例 9. 数据集建议 10. 学生兴趣和前瞻性思考 课程笔记总结 Lecture7 1. LLM的挑战 2. 基础性（Grounding） 3. 支持基础性响应 4. 验证响应的基础性 5. 响应选择和重写 6. 自我一致性 7. 回应验证 8. 回应验证的工作流程 9. 回应验证的挑战 10. 回应验证的改进 11. 回应选择 12. 回应修订 课程笔记总结 Lecture8 1. LLM的事实性问题 2. Transformer概述 3. 事实性的希望 4. 解码陈述的真实性 5. 模型置信度与真实性 6. 模型不确定性与真实性 7. 提高LLM的事实性 8. RLHF训练过程 9. 自动化事实性排名 10. 事实性调整的效果 11. 结论 课程笔记总结 Lecture9 1. 动机 2. 解释LLM行为的方法 3. 影响函数的概念 4. 影响函数的挑战 5. 影响函数的可扩展性解决方案 6. 影响函数的准确性 7. LLM中的影响函数 8. 数据过滤和查询批处理 9. 影响分布 10. 跨语言泛化 11. 定位到层和令牌 12. 词序问题 13. 未来方向 课程笔记总结 Lecture10 1. 概览 2. LLMs的事实性问题 3. Transformers概述 4. 提高LLMs的事实性 5. LLMs是否能够编码事实性 6. 解码语句的真实性 7. 模型置信度与事实性 8. 模型不确定性与事实性 9. 训练LLMs以提高事实性 10. 训练LLMs的具体方法 11. 结论 12. 联系方式 Lecture11 1. 动机 2. 解释方法 3. 影响函数（Influence Functions） 4. 影响函数的挑战 5. Kronecker-Factored Approximate Curvature (K-FAC) 6. 影响函数的准确性 7. LLMs的影响函数 8. 数据过滤和查询批处理 9. 影响分布 10. 跨语言泛化 11. 定位到层和令牌 12. 词序问题 13. 未来方向 Lecture12 1. 引言 2. 机器学习模型的评估 3. 测试准确性的问题 4. 解释模型预测 5. 特征归因 6. 归因的简单方法 7. 集成梯度（Integrated Gradients） 8. 集成梯度的应用 9. 内部影响 10. 影响路径和模式 11. What-If探索 12. 目标What-If技术 13. LLM应用想法：提示扰动 14. 总结 15. 调试工作流程 16. 人类分析师的作用 17. 可视化的重要性 18. 特征归因的局限性 19. 评估集成梯度 20. 集成梯度的公理化证明
