Lecture8&9#
这份文档是哈佛大学CS197课程的第八和第九讲笔记，主题为“AI Research Experiences”，由Pranav Rajpurkar主讲。以下是对文档内容的详细解释和分析，以及相应的课程笔记。
课程概述#
目标：学习如何组织模型训练，包括实验跟踪、超参数搜索和配置设置。
工具：使用Weights & Biases进行实验日志记录和跟踪，使用Sweeps进行超参数搜索，使用Hydra进行复杂配置管理。
学习成果#
实验跟踪：通过Weights & Biases管理实验日志和跟踪。
超参数搜索：使用Sweeps执行超参数搜索。
复杂配置管理：使用Hydra管理。
安装#
环境设置：使用conda创建新的环境并安装必要的包，包括PyTorch、vision、torchaudio、wandb和hydra-core。
实验跟踪#
问题：在训练多个模型时，需要跟踪超参数和模型性能。
Weights & Biases (wandb)：一个机器学习平台，用于跟踪实验、版本控制数据集、评估模型性能、可视化结果和共享发现。
日志记录#
模拟训练：打印正在使用的超参数和模型的训练损失与准确率。
wandb集成：修改模拟函数以与wandb一起工作，使用
wandb.init、wandb.log和wandb.finish。
超参数搜索#
搜索选项：包括贝叶斯优化、网格搜索和随机搜索。
Weights & Biases Sweeps：通过控制器和代理来执行超参数搜索，控制器在服务器上管理，代理查询超参数并运行模型训练。
配置管理#
Hydra：一个Python框架，用于简化研究和复杂应用程序的开发，允许使用配置文件来管理深度学习运行的配置。
课程笔记#
实验组织：学习如何使用Weights & Biases和Hydra工具来组织和跟踪模型训练。
Weights & Biases：用于实验跟踪和可视化，帮助记录和比较不同实验的性能。
超参数搜索：通过Sweeps进行自动化的超参数搜索，优化模型性能。
Hydra配置：使用Hydra管理复杂的配置，包括模型、数据集和训练参数。
安装和设置：了解如何设置实验环境，包括安装必要的库和工具。
日志记录练习：练习使用wandb记录训练性能和验证性能。
超参数搜索练习：练习设置和执行超参数搜索，以优化验证损失。
配置管理练习：练习使用Hydra创建和管理配置文件，以简化实验设置。
通过这些笔记，学生应该能够对如何使用Weights & Biases和Hydra来组织和管理机器学习实验有一个基本的了解，并能够开始应用这些工具来提高他们的实验效率和可重复性。