CS329: 自我改进 AI 智能体学习笔记
整理 Stanford CS329A 2025 年秋季 Self-Improving AI Agents 的 9 段公开课程录像，覆盖推理时计算扩展、鲁棒验证、工具与代码反馈、多步规划、强化学习、深度研究和智能体评测，配有中英文字幕视频、原课截图与论文资料。
CS329A: Self-Improving AI Agents 是 Stanford 2025 年秋季开设的研究生课程，由 Aakanksha Chowdhery 与 Azalia Mirhoseini 授课。课程从大语言模型的生成与验证出发，讨论怎样通过更多推理计算、环境反馈和训练更新，改进智能体完成复杂任务的能力。
本组学习笔记参考 CMU 11-768：AI Agents 学习笔记的排版，按 Stanford 公开发布的 9 段课程录像，一段录像对应一篇笔记。正文依据原视频字幕与可见课件画面整理，关键流程、公式和实验配有原视频截图及时间链接，如有错误，欢迎指正。
官方资料
- Stanford CS329A 课程主页、2025 年秋季课表与阅读论文
- Stanford Online：Self-Improving AI Agents
- Stanford Scaling Intelligence Lab
课程视频
- B 站收藏夹：CS329_自我改进 AI 智能体，中英文字幕
- 每篇笔记顶部嵌入对应课程视频，也提供 Stanford 官方录像入口。
学习路线
课程先建立“生成候选—验证—使用反馈”的关系，再逐步扩展到更完整的智能体：
- 从模型规模、指令微调与思维链理解自我改进的来由。
- 比较推理时的采样、修订、验证与架构组合，检查计算投入的收益。
- 将工具执行和环境观察接入循环，再研究搜索、规划与多步训练。
- 用合成轨迹、组相对奖励和稳定的 RL 训练改进策略。
- 把方法放到代码与深度研究系统中，用任务跨度、工作质量和证据检验结果。
- 继续研究多样性、元验证、任务生成、持续学习与推理效率。
建议具备基本的机器学习、语言模型与概率知识，再沿录像顺序学习。对工具接口、Harness 和系统搭建感兴趣，也可以结合 CMU 11-768 的工具调用笔记对照阅读。
课程目录
官方课表包含 20 次安排，公开录像采用独立的 Part 编号。下表分别列出两种编号：Part 7、8、9 对应课表第 8、17、20 次课。目录以本次这 9 个公开录像单元为范围。
| 录像 | 官方课表 | 日期 | 主题与笔记 | 视频 |
|---|---|---|---|---|
| 01 | 01 | 2025-09-22 | 课程概览 Course Overview | B 站 · 官方录像 |
| 02 | 02 | 2025-09-26 | 推理时计算扩展 Test-Time Compute Scaling | B 站 · 官方录像 |
| 03 | 03 | 2025-09-29 | 鲁棒验证 Robust Verification | B 站 · 官方录像 |
| 04 | 04 | 2025-10-03 | 利用工具与代码反馈学习 Learning from Feedback with Tools/Code | B 站 · 官方录像 |
| 05 | 05 | 2025-10-06 | 规划与多步推理 Planning and Multi-Step Reasoning | B 站 · 官方录像 |
| 06 | 06 | 2025-10-10 | 训练时扩展与强化学习 Train Time Scaling/Scaling RL | B 站 · 官方录像 |
| 07 | 08 | 2025-10-17 | 自我改进与深度研究智能体 Self-Improvement and Deep Research Agents | B 站 · 官方录像 |
| 08 | 17 | 2025-11-17 | 智能体评估与长时程任务 Agentic Evaluations & Long-Horizon Tasks | B 站 · 官方录像 |
| 09 | 20 | 2025-12-05 | 未来研究方向 Future Research Areas | B 站 · 官方录像 |
怎样对照原课复习
笔记中的截图下方标注原视频时间，并链接到对应位置。补充解释、公式的简化表达和自行整理的 Mermaid 图，会在相关段落说明；课堂中的历史实验结果，应连同模型、数据集、验证条件和计算预算一起理解。
课程原本还安排了三次作业与研究项目。自学时可以围绕一个具体问题设计实验，例如固定调用预算比较不同候选选择器，分析多步任务里的失败恢复，或检查研究报告的引用支持。先建立可复现基线，再评估改动带来的收益。