课程信息
- 官网主题：Domains 2: GUI Agents
- 所属模块：应用领域
- 授课日期：2026-09-15
- 主讲人：JY Koh
学习重点
- 理解 GUI 智能体的视觉感知、元素定位、动作生成与状态确认闭环。
- 比较 DOM、可访问性树、截图与坐标操作等观察和动作接口。
- 分析动态界面、不可逆操作与长任务对可靠性的挑战。
核心问题
- GUI 智能体怎样把自然语言目标映射为界面动作？
- 语义定位与坐标定位各自适合哪些场景？
- 智能体如何在动作前后确认界面状态并避免重复操作？
学习记录
- [ ] 看完课程视频或完成对应阅读。
- [ ] 整理本讲的核心概念、方法与系统结构。
- [ ] 记录关键实验、评测指标和失败案例。
- [ ] 补充一个能够动手验证的实现或复现实验。