这篇长达 80 页的综述名为《Agent AI: Surveying the Horizons of Multimodal Interaction》，由李飞飞等 14 位来自斯坦福大学与微软的专家联合撰写。
尽管最早发表于 2024 年底，但站在 2025 年回顾 Agent 领域的发展，谷歌、OpenAI、微软等主流玩家的核心打法，几乎完全贴合论文提出的能力栈；这不仅印证了论文的前瞻性，更让它成为理解 “从大模型到 Agent” 演进路径的关键文献。正如李飞飞在《我看见的世界》中强调的，“学生太易追逐热点，却忽略老论文的经典价值”—— 即便这篇综述仅发表半年，其对 Agent 领域的定义与指引，仍值得每一位 AI 从业者深入研读。
一、Agent AI 的核心：重构智能体认知闭环
要读懂这篇论文，首先需把握其最核心的贡献 —— 为混沌的 Agent 领域建立了一个全新的智能体认知架构。这并非现有技术的简单拼接，而是对通用人工智能（AGI）发展路径的前瞻性设计：通过五个核心模块，构建出一个完整、可交互的智能体认知闭环，让 Agent 具备 “感知 - 决策 - 行动 - 学习 - 记忆” 的全链路能力。
1. 环境与感知：Agent 与世界交互的起点
不同于传统模型被动接收结构化数据，Agent AI 的 “环境与感知” 模块是主动且带目的的：- 它从物理（如真实房间）或虚拟（如元宇宙）世界中，主动采集多模态信息 —— 涵盖视觉（图像 / 视频）、听觉（语音）、文本（指令）、传感器数据（如温度、湿度）等；
- 更关键的是，感知模块内嵌 “任务规划与技能观察” 能力：Agent 不会盲目接收所有信息，而是带着明确目标（如 “收拾桌子”）去筛选、理解环境，比如优先识别桌子上的物品，而非无关的墙面装饰。
2. 认知：Agent 的 “大脑” 与决策中枢
如果说感知是 “输入”，认知就是 “处理核心”—— 论文将其定义为包含思考、逻辑推理、上下文理解等高级智能的系统，而大语言模型（LLM）与视觉语言模型（VLM） 正是这一模块的核心支撑：- LLM（如 GPT 系列）与 VLM（如 CLIP、LLaVA）通过海量数据预训练，为 Agent 注入了世界常识、专业知识与多步推理能力；
- 当感知模块传来 “收拾桌子” 的目标与环境信息时，认知模块会先解释信息（如 “桌子上有杯子、文件、纸巾”），再推理出子任务序列（“先把文件叠好→再将杯子放回茶几→最后用纸巾擦桌面”），最终制定出可执行的策略。
3. 行动：将决策转化为实际操作
行动模块是 Agent 与世界交互的 “输出端”，承接认知模块的决策，生成具体操作指令：- 指令类型随场景变化：面对物理世界时，可能是机器人的控制命令（如 “移动到桌子旁→抓取杯子”）；面对虚拟世界时，可能是 API 调用（如调用天气接口查温度）、代码生成（如写一段数据处理脚本）或自然语言回复（如与用户对话）；
- 这些指令通过 “控制器” 作用于环境，直接改变环境状态 —— 比如机器人将杯子放回茶几后，桌子的 “混乱状态” 就转化为 “整洁状态”。
4. 学习：Agent 持续进化的核心能力
Agent AI 并非静态系统，“学习” 模块是其实现自我优化的关键。论文强调了四种核心学习机制，且所有学习都依赖 “Agent 与环境的交互闭环”：- 预训练：通过海量数据打下基础能力；
- 零样本 / 少样本学习：无需大量标注数据，仅通过少量示例或指令掌握新任务；
- 强化学习（RL）：从环境反馈中学习 —— 若行动成功（如顺利收拾完桌子），则强化对应策略；若失败（如打翻杯子），则调整推理路径；
- 模仿学习（IL）：通过观察人类演示（如看人类收拾桌子的视频）掌握技能；
- 最终，环境的反馈会回流到学习模块，持续优化 Agent 的决策逻辑。
5. 记忆：突破传统模型的 “上下文局限”
传统大模型的 “记忆” 仅局限于短暂的上下文窗口（如 GPT-4 的几万 token），而 Agent AI 的 “记忆” 是持久、结构化的系统：- 它存储 Agent 的核心信息：包括世界知识（如 “杯子易碎”）、逻辑规则（如 “收拾时先轻后重”）、历史推理路径（如上次收拾桌子的步骤）与推断结果（如 “文件需放在左侧抽屉”）；
- 这让 Agent 具备 “举一反三” 的能力：面对新任务（如 “收拾茶几”）时，无需从零开始推理，而是能从 “收拾桌子” 的记忆中提取经验（如 “先整理纸质物品，再处理餐具”），提升效率。
二、大模型：Agent AI 的驱动力与挑战应对
Agent AI 的认知架构之所以能落地，核心驱动力是大型基础模型（Foundation Models） —— 尤其是 LLM 与 VLM 的成熟，为 Agent 的认知能力打下基石；但同时，大模型的固有问题也成为 Agent AI 需突破的难点，论文对此给出了明确应对思路。
1. 大模型的核心作用：赋予 Agent “零样本规划” 能力
LLM 与 VLM 通过海量数据预训练，内化了世界知识与逻辑推理能力，这让 Agent 无需针对每个任务编写复杂规则，就能实现 “零样本规划”：- 例如，当机器人 Agent 接到 “热午餐” 的模糊指令时，LLM 会自动将其拆解为可执行的子任务：“打开冰箱→取出午餐盒→放入微波炉→设置加热时间（如 2 分钟）→启动微波炉”；
- 这种能力极大降低了 Agent 的应用成本 —— 无需为 “热午餐”“热牛奶”“热面包” 分别开发算法，Agent 靠大模型的知识就能适配不同任务。
2. 大模型的三大挑战与 Agent AI 的应对
大模型的 “幻觉”“偏见”“隐私安全” 问题，在 Agent 与物理世界交互的场景中会被放大（如机器人因幻觉抓取不存在的物品，可能导致设备损坏）。论文针对这三大挑战，提出了 Agent AI 特有的解决方案：（1）应对 “幻觉”：用环境交互做 “现实锚点”
大模型的 “幻觉” 指生成与事实不符的内容，而 Agent AI 的 “环境交互闭环” 能有效抑制这一问题：- Agent 的决策与行动必须在真实 / 模拟环境中验证 —— 若模型 “幻觉” 出 “桌子上有一个苹果”，并指令机器人去抓取，机器人在实际操作中会发现 “无苹果”，环境随即给出负反馈；
- 这种基于物理规律的反馈，会倒逼模型将内部知识与外部现实对齐，逐步减少幻觉，让决策更贴合实际。
（2）应对 “偏见”：将包容性纳入设计原则
大模型会继承训练数据中的社会偏见（如基于偏见文本训练的 Agent，可能在交互中出现歧视性语言）。论文强调，Agent AI 的设计需以 “包容性” 为核心：- 训练阶段：使用更多元化的数据（涵盖不同性别、种族、文化背景的交互样本），减少数据偏见；
- 运行阶段：建立偏见检测与纠正机制 —— 在 Agent 生成行动指令前，先通过算法筛查是否存在歧视性内容，若有则实时调整；
- 人机交互层：制定道德准则，确保 Agent 的语言与行为尊重用户，避免冒犯性表达。
（3）应对 “隐私安全”：建立法规与监督机制
Agent 在医疗、家居等场景中会收集大量个人数据（如患者病史、用户家庭环境信息），隐私安全成为关键挑战。论文提出三层解决方案：- 法规层面：为 Agent AI 建立明确的监管框架，规范数据收集与使用范围；
- 技术层面：通过提示工程（Prompt Engineering）限制 Agent 的行为（如禁止其存储用户的病历细节），或增加 “人类监督层”—— 关键决策（如医疗诊断建议）需经人类验证后再输出；
- 用户层面：给予用户数据控制权，如允许用户查看 Agent 收集的个人信息、随时删除数据。
三、Agent AI 的三大应用场景：从理论到现实的落地
论文不仅提出理论框架，更深入探讨了 Agent AI 在游戏、机器人、医疗健康三大前沿领域的应用潜力，展示了其从实验室走向实际场景的路径。
1. 游戏：重构 NPC 与玩家的交互逻辑
传统游戏 NPC 的行为由固定脚本驱动，模式单一、可预测；而 Agent AI 将彻底改变游戏体验：- 智能 NPC：基于 LLM 的 Agent 扮演 NPC 时，会拥有独立的记忆、目标与情感 —— 比如 NPC 会记住 “玩家昨天帮自己找过草药”，今天见面时会主动道谢；还能根据玩家行为动态调整策略（如玩家多次选择 “和平对话”，NPC 会更信任玩家；若玩家频繁攻击，NPC 会选择躲避或反击）；斯坦福的 “生成式智能体” 小镇实验（Generative Agents）就是典型案例：25 个 Agent 在虚拟小镇中自主互动，能形成 “约会”“合作开店” 等复杂社会关系；
- 自然语言交互：玩家可用日常语言与游戏世界互动，比如对 NPC 说 “我们去森林找草药”，NPC 能理解指令并协同行动，无需依赖固定操作按钮；
- 高效开发：Agent 可作为 “AI 副驾驶”，根据开发者的简单指令（如 “生成一个有河流、山洞、怪物的森林关卡”）或草图，自动生成游戏关卡、道具甚至 3D 场景，缩短开发周期。
2. 机器人：让物理交互更 “人性化”
机器人是 Agent AI 最直接的 “物理化身”（Embodiment），Agent AI 让机器人从 “编程控制” 走向 “自然语言交互”，大幅降低使用门槛：- 自然语言指令：用户无需学习机器人编程，只需用日常语言下达指令（如 “收拾客厅桌子”“把阳台的衣服收进来”），机器人 Agent 会自主规划操作步骤并执行；
- 直观的 “模仿学习”：论文展示了基于 GPT-4V 的实验 ——GPT-4V 能理解人类收拾桌子的视频演示，将其转化为机器人可执行的任务序列（如 “先把书放在书架第三层，再把杯子放在茶几上”），让机器人编程像 “教孩子做事” 一样简单；
- 模拟到现实的迁移：在模拟环境中训练机器人成本低、效率高（无需担心物理损坏），但如何迁移到真实世界是难点。Agent AI 通过 “领域随机化” 技术，在模拟训练中引入多样变化（如调整光照强度、物体材质、物理参数），让机器人学到的策略能适配真实世界的细微差异（如不同房间的光照、不同材质的桌子）；
- 多模态融合：机器人 Agent 会融合视觉（看物体）、语言（理解 “杯子易碎”）、触觉（感知抓取力度）信息 —— 比如抓取杯子时，既靠视觉定位杯子位置，又靠语言指令知道 “易碎”，从而用轻柔力度抓取，避免损坏。
3. 医疗健康：提升诊疗效率与覆盖范围
在医疗场景中，Agent AI 能成为医生的 “辅助工具”，尤其在医疗资源匮乏地区，可大幅提升初级诊疗能力：- 智能问诊辅助：Agent 可作为医疗聊天机器人，初步与患者沟通、收集病史（如 “症状持续多久”“是否有过敏史”），并基于权威医学知识库生成初步建议，为医生节省问诊时间；
- 事实核查与知识更新：医疗知识更新极快，且错误可能危及生命。Agent AI 会连接实时更新的权威医学数据库（如 PubMed、WHO 指南），在生成诊断建议时，同步标注信息来源（如 “此建议参考 2024 年《柳叶刀》关于高血压的治疗指南”），并进行事实核查，避免因模型幻觉给出错误信息；
- 慢性病管理：Agent 可实时监控慢性病患者的生命体征数据（如糖尿病患者的血糖、高血压患者的血压），当数据异常时（如血糖突然升高），及时向医生发出预警，并提醒患者调整饮食或用药，实现个性化健康管理。
四、挑战与未来：Agent AI 的进阶方向
尽管前景广阔，论文仍清醒地指出：Agent AI 目前仍处于早期阶段，要走向成熟，需跨越 “模态融合”“领域通用”“评测标准化” 三大鸿沟。
1. 核心挑战：从 “浅层拼接” 到 “深度融合”
当前 Agent 的多模态能力多为 “浅层拼接”（如视觉模块处理图像，语言模块处理文本，两者仅简单传递信息），而非 “深度融合”—— 比如 Agent 能 “看到” 杯子、“理解”“易碎” 的文字含义，但无法将 “视觉观察到的杯子裂纹” 与 “语言中的‘易碎’” 结合，判断 “这个杯子更易摔碎，需更小心抓取”。如何实现模态间的深度协同，是未来核心研究方向。2. 关键目标：开发 “通用 Agent”
目前的 Agent 多为 “领域定制化”—— 游戏 Agent 无法直接用于机器人，医疗 Agent 难以适配家居场景。而通往 AGI 的关键一步，是训练 “通用 Agent”：能在游戏、机器人、医疗等截然不同的领域中，通过少量适配就高效工作，而非为每个领域单独开发模型。3. 基础支撑：建立标准化评测体系
如何科学衡量 Agent 的智能水平？论文团队提出了两个新评测基准，为领域提供参考：- CuisineWorld：用于测试多智能体协作能力 —— 比如让多个 Agent 协同完成 “制作一道菜” 的任务（一个 Agent 负责切菜，一个负责炒菜，一个负责摆盘），评估 Agent 的分工、沟通与协作效率；
- VideoAnalytica：用于测试 Agent 的视频理解能力 —— 让 Agent 分析长视频（如 “人类做饭的全过程”），并回答细节问题（如 “第 3 分钟时，人类加了什么调料”），评估 Agent 的时序感知与信息提取能力。
结语：Agent 领域的 “导航地图”
李飞飞团队的《Agent AI》综述，远不止是对现有研究的梳理 —— 它为碎片化的 Agent 领域，提供了一个统一、完整的认知框架，明确了 “感知 - 认知 - 行动 - 学习 - 记忆” 的核心链路；它阐明了大模型的驱动作用与挑战应对方案，让 Agent 的技术落地有了清晰路径；它还通过游戏、机器人、医疗的场景分析，展示了 Agent 从理论到现实的可能性。在 2025 年这个 “Agent 元年”，当行业仍在探索方向时，这篇综述就像一张 “导航地图”—— 不仅定义了 Agent AI 的核心形态，更指引着从大模型走向 AGI 的关键路径。对于 AI 从业者而言，读懂它，就等于抓住了 Agent 领域的核心逻辑；而对于整个行业而言，它的价值或许会像早年深度学习综述一样，成为推动 Agent 技术爆发的 “奠基性文献”。