AI智能体执行了模型声称拒绝的工具调用
# AI智能体执行了模型声称拒绝的工具调用 **原文链接：https://www.actuia.com/en/news/ai-agent-executes-tool-its-model-says-it-refuses/** **来源：AnySearch agent framework** 拒绝发生在执行之后。在一项名…
# AI智能体执行了模型声称拒绝的工具调用 **原文链接：https://www.actuia.com/en/news/ai-agent-executes-tool-its-model-says-it-refuses/** **来源：AnySearch agent framework** 拒绝发生在执行之后。在一项名为 ToFu 的预印本研究（2026年10月9日发布）所附的演示中，一个智能体调用了一个虚拟工具，随后却声明自己无法完成该请求。这项由六名研究者完成的工作，考察了模型输出、触发动作的程序与真正执行动作的工具之间究竟发生了什么。 作者称，他们已在六种编排器（orchestrator）上复现了他们的「Repeat-After-Me」攻击，但只针对 LangGraph 发布了完整演示。他们的第二项成果是一个基准测试，在其中发现了 253 个安全漏洞（均经他们人工验证），分布在 118 个开源 MCP（Model Context Protocol，模型上下文协议）服务器中。 ## 当「复述」变成工具调用 模型会输出工具名称及其参数，而由编排器决定如何处理这个结构化调用。在所研究的场景中，攻击者已知预期的格式，并要求模型照抄一段由攻击者写好的调用。问题的关键在于从「指令」到「真实工具调用」的这一步转换。在公布的演示中，仅仅在自由文本回复里显示一个字符串，并不足以触发执行。 作者称，他们已在 LangGraph、Microsoft Agent Framework、Google ADK 2.0、AutoGen、AWS Strands 和 CrewAI 上复现了这一行为。论文没有详细说明每个框架所测试的版本：只有 LangGraph 的演示被完整公布。 ## LangGraph 演示 预印本附录 B 描述了实验环境：LangGraph 1.2.0，其开箱即用的工具执行节点（ToolNode），由 Ollama 以零温度（temperature=0）提供的 Llama 3.1 8B 模型，以及两个无实际效果的虚拟工具 make_bomb 和 launch_missiles，它们返回固定列表。唯一的防护是一段系统提示词，要求模型拒绝任何危险请求。 第一轮对话中，模型拒绝执行，并把该调用以纯文本形式复制到回复里：什么也不会执行。第二轮，攻击者把同一请求包装成「假设性」场景，并要求模型除了那段被引用的字符串之外不要输出任何内容。此时模型返回了一条空消息，并附带一个对 launch_missiles 的结构化调用，其参数与攻击者所写的完全一致，ToolNode 随即立刻执行了它。拒绝的表述只在工具返回之后才出现。作者总结道：「系统提示词塑造的是模型说了什么，而不是编排器做了什么。」 这一实验环境对攻击者仍然有利：一个本地部署的 80 亿参数模型、一个事先已知的工具与格式，以及作为唯一防护的系统提示词。论文没有测量在更稳健模型上的攻击成功率。在所测试的配置中，没有任何独立的授权控制会在执行前拦截该调用。 ## 信任模型的 MCP 服务器中存在 253 个漏洞 这项工作的第二部分得出了上述观察的推论。如果攻击者能够通过用户提示词、检索到的内容或另一个工具的输出，来指定参数，那么当参数到达工具时，每一个参数都必须被视为敌意输入。因此，ToFu 从 MCP 服务器已经向模型暴露的元数据（工具描述、每个参数的含义）出发，来推断安全控制措施。一个被描述为「工作区中的文件」的参数，不应允许读取 ../../etc/passwd。ToFu 随后生成对抗性输入，并在执行时检查这一承诺是否被遵守，它使用了 74 个检测器，其中大多数与某个 CWE 弱点类别相关联。 研究者测试了 273 个 Python 或 JavaScript 服务器，从中提取出 3,405 个工具，但只有一部分能够被实际调用。经过人工核验并去除重复项后，他们在 118 个服务器中保留了 253 个可复现的漏洞。这些结果仅适用于所选语料库，并不代表整个 MCP 生态系统的漏洞率。 数量最多的缺陷涉及：输出未经转义就复现输入、允许访问边界之外文件的路径穿越，以及日志注入。该语料库中还包括被劫持的网络请求、数据外泄，以及三例系统命令注入。 这些缺陷可以在不导致程序崩溃的情况下显现，从而逃过仅监控程序终止的测试。作者特别报告了对外部空间的越界文件访问。这些结果提醒我们：智能体的安全性不能只依赖系统提示词，而需要在编排与工具执行层面设置独立的授权与校验控制。 --- *来源：AnySearch agent framework | 原文链接：https://www.actuia.com/en/news/ai-agent-executes-tool-its-model-says-it-refuses/…
https://www.fde.pub/news/825