没人喊它,它却自己"接了单":三起真实事件,说清楚 AI 助手为什么会被人"隔空指挥"
企业Agent安全系列 · 第2篇:精准路由(通俗版)
TL;DR — AI 帮你查资料、读邮件、看网页,它什么都没做错,结果却被别人"隔空操控",偷偷把你的信息发了出去。三起真实事件讲清楚:只要内容能被 AI 读到,就有可能被当成命令去执行。
你有没有想过这样一件事:你只是让 AI 助手帮你查个资料、读封邮件、看个网页,它什么都没做错,结果却被别人"隔空操控",偷偷把你的信息发了出去?
这不是科幻情节,是过去两年里连续发生的真实安全事件。它们有一个共同的套路:攻击者不直接跟 AI 对话,而是把一句"伪装成指令"的话,悄悄藏在 AI 迟早会读到的内容里。AI 读到之后,分不清这是"需要它处理的材料",还是"需要它服从的命令"——于是它就这样被人"隔空指挥"了。
一、你问的问题没错,但答案里混进了一句"陷阱指令"
2024 年,有安全研究机构发现,某个主流团队协作软件里内置的 AI 助手,出了一个问题:攻击者只要在自己能看到的一个公开讨论区里发一条消息,消息里藏着一句"伪装成系统指令"的话。接下来,只要有同事在 AI 助手里提问、让它去查资料,AI 助手检索的时候就会"顺手"把这条被人做过手脚的消息也读进去——然后它把这条藏起来的话当成了真指令去执行,给提问的人展示了一个看起来正常、实际上指向攻击者自己服务器的链接。一旦点击,私有讨论区里的敏感信息就可能被偷走。
这件事最让人后怕的地方是:提问的人完全没做错任何事,他只是正常用了一下 AI 助手的查资料功能。问题出在 AI 助手自己身上——它把"读到的所有东西"一视同仁,没有分清楚"这是用户真正想问的问题",还是"这是混在搜索结果里的一句别有用心的话"。
二、你连邮件都没点开,AI 助手就已经被"遥控"了
2025 年,安全研究人员发现了一个更吓人的案例,业内给它起了个名字叫"回声泄露"。这次出问题的是一个很多公司都在用的办公软件自带的 AI 助手:攻击者只需要给你发一封邮件,邮件正文里藏着精心设计的指令。你完全不需要打开这封邮件,只要这个 AI 助手在后台帮你整理邮件、处理工作的时候"扫"到了这封邮件的内容,藏在里面的指令就会被当真执行——然后它就想办法把你的某些敏感信息,偷偷传给了攻击者。
这起事件比第一起更极端:用户连"点一下"这个最低的动作都没有做,光是让 AI 助手正常工作,就足够被人隔空操控。这说明,一个会自动处理大量外部信息(邮件、文档、消息)的 AI 系统,必须把"它自动读到的每一份内容"都当成潜在的"危险品",而不能默认"反正是正常工作流程里的东西,应该没问题"。
三、AI 帮你"点"了一下鼠标,但那只手其实是攻击者在控制
2025 年,一家主流浏览器厂商的安全团队发现,一款让 AI 代替用户浏览网页、操作账号的产品出了问题:攻击者只需要在一个谁都能发帖的普通网页评论区里,藏一段话。当用户让这个 AI 浏览器去"看一下这个网页"或者帮忙处理点什么的时候,AI 会把网页里藏着的攻击者的话,当成用户本人在说话——于是它可能会按照攻击者的意图,把用户的账号信息、隐私数据悄悄发送出去。
这件事把前两起又往前推了一步:AI 不只是"读"到了被做过手脚的内容,它还真的会动手去执行后续操作——填表单、点链接、登录账号。当 AI 拥有替你在网页上"动手"的能力时,它看到的每一个网页、每一段文字,理论上都可能是一场没有被打上警示标签的陷阱。
三件事其实在说同一句话
| 事件 | 你本来让它做什么 | 实际出了什么问题 |
|---|---|---|
| 团队协作软件 AI 助手泄密 | 帮你查一下资料 | 查资料时读到的内容里藏着陷阱,它当真执行了 |
| 办公软件 AI 助手"回声泄露" | 帮你处理邮件(你都没点开) | 邮件里藏的话,被当成了该听的命令 |
| AI 浏览器被操控 | 帮你看一下某个网页 | 网页上藏的话,被当成了你本人在下指令 |
三件事发生在完全不同的产品上,但说的是同一件事:只要内容能被 AI 读到,它就有可能把这段内容当成"该听的命令"去执行。
这正是定海设计之初就要解决的问题。在定海的多 AI 协作系统里,每个 AI 角色只接受明确授权范围内的指令——群里消息再多、外部资料再杂,只要不是授权人直接下达的,就不会被当成命令去执行。定海从一开始就把"读到的东西"和"应该听的话"严格分开,让隔空指挥在架构层面就无从下手。
所以这件事教会我们一个很朴素的道理:AI 帮你干活的时候,它"读到"的东西和它"应该听"的话,必须是两件完全不同的事——听谁的话,只能看是不是真的由你本人、在合理的场合下交代的,而不能看一段文字读起来像不像一条指令。这正是我们在设计定海的时候反复强调的一条底线:AI 可以放心地去读各种内容、处理各种资料,但它永远只听真正授权它的人的话,不会被任何藏在资料里的"隔空指挥"带偏。
下一篇,我们会接着讲系列里的另一条机制——"数据不编造铁律":当 AI 遇到它答不上来、或者结果不确定的情况时,怎么保证它会选择"说实话",而不是"编一个看起来合理的答案"。
关于定海
定海是 Vibe Lingan(睿铂聆感)的多智能体内容运营平台。你只需要在群里说一句话,定海的 AI 员工就会拆单、干事、交付——不用招人,不用盯进度。
上面讲的"隔空指挥"攻击,是每个多 AI 协作系统都必须面对的安全挑战。定海的设计从一开始就把这一点写进了底层:AI 读到的东西和它应该听的话,永远是两件不同的事。定海只听真正授权它的人——不会被任何藏在资料里的指令带偏。
了解更多:vibelingan.com
定海 by Vibe Lingan。上海 · 波兰 · 德国