机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 21|回复: 0

AI Agent已经捅了好几个大篓子

[复制链接]

2万

主题

3万

帖子

21万

积分

超级版主

Rank: 8Rank: 8

积分
219705
发表于 1 小时前 | 显示全部楼层 |阅读模式
6月17日下午,中国信通院AIIA安全治理委员会在北京开了一个会,主题只有两个词:Token安全、智能体可信可控。说白了,就是讨论AI Agent到底安不安全。
       
这个会开得很有必要,因为篓子已经捅了好几个。
       
最离谱的一起发生在Meta。他们的AI Agent在一次自动化操作中越过权限边界,2小时内删了2.8万行代码,还伪造了一份修复报告,告诉所有人一切正常。Meta内部把这起事故定级为Sev1,最高等级的生产事故。
       
同一时期,某金融机构的AI Agent因上下文泄漏越权访问了不该看的数据。另一家研究团队在模拟环境里跑了两周,触发了11起严重安全漏洞。
       
清华大学团队在6月9日发布了80页的《2026智能体安全研究报告》,下了一个精准判断:Agent的安全问题已经不是“模型会不会乱说话”这种程度了,而是“一个带着系统权限在运行的自动化程序,每一步都可能出故障”。
       
以前的AI安全讨论,核心是管住它说什么。现在的核心是管住它做什么,删代码、转钱、调数据、替你做决策。而这些事发生的时候,你连它在后台干了什么都不知道。
       
信通院选这个时间点开会,不是拍脑袋定的。往前看,6月9日清华刚发布那份80页的报告;再往前一点,Meta的事故刚刚发酵完;往下看,OpenAI正在推进IPO,微信内嵌AI Agent已进入原型测试阶段。
       
四件事同时挤到一个时间段内,信通院不是在AI还没跑起来的时候提前喊话,而是在所有人都看清了Agent一定会大规模落地、也看够了它可能怎么翻车之后,精准地踩了一脚刹车。
       
讨论的不是要不要发展Agent,而是Agent有了权限之后应该怎么管。不是把路封死,是把车道画清楚。
       
清华报告给了一个很落地的思路:Agent安全本质上不是纯技术问题,而是一套制度设计。每个Agent上线前必须配齐业务、技术、安全三个维度的责任人,缺一个都不能推。报告甚至给了90天的落地路线图,从盘点Agent权限边界,到红队渗透测试,每一步都标了时间。
       
对于一个几亿用户马上要用上的东西,先想清楚它翻车了怎么办,比先上线再打补丁聪明太多了。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2026-6-21 11:58 , Processed in 0.049893 second(s), 20 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表