机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 35|回复: 0

Claude大模型厂商胡作非为 给行业埋雷

[复制链接]

2万

主题

3万

帖子

21万

积分

超级版主

Rank: 8Rank: 8

积分
215618
发表于 昨天 11:40 | 显示全部楼层 |阅读模式
Claude大模型厂商Anthropic 过去四周翻车三次
3 月 26 日,Fortune 记者发现他们的内部 CMS 配置错了,3000 个未发布的资产全部放在公开可搜索的数据库里。
这里面有 Mythos 这个太危险不能发布的新模型的 draft blog post,还有一份 CEO 欧洲闭门峰会的 PDF,连 Dario 要去的那个 18 世纪英国乡村庄园的名字都露了。

3 月 31 日,Claude Code 的 npm 包更新,v2.1.88 打包时不小心夹了一个 59.8MB 的 source map 文件,这个文件指向 Anthropic 自家 Cloudflare R2 上的完整源码压缩包。1906 个文件,51.3 万行 TypeScript,全部可下载。
Anthropic 最值钱的 Claude Code 那套 agent orchestration 架构,连 Capybara 新模型的内部代号、KAIROS 后台模式的实现细节都露了。

4 月 21 日,Mythos Preview 正式发布当天,一个 Discord 小组直接拿到了访问权,方式是猜 endpoint URL。
他们通过 Anthropic 给其他模型命名的规律推出了 Mythos 的地址,再配合一个在 Anthropic 第三方承包商工作的人的合法凭证就绕进去了。
Anthropic 官方回应是正在调查这次通过第三方供应商环境的未授权访问,核心系统未受影响。
四周三次,根因全部是同一类问题。

第一次的根因是 CMS 资产默认 public,需要手动改成 private。
第二次的根因是 Bun 构建默认生成 source map,.npmignore 没有把 .map 排除。
第三次的根因是 endpoint URL 有可预测的命名规律。
三次的共同点是:默认值错误,每一次都不是被攻击,都是自己主动把门开着。

Constitutional AI、Responsible Scaling Policy、Safety-first AI lab,他们卖的就是比 OpenAI 更安全、比 Google 更负责,他们的 Mythos Preview 被包装成太危险以至于只给 40 家顶级公司用的稀有品。
然后自家的 CMS 让路人搜索就能看到,源码打包错误就能泄露,自家的 Mythos 让 Discord 小组 URL 加一个承包商凭证就能进入。
一个说自己最擅长安全的公司,在运营安全这一基础层面上表现得像一个周末项目。

Sam Altman 在 Core Memory 采访里把这事儿骂成了 fear-based marketing。
这句话原本听起来像竞争对手的场外嘲讽,但配合过去四周的事实看,它其实戳到了一个真问题。
如果 Mythos 真的如 Anthropic 自己所说,是最强大最危险的模型,一旦落入坏人手里会被用于大规模网络攻击,那这样一个模型的访问控制应该用什么级别的安全。
它应该是 SCIF 级别的隔离环境、硬件密钥、双人规则、任何访问都有完整审计日志、任何 URL 都是一次性签名 token,根本不应该存在一个可以被 Discord 猜出来的 endpoint。
但实际上呢,Mythos Preview 部署在一个可以被外部猜出来 URL 的端点上,访问控制靠第三方承包商的普通凭证就能绕过。
任何一个稍微懂基础安全的工程师看到这个架构都会皱眉。
这就引出一个非常不舒服的问题:要么 Anthropic 的安全团队相信 Mythos 真的很危险,那他们这套访问控制是不合格的。
要么 Anthropic 的安全团队知道 Mythos 的实际威胁没那么大,只是对外叙事需要这么讲,那这就是 Altman 说的 fear-based marketing。

当然还有更偏向Anthropic的解释,那就是 Anthropic 的模型研究能力是一流的,安全研究能力是一流的,但是运营能力是二流甚至三流的。一家公司的安全理论水平和它每天把门关紧的水平,完全是两件事。
公平地说,OpenAI 过去半年也吃过几次运营层的亏,Mixpanel 第三方分析工具泄露了 API 用户数据,ShadowLeak 漏洞让 ChatGPT 能被 DNS 隧道绕出沙盒,CamoLeak 把 GitHub Copilot 变成了数据外泄通道。
但 Anthropic 过去一个月的三次全部都是默认值错误——这种最基础的、最不该犯的、在任何一本安全工程教材里都会被当作反例讲的错。

美国目前没有专门的联邦 AI 监管机构,由 FTC、NIST、FDA 等多个部门分头监管,主要依靠现有法律(如《联邦贸易委员会法》、《加州消费者隐私法》)进行事后追责。对于大模型的部署安全、访问控制等运营层面的要求,没有强制性的国家标准,只有行业最佳实践。
与中国的 "生成式 AI 服务备案制" 不同,美国公司可以自由发布任何 AI 模型,无需经过政府部门的安全评估和审批。只有当模型造成实际损害时,监管机构才会介入调查。
对于数据泄露等安全事件,美国的处罚通常基于实际造成的损失,而非潜在风险。Anthropic 这三次事件虽然暴露了严重的安全隐患,但由于没有造成用户数据大规模泄露或实际损害,目前尚未面临任何监管处罚。
这种监管环境确实给了科技公司很大的自主权,但也导致了 "安全是成本而非义务" 的行业心态。在快速扩张阶段,公司往往会优先考虑产品迭代速度和市场份额,而将基础安全建设放在次要位置。
中国在生成式 AI 领域建立了全球最严格的监管体系之一,从制度上极大降低了类似 Anthropic 事件发生的可能性:

事前备案 + 安全评估制度:根据《生成式人工智能服务管理暂行办法》,所有面向公众提供服务的生成式 AI 必须经过国家网信部门的安全评估和备案。评估内容不仅包括模型内容安全,还涵盖数据安全、技术安全、运营安全等多个方面。
明确的安全主体责任:法规要求 AI 服务提供者 "落实网络安全、数据安全和个人信息保护责任",建立健全安全管理制度,包括漏洞管理、应急响应、访问控制等。对于违反规定的行为,监管部门可以采取责令改正、暂停服务、罚款等处罚措施。
全生命周期安全管理:中国的监管覆盖了 AI 模型从训练数据采集、模型开发、部署上线到运营维护的全生命周期。特别是在数据安全和用户隐私保护方面,要求比美国更为严格。
在这种强监管环境下,中国的大模型厂商必须将安全合规作为首要任务,在产品上线前就完成全面的安全建设。因此,像 Anthropic 这样连续发生低级运营安全事故的情况,在中国确实很难出现。
Anthropic 事件最讽刺的地方在于,这家公司一直以 "全球最安全的 AI 实验室" 自居,将 "安全" 作为其核心卖点和差异化优势。它提出的 "宪法 AI"、"负责任的扩展政策" 等理念,在行业内产生了广泛影响。
然而,三次低级安全事故暴露了一个残酷的现实:Anthropic 的安全能力存在严重的 "头重脚轻" 问题。它投入了大量资源研究模型对齐、AI 伦理等 "高大上" 的安全问题,却忽视了最基础的 IT 运维和软件工程安全。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2026-5-19 14:18 , Processed in 0.091084 second(s), 20 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表