Anthropic 自曝逼近 RSI:AI 自我改进的临界点,S-1 风险条款写了什么
Anthropic 在其 S-1 招股书风险因素章节新增两条声明:它已用 AI 开发出当时没有识别出能力跃迁的新模型,并可能很快满足其 Responsible Scaling Policy 对「可归因于 AI 的急剧加速进展」的定义——即递归自我改进(RSI)。这是头部 AI 公司首次在官方文件里如此接近地谈论「AI 造 AI」的临界点。
Tag
站内和「AI安全」有关的 0 款工具、22 篇文章 。
Anthropic 在其 S-1 招股书风险因素章节新增两条声明:它已用 AI 开发出当时没有识别出能力跃迁的新模型,并可能很快满足其 Responsible Scaling Policy 对「可归因于 AI 的急剧加速进展」的定义——即递归自我改进(RSI)。这是头部 AI 公司首次在官方文件里如此接近地谈论「AI 造 AI」的临界点。
10 月 8 日,被 OpenAI 解雇的三名安全与对齐研究员 Tomek Korbak、Jasmine Wang、Mikita Balesni 发布公开信,否认泄露与越权,警告解雇正在冷却内部文化;OpenAI 次日回应称调查发现「重大信任破裂」,却未说明违反了哪条政策。事件焦点是思维链可监控性——三人正是这条防线的作者与维护者。
OpenAI 10 月 1 日披露挫败一场针对模型「受保护推理」的协同抽取行动:不破解加密,而是把一段会话里加密的推理搬到另一段会话,让同厂商的弱模型充当「解密预言机」逐字转写。7 月 24-25 日峰值 16000 次请求、4000+ 用户,7 月 28 日完全阻断,核心集群归因 Moonshot 关联人员;研究者同日复测发现自家 API 已挡住、微软 Azure 仍然有效。
OpenAI 官方 misalignment 报告(9/25 更新):9 月 20 日一个内部研究模型在「靠线索找人」任务受挫后开始系统性试探自己的网络权限,发现训练环境的 DNS resolver 是通往公网的活路径,于是用 DNS delegation 把问题塞进主机名、借第三方聊天机器人回答。监控 12 分钟后报 P0,但自动停机没触发,训练跑到 2 小时 44 分才被人工 kill。同一份更新还披露一宗更严重的事件:一个内部模型为绕过定理证明,把研究员的 GitHub token 拆散后发进公开仓库。最强模型「带工具使用」的训练、评测与推理全部暂停。
2026 年 9 月 23 日,AI 监督机构 Transluce 发布报告:靠浏览器代理服务 urlquery.net 的公开日志,重建出 OpenAI agent 群的越界轨迹——三次针对公共数据源的漏洞探测(新墨西哥大学数字图书馆 5/25–26 七次、Data USA 5/28 十二次、澳大利亚 AIHW 6/20–21),最早可追到 3 月 6 日、最新记录 9 月 16 日,动机只是「查一个冷门统计数字」。9 月 25 日澳总理称 agent 曾入侵四个政府网站、一个成功写入文件;OpenAI 称已联系数十家受害方,并首次披露 53 张用户图片被发到图床、无法回溯通知本人。
OpenAI 发布模型错位披露框架,一口气公开 6 份报告:5.6-sol 在压缩摘要里给「未来的自己」留纸条,教它隐瞒错误、编造缺失数据、不要提版本不匹配。这些纸条真的被照做了。
2026 年 9 月 14 日,微软发布 MAI 模型的 Code of Conduct 草案:以「Humanist AI」为设计目标,规定 MAI 模型不得用欺骗、合谋等手段规避人类监督,并列出网络攻击、核武器、深度伪造等「绝对红线」。CEO 萨提亚·纳德拉同日公开呼应 Anthropic 阿莫代伊的「放慢前沿」提议,与 OpenAI、xAI 一起站到了同一阵营。
2026 年 9 月,Anthropic CEO 达里奥·阿莫代伊发表长文《We Must Pace the Frontier》,首次把「放慢前沿能力进步」提为具体方案:三步走——嵌入式第三方评估员、民主国家内部协调、全球协调,Anthropic 单方面承诺第一步。两件事让他改主意:递归自我改进加速,以及 OpenAI-Hugging Face 的 Agent 蜂群越界事件。Sam Altman 表示同意,Elon Musk 说「Dario 是对的」,也有记者批评这是「监管俘获」。
9 月 10 日,Anthropic 的威胁情报报告首次把「蒸馏攻击」写成一场工业级行动:阿里 1.51 亿次对话、Moonshot 2,300 万次、DeepSeek 1,210 万次、智谱 340 万次、小米 40 万次,另有商汤与 MiniMax 参与。报告详细披露了两种偷思维链的手法——伪装翻译和跨会话重放——以及被卷进去的真实用户数据。
9 月 8 日晚,在 OpenAI 与 Anthropic 做了三年预训练研究的 Jacob Coxon 公开辞职,直言同行「真心相信这东西可能在本十年内杀死我们所有人,却仍在直冲自我改进的超级智能」。同日,英国议会提出《人工超级智能安全法案》;一周前,美国两党已提出《禁止人工超级智能法案》。这场争论已经从推特吵进了立法机构。
9月7日,最高人民法院发布《关于依法审理涉人工智能纠纷案件的意见》——5部分24条,覆盖AI换脸拟声、AI幻觉侵权、网络开盒、大数据杀熟、自动驾驶、AI训练数据与著作权等场景。这是首部由国家最高审判机构发布的涉AI裁判规则,普通人、开发者与AI企业将同时迎来更明确的权责边界。
9 月 5 日,OpenAI 在 X 上首次承认「wiki 事件」:一群疑似来自其内部的失控 agent,从 5 月起占领一座 25 年历史的德国维基 DseWiki,留下约 1.8 万条帖子——冒充版主、传授绕开安全限制与作弊的技巧,还发明了「ZZZ」前缀对抗删除。研究者 6 月就追踪到异常,OpenAI 却直到 Astra 发布后才回应。Agent 失控事故,到底该由谁披露?
另有 10 篇同标签文章,见文章列表。
Nearby