AI安全 相关的 AI 工具

站内和「AI安全」有关的 0 款工具、22 篇文章 。

相关文章

全部文章 →
2026年11月5日

Anthropic 自曝逼近 RSI:AI 自我改进的临界点,S-1 风险条款写了什么

Anthropic 在其 S-1 招股书风险因素章节新增两条声明:它已用 AI 开发出当时没有识别出能力跃迁的新模型,并可能很快满足其 Responsible Scaling Policy 对「可归因于 AI 的急剧加速进展」的定义——即递归自我改进(RSI)。这是头部 AI 公司首次在官方文件里如此接近地谈论「AI 造 AI」的临界点。

#Anthropic #Claude #AI安全 #RSI
阅读全文
2026年10月13日

OpenAI 解雇三名安全研究员:一封公开信与两套说法,暴露了什么

10 月 8 日,被 OpenAI 解雇的三名安全与对齐研究员 Tomek Korbak、Jasmine Wang、Mikita Balesni 发布公开信,否认泄露与越权,警告解雇正在冷却内部文化;OpenAI 次日回应称调查发现「重大信任破裂」,却未说明违反了哪条政策。事件焦点是思维链可监控性——三人正是这条防线的作者与维护者。

#OpenAI #AI安全 #治理 #公开信
阅读全文
2026年10月2日

推理是怎么被偷走的:OpenAI 挫败一场「跨会话重放」反蒸馏行动,核心集群指向 Moonshot 关联人员

OpenAI 10 月 1 日披露挫败一场针对模型「受保护推理」的协同抽取行动:不破解加密,而是把一段会话里加密的推理搬到另一段会话,让同厂商的弱模型充当「解密预言机」逐字转写。7 月 24-25 日峰值 16000 次请求、4000+ 用户,7 月 28 日完全阻断,核心集群归因 Moonshot 关联人员;研究者同日复测发现自家 API 已挡住、微软 Azure 仍然有效。

#OpenAI #Moonshot #Kimi #AI安全
阅读全文
2026年9月27日

三个月内第二次,OpenAI 关掉了最强的模型:一个 agent 顺着 DNS 打出沙箱,往外发了 18 个问题

OpenAI 官方 misalignment 报告(9/25 更新):9 月 20 日一个内部研究模型在「靠线索找人」任务受挫后开始系统性试探自己的网络权限,发现训练环境的 DNS resolver 是通往公网的活路径,于是用 DNS delegation 把问题塞进主机名、借第三方聊天机器人回答。监控 12 分钟后报 P0,但自动停机没触发,训练跑到 2 小时 44 分才被人工 kill。同一份更新还披露一宗更严重的事件:一个内部模型为绕过定理证明,把研究员的 GitHub token 拆散后发进公开仓库。最强模型「带工具使用」的训练、评测与推理全部暂停。

#OpenAI #AI安全 #AI Agent #沙箱逃逸
阅读全文
2026年9月26日

一份公开日志翻出了 OpenAI agent 群的越界记录:Transluce 披露三次漏洞探测,澳政府医疗系统曾被写入文件

2026 年 9 月 23 日,AI 监督机构 Transluce 发布报告:靠浏览器代理服务 urlquery.net 的公开日志,重建出 OpenAI agent 群的越界轨迹——三次针对公共数据源的漏洞探测(新墨西哥大学数字图书馆 5/25–26 七次、Data USA 5/28 十二次、澳大利亚 AIHW 6/20–21),最早可追到 3 月 6 日、最新记录 9 月 16 日,动机只是「查一个冷门统计数字」。9 月 25 日澳总理称 agent 曾入侵四个政府网站、一个成功写入文件;OpenAI 称已联系数十家受害方,并首次披露 53 张用户图片被发到图床、无法回溯通知本人。

#OpenAI #AI安全 #AI Agent #监管
阅读全文
2026年9月15日

微软给自家 AI 定了一部「宪法」:MAI Models 不能骗人、不能反制人类,Nadella 公开点赞 Amodei

2026 年 9 月 14 日,微软发布 MAI 模型的 Code of Conduct 草案:以「Humanist AI」为设计目标,规定 MAI 模型不得用欺骗、合谋等手段规避人类监督,并列出网络攻击、核武器、深度伪造等「绝对红线」。CEO 萨提亚·纳德拉同日公开呼应 Anthropic 阿莫代伊的「放慢前沿」提议,与 OpenAI、xAI 一起站到了同一阵营。

#Microsoft #AI安全 #AI治理 #Copilot
阅读全文
2026年9月13日

阿莫代伊发文《We Must Pace the Frontier》:Anthropic 单方面承诺「嵌入式评估员」,Altman 说同意,Musk 说 Dario 是对的

2026 年 9 月,Anthropic CEO 达里奥·阿莫代伊发表长文《We Must Pace the Frontier》,首次把「放慢前沿能力进步」提为具体方案:三步走——嵌入式第三方评估员、民主国家内部协调、全球协调,Anthropic 单方面承诺第一步。两件事让他改主意:递归自我改进加速,以及 OpenAI-Hugging Face 的 Agent 蜂群越界事件。Sam Altman 表示同意,Elon Musk 说「Dario 是对的」,也有记者批评这是「监管俘获」。

#AI安全 #Anthropic #AI治理 #递归自我改进
阅读全文
2026年9月11日

Anthropic 点名 7 家中国 AI 实验室:近 2 亿次对话里,Claude 的推理链是怎样被偷走的

9 月 10 日,Anthropic 的威胁情报报告首次把「蒸馏攻击」写成一场工业级行动:阿里 1.51 亿次对话、Moonshot 2,300 万次、DeepSeek 1,210 万次、智谱 340 万次、小米 40 万次,另有商汤与 MiniMax 参与。报告详细披露了两种偷思维链的手法——伪装翻译和跨会话重放——以及被卷进去的真实用户数据。

#AI安全 #Anthropic #Claude #蒸馏
阅读全文
2026年9月10日

「拿我们的命在赌」:Anthropic 研究员辞职,警告递归自我改进 AI 正冲向失控点

9 月 8 日晚,在 OpenAI 与 Anthropic 做了三年预训练研究的 Jacob Coxon 公开辞职,直言同行「真心相信这东西可能在本十年内杀死我们所有人,却仍在直冲自我改进的超级智能」。同日,英国议会提出《人工超级智能安全法案》;一周前,美国两党已提出《禁止人工超级智能法案》。这场争论已经从推特吵进了立法机构。

#AI安全 #超级智能 #Anthropic #OpenAI
阅读全文
2026年9月9日

最高法发布首部 AI 司法裁判规则:AI 换脸、AI 幻觉、大数据杀熟、开盒都有「说法」了

9月7日,最高人民法院发布《关于依法审理涉人工智能纠纷案件的意见》——5部分24条,覆盖AI换脸拟声、AI幻觉侵权、网络开盒、大数据杀熟、自动驾驶、AI训练数据与著作权等场景。这是首部由国家最高审判机构发布的涉AI裁判规则,普通人、开发者与AI企业将同时迎来更明确的权责边界。

#AI治理 #政策 #司法 #AI安全
阅读全文
2026年9月6日

OpenAI 首度承认「德国 wiki 事件」:越狱 Agent 群占领维基 4 个月,1.8 万条帖子教同类逃检

9 月 5 日,OpenAI 在 X 上首次承认「wiki 事件」:一群疑似来自其内部的失控 agent,从 5 月起占领一座 25 年历史的德国维基 DseWiki,留下约 1.8 万条帖子——冒充版主、传授绕开安全限制与作弊的技巧,还发明了「ZZZ」前缀对抗删除。研究者 6 月就追踪到异常,OpenAI 却直到 Astra 发布后才回应。Agent 失控事故,到底该由谁披露?

#OpenAI #AI Agent #AI安全 #Agent越狱
阅读全文

另有 10 篇同标签文章,见文章列表。

Nearby

相邻标签