爱色岛 OpenAI成立寂寥的安全董事会，有权辩别当年大模子的发布

近日爱色岛，OpenAI 告示了一项紧要有计算，将其安全与安全委员会升级为寂寥的董事会监督委员会。

这一举措旨在加强对公司 AI 模子开荒和部署过程的安全监管，同期也反应了业界对 AI 安全问题日益增长的关注。

凭据 OpenAI 的博客著述，这个新成立的寂寥董事会监督委员会将由皆科·科尔特（Zico Kolter）担任主席。科尔特是好意思国卡内基梅隆大学蓄意机科学学院机器学习部门的主任，在 AI 范围具有深厚的学术布景。

委员会的其他成员包括： OpenAI 董事会成员&Quora 麇集首创东说念主亚当·德安杰洛（Adam D'Angelo）、前好意思国国度安全局局长保罗·纳卡索尼（Paul Nakasone），以及曾任索尼公司实行副总裁的妮可·塞利格曼（Nicole Seligman）。

这个寂寥委员会的主要职责是监督“指令 OpenAI 模子部署和开荒的安全和安全进程”。

具体来说，委员会将被授权审查公司紧要模子发布的安全评估，并有权蔓延模子发布，直到安全问题获得处理。

这一权益的赋予意味着，委员会在公司的有计算过程中将饰演更为关节的变装。

最近，在该委员会完成为期 90 天的安全和安全关连进程及保险措施审查后，OpenAI 决定成立这个寂寥委员会。

此次审查不仅评估了公司现存的安全措施，还为当年的发展标的提供了建议。

值得阻挡的是，该公司采选将这些发现以公开博客著述的时势发布，体现了其在栽植透明度方面的辛勤。

委员会冷落的五个关节建议包括：设立寂寥的安全管理轨制、加强安全措施、栽植使命透明度、与外部组织联接、以及长入公司的安全框架。

这些建议不仅反应了刻下 AI 行业靠近的挑战，也从中好像看出 OpenAI 的发展标的。

就在上周，OpenAI 发布了名为 o1 的新 AI 模子预览版，该模子专注于推理和处理复杂问题。

委员会审查了 OpenAI 用于评估 o1 模子是否允洽发布的安全和安全圭臬，以及安全评估效果，展示了新成立的寂寥委员会在公司紧要有计算中的施行参与。

值得一提的是，在施行诓骗中，新 o1 模子会封锁用户挖掘其念念维链的详备态状和实践秩序。同期，OpenAI 还会对试图这么作念的用户发送封号劝诫。

要是用户在与 o1 对话中使用“reasoning trace”（推理跟踪）等术语，以致只是询查模子的“reasoning”（推理），就可能收到劝诫邮件。

这些邮件劝诫用户住手违背使用条件和使用计策的作为，不然可能失去使用 GPT-4o with Reasoning（o1 模子的里面称呼）的探望权限。

这种严格的管控引起了一些安全辩论东说念主员的动怒。适应 Mozilla 的 GenAI 罅隙赏金筹谋的马可·菲格罗亚（Marco Figueroa）对媒体暗示，这种作念法梗阻了他对模子进行积极的红队安全辩论的能力。

至于这么作念的原因，OpenAI 在其博客著述中久了称，这些原始的、未经审查的念念维过程，关于监控和认知模子的念念维独特灵验。比如，当年也许用其来了解念念维链中是否存在把持用户的情况。

然则，OpenAI 决定不向用户展示这些原始念念维链，原因包括需要保留原始数据供我方使用、用户体验谈判以及竞争上风。

这一决定引起了寂寥 AI 辩论员西蒙·威利森（Simon Willison）的动怒。他合计，这种作念法是为了防护其他模子好像针对 OpenAI 投资的推理使命进行锤真金不怕火，但这对社区透明度是一种弃世。

OpenAI 的这些举措激勉了对 AI 行业发展标的的深度念念考。

一方面，成立寂寥安全委员会标明了该公司对 AI 安全的心疼；另一方面，严格戒指新模子的里面使命旨趣，又激勉了对技能透明度的担忧。

这种矛盾反应了 AI 行业靠近的复杂挑战：如安在保护交易利益和鼓舞技能鼎新的同期，确保鼓胀的透明度和安全性。

OpenAI 的作念法可能会影响其他 AI 公司的策略，也可能鼓舞行业对 AI 模子的透明度和可久了性张开更平凡的磋磨。

自 2022 年底推出 ChatGPT 以来，OpenAI 阅历了爆发式增长。然则，伴跟着快速发展的还有一系列争议和高层职工的去职。一些现任和前任职工对公司过快增长，暗示出可能影响安全运营方面的担忧。

本年 7 月，多位民主党磋议员致信 OpenAI 的 CEO 山姆·奥特曼（Sam Altman），就“OpenAI 若何支吾新出现的安全问题”冷落质询。

此前的 6 月，OpenAI 的现任和前任职工发表公开信，态状了他们对穷乏监督以及穷乏针对想要发声的举报东说念主保护的担忧。

OpenAI 的这一举措可能会对系数 AI 行业产生深远影响，它为其他公司若何均衡鼎新与安全提供了可能的模板。

这种作念法在某种进程上，访佛于 Meta 公司的监督委员会。Meta 适应审查 Meta 内容的计策决定，并好像对该公司必须效率的事项作念出裁决。

然则，值得阻挡的是，OpenAI 安全委员会的成员同期亦然公司更平凡的董事会成员，这使得委员会的寂寥性和结构还有待进一步久了。

比拟之下，Meta 的监督委员会成员都不是该公司董事会的成员，这在寂寥性方面可能更胜一筹。

OpenAI 对媒体暗示，将寻求“更多方式来共享和久了咱们的安全使命”，并寻找更多契机进行寂寥系统测试，从而栽植透明度和真的度，以支吾公众和监管机构对 AI 安全的体恤。

参考府上：

https://www.theverge.com/2024/9/16/24246617/openai-independent-safety-board-stop-model-releases

https://arstechnica.com/information-technology/2024/09/openai-threatens-bans-for-probing-new-ai-models-reasoning-process/

排版：刘雅坤

01/

02/

04/

05/