番茄健康2024年10月13日发布:OpenAI 悄悄招募了 Altman 投资的安全团队，但与超级对齐无关

这项看似简单的服务解决了一个重要的需求——随着团队规模的扩大，越来越多的员工需要访问越来越多的服务，而这些服务的审批可能需要几天、几周甚至几个月的时间。当然可以简化审批流程，但最简单的方法往往不是最正确的方法，因为这可能带来安全问题。如果涉及到关键业务，在几个小时内回复客户还是几天内回复客户将会带来完全不同的结果。

许多公司至少使用几十个应用程序来处理不同团队的关键服务、协作或客户数据，每个应用程序都有几十个不同的潜在角色或子权限，这很容易失控。

而Indent，就是为团队提供最简单、最安全的方式来实现民主化的访问管理和问责制度。

2023年，在大模型兴起之后，Indent将数据安全的业务顺势拓展到了大模型领域。

2024年3月，Indent联合创始人、CEO阿福德·马丁发表了一篇文章《价值百万美元的人工智能工程问题》。

他提到，模型权重、偏差和训练它们所用的数据是人工智能皇冠上的明珠，是公司最宝贵的资产。对于开发定制模型或微调现有模型的公司来说，他们会在工程时间、计算能力和训练数据收集上投入数百万美元。

但是，大语言模型存在泄露的风险。他以Llama举例，Meta一开始并没有考虑将Llama完全开源，而是做出一些限制。然而，有人却将其泄露在了4chan 网站上。Meta不得不顺水推舟，将Llama完全开源了。

因此，Indent针对性地提出了模型权重、训练数据、微调数据的安全解决方案。

2.与Altman渊源颇深

Indent与OpenAI双方的渊源由来已久。

Indent有两位联合创始人，阿福德·马丁（Fouad Matin）担任CEO，丹·吉莱斯皮（Dan Gillespie）担任CTO。

阿福德·马丁是一位工程师、隐私倡导者，也是街头服饰爱好者，他之前在 Segment 公司从事数据基础设施产品的工作。2016年，他与别人共同创立了 VotePlz，这是一个非党派的选民注册和投票率非营利组织。他热衷于帮助人们找到令人满意的工作，此前他创立了一家通过 YC W16 计划的推荐招聘公司。

丹·吉莱斯皮是第一个非谷歌员工管理 Kubernetes 发布的人，并且自项目早期以来一直是定期贡献者。作为他进入 K8s 的起点，他是一家协作部署工具的联合创始人兼 CTO（YC W16），在那里他构建了 Minikube。他的公司被 CoreOS 收购，后来 CoreOS 成为了 RedHat 的一部分，随后又成为IBM的一部分。

通过履历可以看出，两人早年间与YC关系紧密。而萨姆·奥尔特曼在2011年投入了创业孵化器YC，并2014年担任YC总裁，直到2019年担任OpenAI CEO。

2021年12月21日，Indent宣布获得560万美元的种子轮融资，领投方包括Shardul Shah（Index Ventures合伙人）、Kevin Mahaffey（Lookout 首席技术官）和Swift Ventures，而跟投方的豪华阵容中，就包括萨姆·奥尔特曼以及他的弟弟杰克·奥尔特曼（Jack Altman）。

双方紧密的关系，以及日后Indent涉足大模型安全领域，为Indent并入OpenAI做好了铺垫。

3.Indent并非加入超级对齐

将Indent一整个团队招募至麾下，是OpenAI对于超级对齐团队的补充吗？答案是否定的，因为这是两个完全不同的团队。

OpenAI的安全团队实际上一共有三个：安全系统团队（Safety Systems）、准备团队（Preparedness）、超级对齐团队（Superalignment）。

三个团队的分工为：安全系统团队关注当前模型的部署风险，专注于减少对现有模型和ChatGPT等产品的滥用；准备团队专注于前沿模型的安全评估；超级对齐团队专注于协调超级智能，为在更遥远的未来拥有的超级智能模型的安全性奠定基础。

安全系统团队是一个相对成熟的团队，分为四个子系统：安全工程、模型安全研究、安全推理研究、人机交互，汇集了一支多样化的专家团队，包括工程、研究、政策、人工智能协作和产品管理等领域的专家。OpenAI表示这种人才组合已被证明非常有效，使OpenAI能够接触到从预训练改进和模型微调到推理时监控和缓解的广泛解决方案范围。

准备团队对前沿人工智能风险的研究远远没有达到需要达到的水平。为了弥补这一差距并系统化安全思维，OpenAI在2023年12月发布了一个名为“准备框架”的初始版本，它描述了OpenAI跟踪、评估、预测和防范日益强大的模型带来的灾难性风险的过程。

OpenAI还表示将成立一个专门的团队来监督技术工作，并建立安全决策的运营结构。准备团队将推动技术工作，以检查前沿模型能力的极限、进行评估并综合报告。OpenAI正在创建一个跨职能的安全咨询小组，以审查所有报告并同时将其发送给领导层和董事会。虽然领导层是决策者，但董事会有权推翻决定。

超级对齐团队是2023年7月5日刚刚成立的新团队，旨在在2027年之前用科学与技术来引导和控制比人类聪明得多的人工智能系统。OpenAI宣称会用公司20%的计算资源投入这项工作。

关于超级对齐还没有明确可行的解决方案。OpenAI的研究方法是，用已经对齐的小模型来监督大模型，然后通过逐步扩大小模型的规模来逐步对齐超级智能，并对整个流程进行压力测试。

OpenAI超级对齐团队由伊利亚·苏茨克维和简·雷克共同领导，但两人现在已经离职。据媒体报道，在两人离职后，超级对齐团队已经分崩离析。

Indent团队并非加入超级团队。根据Indent团队在X上发布的信息，他们加入的是OpenAI的准备团队，负责前沿模型的准备到客户的数据管理。

这意味着OpenAI正在加大前沿模型的投入。

近期在法国巴黎举办的VivaTech峰会上，OpenAI开发者体验主管Romain Huet展示的PPT里，透露了OpenAI的下一款新模型“GPT Next”将在2024年晚些时候发布。

图片为OpenAI在VivaTech分享的PPT，来自X

OpenAI接下来的工作重心，很可能就在这款新模型的能力与安全上。

4.OpenAI的“原罪”

超级团队的解散、Indent团队的加入，如果把一系列相关事件串在一起，只能得出一个结论：OpenAI正在加速追求模型的落地与商业化。

这一点，在超级对齐团队主管简·雷克的离职声明中已经公开化了。

简·雷克认为应该把更多的带宽花在为下一代模型做准备上，包括安全、监控、准备、对抗稳健性、超一致性、机密性、社会影响和相关主题，但过去几个月他的团队“却为计算资源苦苦挣扎”——连最初承诺的20%的计算资源也不能满足了。

他认为，OpenAI的安全文化与流程已经不再受重视，而光鲜的产品备受青睐。

对此，在OpenAI总裁格雷格·布罗克曼（Greg Brockman）长篇大论的回应里有这么一句话：

我们认为这样的（越来越强大的）系统将对人们非常有益和有帮助，并且有可能安全地交付它们，但这需要大量的基础工作。这包括在训练时它们连接到什么的周到考虑，解决可扩展监督等难题的解决方案，以及其他新型的安全工作。在我们朝着这个方向构建时，我们还不确定何时能达到我们的安全标准来发布产品，如果这导致发布时间表推迟，那也没关系。