首页>云计算 > 正文
被删除的Sam Altman谈话纪要,讲了什么? 头条焦点
来源: 虎嗅网 发布于:2023-06-07 10:59:44

本文来自微信公众号:极客公园 (ID:geekpark),作者:凌梓郡,编辑:卫诗婕,原文标题:《被删除的Sam Altman 谈话纪要:Open AI 也缺 GPU,降低成本是首要目标》,头图来自:视觉中国


(资料图)

SamAltman 的欧洲之行仍在进行中。前不久,在伦敦,他和 AI 公司 HumanLooop 的 CEO 进行了一次闭门讨论。HumanLoop 是一家帮助开发者在大语言模型上构建应用的公司。

HumanLoop 的 CEO Raza Habib 记录了这次谈话的要点,并公开在公司官网上。但随后在 OpenAI 的要求下,这份纪要被撤下。这反而增强了外界对这次谈话的好奇心。有人推测,是其中所涉及的 OpenAI 的一些想法有所更改。

极客公园在浏览了这份被删除的谈话纪要后,发现其中不仅涉及 Sam 眼中对 OpenAI 的短期规划,也隐藏着获得微软云计算资源大力支持后,OpenAI 所承担的压力。毕竟,模型的微调、推理依旧消耗大量计算资源。据 The Information 报道,Open AI 的模型已经花费了 Microsoft Azure 12 亿美元,将计算资源集中于支持 OpenAI,也让微软的其他部门可使用的服务器受限。

对此,Sam 表示降低成本是目前的首要目标

此外,Sam 还透露:目前,开放更长的上下文窗口、提供微调 API 等服务都受到GPU资源的限制;

这场对话中,Sam Altman 回应了许多外界关心的问题,比如竞争与商业化:

尽管刚刚招聘了一位世界级的产品经理 Peter Deng,但 OpenAI 不会考虑发布更多的产品;

未来的应用趋势是大模型的功能嵌入更多APPs,而不是在ChatGPT上生长出更多插件,因为现实中大多数插件并没有呈现出 PMF(Product / Market Fit,即产品市场匹配)

过去几年,OpenAI 以数百万倍的速度扩展模型规模,但这样的速度不可持续。接下来,OpenAI 会继续以 1 到 3 倍的速度,增加模型规模,以提升模型性能。

谈话纪要公开于 5 月 29 日,根据网友的记录,于 6 月 3 日左右删除。以下是通过备份获得的内容:

一、OpenAI 目前受到 GPU 的严重限制

目前 OpenAI 的 GPU 非常有限,这拖延了他们许多短期计划。客户最大的抱怨是 API 的可靠性和速度。Sam 承认他们的担忧,并解释说,大部分问题是由于 GPU 短缺

The longer 32k context can't yet be rolled out to more people. OpenAI haven’t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.

更长的 32K 上下文还不能提供给更多的人。OpenAI 还没有克服注意力机制的 O (n ^ 2) 的扩展问题,尽管看起来,他们很快(今年)就会拥有 100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。

注:O (n^2) 意味着,随着序列长度的增加,执行 Attention 计算所需的计算资源呈指数增长。O 用来描述算法时间或空间复杂度增长速度的上限或最坏情况;(n^2)表示复杂度与输入大小的平方成正比。

微调 API 目前也受到 GPU 可用性的限制。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法,因此,通过微调进行运行和管理(模型)非常计算密集。未来将对微调提供更好的支持。他们甚至可能主持一个基于社区的模型贡献市场。

专用容量供应受 GPU 可用性的限制。OpenAI 提供专用容量,为客户提供模型的私有副本。要获得这项服务,客户必须愿意承诺预先支付 10 万美元。

二、OpenAI 的近期路线图

Sam 也分享了他所看到的 OpenAI API 临时近期路线图。

2023:

更便宜更快的 GPT-4 ーー这是他们的首要任务。总体而言,OpenAI 的目标是尽可能地降低“智能成本”,因此他们将努力工作,随着时间的推移继续降低 API 的成本。

更长的上下文窗口ーー在不久的将来,上下文窗口可能高达 100 万个 Token。

微调 API ー微调 API 将扩展到最新模型,但具体的形式将取决于开发者表明他们真正想要什么。

一个有状态的 API(stateful API) - 当今天调用聊天 API 时,你必须反复通过相同的会话历史,反复支付相同的 tokens。将来会有一个版本的 API 可以记住会话历史记录。

2024:

多模态:这作为 GPT-4 版本的一部分进行演示,但在更多 GPU 上线之前不能扩展到所有人。

三、商业化预判和思考:插件“没有 PMF”,可能不会很快出现在 API 中

很多开发者都对通过 API 访问 ChatGPT 插件感兴趣,但 Sam 说他认为这些插件不会很快发布。除了 Brosing 插件 之外,其他插件的使用情况表明还没有 PMF(Product/Market Fit)。他指出,很多人认为他们希望自己的应用程序位于 ChatGPT 之内,但他们真正想要的是 ChatGPT 存在于应用中

四、除了 ChatGPT,OpenAI 将避免与其客户竞争

不少开发者表示,他们对使用 OpenAI API 开发感到紧张,因为 OpenAI 最终可能发布对他们有竞争力的产品。Sam 说, OpenAI 不会在 ChatGPT 之外发布更多的产品。他说,历史上,伟大的平台公司有一个杀手级应用。ChatGPT 将允许开发者成为自己产品的客户来改进 API。ChatGPT 的愿景是成为一个超级智能的工作助理,但很多其他的 GPT 用例,OpenAI 不会涉及。

五、需要监管,但不是现在

虽然 Sam 呼吁对未来的模型进行监管,但他认为现有模型并不危险,认为监管或禁止它们是一个大错误。他再次强调了开源的重要性,并表示 OpenAI 正在考虑将 GPT-3 开源。他们还没有开源,部分原因是他对有多少个人和公司有能力持有和服务大型语言模型(LLMs)表示怀疑

六、规模定律仍然适用

最近有很多文章声称“巨型 AI 模型的时代已经过去”。这并不准确。(注:在 4 月一场在 MIT 的活动中,Sam Altman 曾经表示:我们现在已经接近巨大模型时代的尾声。)

OpenAI 的内部数据表明,模型性能的规模定律仍然适用,增加模型的大小将继续提高性能

由于 OpenAI 在短短几年内就将模型扩大了数百万倍,这样的扩展速度不可能持续下去。这并不意味着 OpenAI 不会继续尝试把模型做得更大,而是意味着,它们每年的规模可能会增加一倍或三倍,而不是增加许多数量级。

规模定律有效对 AGI 开发时间线有重要意义。规模定律的假设是我们可能已经具备构建 AGI 所需的大部分要素,并且剩下的工作,主要是将现有方法扩展到更大的模型和更大的数据集上。如果规模的时代已经过去,那么我们可能会离 AGI 更遥远。规模定律继续适用的事实,强烈暗示着更短的时间线。

本文来自微信公众号:极客公园 (ID:geekpark),作者:凌梓郡,编辑:卫诗婕

关键词: