本文来自微信公众号:琢磨事(ID:zuomoshi),作者:老李,原文标题:《到底什么是OpenAI成功的关键点,到底谁能干好大模型?》,题图来自:视觉中国
(资料图片仅供参考)
如果回到2015年,一个还算成功的投资人和一个做交易网站架构的人和你说他们要创建个公司做人工智能,希望你能投资或者加入,你估计会毫不犹豫地拒绝。拒绝掉原因还不是因为年包问题,而是觉得太儿戏了,不想浪费自己的青春。但如果我们说这个投资人是Sam Altman,这个做网站架构的人是Greg Brockman,这家公司是OpenAI,你可能就会有点诧异。
我们对管理的认识有基础缺陷,这种基础缺陷在看工厂的时候不明显,但看OpenAI这类团队的时候就容易总是看偏。大家更愿意从人才密度、算力、数据、算法等有形要素的角度解读OpenAI的成功,其实这是偏的。它们都很关键,但并不是最关键的。最关键的是为什么两个没那么明白人工智能的人能带领团队逐步壮大,最终取得举世皆惊的成绩。
放了算力、算法和数据吧
如果你经常参加关于大模型的研讨会,你会发现大家总是在探讨怎么搞到机器,算法原理是什么,谁有更多的数据等。
这时候大家其实是忘了即使在GPT-3同期,也有一些团队在研究大模型,人数未必就没有OpenAI的120~130人多,学历也不比OpenAI的博士、硕士、本科1:1:1差,也不是没机器和数据,那为什么只有OpenAI取得了进展呢?
再往下很容易被归结为OpenAI他们的人很厉害。一个衍生思路就是能不能把它们的人挖过来,然后干不就完了。这其实既不对,也不行。不对是因为到一定程度,个体差异远没想的那么大,都发过顶会论文,谁比谁差多少;不行是因为,我们倒腾过一遍确实不行。
2010年那一波人工智能浪潮没带来什么利润,但却带来了一个核心的经验:指望空降几个大牛来组成研究院,怎么干最终都会干黄。从阿里达摩院到吴恩达等反复证明此路不通(再找还可以追溯到贝尔实验室、施乐实验室)。
这背后隐含的问题其实非常关键,弄不清楚会导致很随性地把人脑袋锯掉尝试换一个,然后才发现不管样子和原来的人多么像,人最终都是活不过来了这类很悲剧的事情。
对于企业,严重的后果就是,如果不清楚认识这个问题,那对于一个远未稳定的领域,最终结果就真的可能像Ilya Sutskever说的,彼此的差距在拉大,而不是缩小。
而要想真的弄清楚这个问题,我们需要先看一个八竿子打不到的案例,回到乔布斯的皮克斯。
迪士尼为什么花74亿美金收购皮克斯
2006年迪士尼花74亿美金收购皮克斯的时候,内部也很多争议。那个时候皮克斯最大的成绩是《玩具总动员》这些创意驱动的CG电影,成绩远超一众竞对。简单说就是迪士尼自己玩不转,然后就想收购。(虽然迪士尼和皮克斯有复杂合作协议,但乔布斯要改,迪士尼不怎么同意。)
在那个时候数据大概是这样:
用乔布斯的话总结:自1937年《白雪公主》发行以来,每个人都尝试进入动画市场。到目前为止,只有两家公司制作过毛利超出1亿美元的轰动大片,那就是迪士尼和皮克斯。而在那个时间点显然迪士尼还不行了,所以就想收购。
这事要放在我们这种拆零件的思维模式下,怎么算也是亏的。花74亿美金买的到底是啥呢?
人可以挖,做CG的电脑可以做,之前的电影迪士尼有版权的,所以怎么也不值74亿美金。
其实那个时候,迪士尼内部也很多反对声音,和上面这个判断一样,觉得不值。皮克斯用拆零件思路估价就实在没有什么。这如果失败了,相当于这笔74亿美金的交易会变成买电脑的交易,那地球上实在没有比这个更贵的电脑了。(撑股价是个现实理由,但那个不完全有谱)
后来还是买了,我个人估计大家之所以服了,有两个核心原因:一部分原因是皮克斯这个战绩实在太好了,另一部分应该是被乔布斯给影响了,乔布斯认为竞对很难复制皮克斯的风格。
他说:我们花了10年时间将这两种文化融合在一起。这听起来很容易,似乎只要在这里安排一个技术人员,在那里安排一个创新人才,然后他们一起出去吃午餐,于是便莫名其妙地成功了。当然不是。这个过程是非常艰难的。我们花了10年的时间才知道如何融合这两种文化。这话要别人说大家可能不信,但乔布斯说估计很多人还是会仔细琢磨下的。
后来还是买了,乔布斯因此成为迪士尼最大的个人股东。事后证明这收购是对,还不是因为股价,而是因为作品。简单列下,至少有机器人总动员、超人总动员、飞屋环游记、寻梦环游记等。
为什么在大模型的探讨中加入这个案例呢?
因为它俩从组织角度看,成功的第一关键要素一模一样。都不是我们拆零件后看到的胳膊腿,而是一种“场”。而这种场和核心人员比如乔布斯、Sam Altman有关,他们是启动者;但也和文化以及与文化融合的行为模式有关,一众强个体要融入这个场里面。
很有趣的是这俩人:乔布斯、Sam Altman,都不是干技术的,但就是这两个人做出了足以影响科技史的成绩。这时候必须多说一点,不能简单地认为这俩人是关张那种大刀一挥斩将夺旗就赢了。他们的角色更像布道者,也很关键,但不是全部。核心的还是场,他们是场的一个关键部分。太阳影响不影响地球生命演化呢?影响的,但太阳并不手把手控制人类怎么从鱼开始进化的。
下面我们说回大模型,再从这个视角看下OpenAI成功的关键。
OpenAI的成长历程
关于Sam Altman的报道很多,这里不再多说,只强调下他的三个与众不同之处:
一个是在OpenAI不持股;一个是设计了个租借型的股权结构;一个是还干了个项目叫UBI(Universal Basic Income)。如果这三项都和报道的一致,那这三个事情背后的动因就只可能是一种极为超拔的宏愿。这种选择确实会激发巨大的精神力量,但我们这里不展开。
OpenAI总裁Greg Brockman和首席科学家Ilya Sutskever通常被认为是真正将OpenAI从头做起来的灵魂人物。Greg Brockman和OpenAI的博客记录了团队一起合作的一些细节,从中我们可以看到OpenAI发展中的一些特质。
从Greg Brockman自己身上首先能看到的就是这是一个特别正向积极的人,他自己不是做人工智能出身,但通过自学完成了自己的启蒙。在此前公司Stripe里已经是公司的CTO,但来到OpenAI后第一个定位就是要全力支持Ilya Sutskever,做好琐碎的研发管理工作,比如会议安排等。有趣的是,他们配合非常默契,也动态补位,后来一旦进入工程攻坚阶段,Ilya Sutskever就把这些工作接了回去,让他能够专心工作。
这类事并不局限于他们两个高层。
OpenAI内部虽然分割成了很多技术小组,但这些技术小组间的流动和配合是比较频繁的。不同的项目比如ChatGPT要从不同小组吸纳不同人来参与。OpenAI内部的项目如RLHF(Reinforcement Learning from Human Feedback,人类反馈强化学习)、GPT1、GPT2、 GPT3、codex、InstructGPT、webGPT等的具体参与人员不定,通常是技术成员团队去负责工程项目的推进,包括项目进展的整体管理。真启动项目的时候自底向上的情况比较普遍,早期也没有很多人参与,通常几个人就可以把一个项目启动起来。
这些成员们形成了一些统一的风格,他们非常务实,不以发Paper为第一优先级,而是希望切实地干出有影响力的项目。不管是早期打Dota还是机械手玩魔方,都是需要相对长的时间持续迭代,把每一步做好。在最近Greg Brockman和微软CTO的对话上,他重申了这一点,他说:我们需要回过头来仔细检查每一个细节,做一些乏味的工作,但也正是这些乏味的工作使得我们最终获得了成功。
这可能真的是一个关键中的关键,OpenAI是人才密度比较高,但也没高到远超Google等的地步,比如ChatGPT团队实际上本科、硕士、博士各占1/3左右,并不是真的天团。但就是这样一个团队做出了最为引人注目的成绩,这就让人必须得关注他们的配合和细节。
从这些描述中我们可以得出这样一个结论:这个团队很像是一些高级建筑设计师的组合,但是呢,你让他们去搬砖他们也很起劲。为了目标不怕脏不怕累,啥活都干。(这也正和这次突破有关,GPT4不是一个理论的成功,而更像一种工程的成功。)
这种状态在拿了年包尽可能少干活的氛围下是不可能实现的。
说完OpenAI,我们再看下大模型当前是个什么阶段和状态,就能很自然地回到我们的题目,到底谁能干好大模型?
大模型当前的阶段
在我们这个时间点什么是确定的?GPT4是确定的,基于GPT4再往前走一走是确定的。
所有其它的我觉得都可以认为是不确定的。也就是说远未进入到一个技术成熟期,非要类比的话,可以讲不如2000年的互联网,但比2010年那波进展要好。
2010年的本质进展就是模式识别精度,我们预期很多,但其实直到ChatGPT也只是精度持续提升了些,并没有本质性的变化。
这意味着什么呢?
这意味着大模型后续的发展还是一场长征,需要更多的开拓和摸索,进一步也就意味着还是需要很高的创造力以及与此匹配的场。
这时候有一个弱点对于做大模型其实是致命的(还不算有没有钱,钱是必要不充分条件)。
在一个相当长时间内收支失衡的前提下,是不是团队能坚持长期主义,相信这事的意义,义无反顾地干下去。如果都是有今天没明天的心态在做,这会导致群体性的“差不多就得了”心态,也会导致大家看见脏活就躲,一旦这样那估计就会负反馈,越干距离越远。
这部分恰恰不是钱能矫正的,而只能依赖于场,依赖于启动场的人。也就是说这里反倒是要规避拿钱快速砸,快点商业闭环的思维模式。
小结
点评大模型团队这事我就不说了,太得罪人了,大家可以自己判断。但大模型的成功是场的成功,这点是确定的。而场的成功要有核心人物,也要有场的生成。如果需要做个形象的比喻那是这个样子:
布道者、价值观和智能工具相融合形成一个像大日般的核心,笼罩特定的组织。它是一切力量的根源,但其中的你可自行选择生活方式;定义昼夜,但你可自择作息;决定温度的量级,但允许万物自行衍化;设定生命的起始条件,却又不规定生命本身;无可违反,却又两不相干;是规则也是力量,是尺度也是方法。
我这阵总说黑暗森林的思维模式是低级文明的低级特征,在这里也可以得到佐证,假如一个团队都信奉黑暗森林,那就根本干不好大模型。
本文来自微信公众号:琢磨事(ID:zuomoshi),作者:老李
关键词: