首页>云计算 > 正文
过去70年人工智能领域最苦涩的教训-世界今日报
来源: 虎嗅网 发布于:2023-03-17 22:05:03

本文来自微信公众号:周喆吾(ID:maxzhou-blog),作者:Richard Sutton,头图来自:《人工智能》

原文是Richard Sutton 2019年写的,从今天回看,一篇雄文 Attention Is All You Need 碾压了多少 NLP研究员的光荣与梦想……这个教训,太深重!

The Bitter Lesson


(资料图)

过去70年人工智能研究领域最重要的一堂课,是只有通用计算方法(蛮力计算 brute-force)最终是最有效的,而且优势很大—— 因为摩尔定律,每单位计算成本持续呈指数下降。大多数人工智能研究都是假设 Agent 可用的计算量是恒定的(在这种情况下,利用人类知识将是提高性能的唯一方法之一),但是,在稍长的时间里看,可用的计算量必然会大大增加。为了在短期内获得改善,研究人员试图启用本领域内的现存人类知识,但长远来看,唯一重要的是利用算力。基于人类知识的方法往往很复杂,不太适合利用好通用算力。有许多人工智能研究人员迟迟未能学习这个苦涩的教训的例子,回顾这些年的一些最突出的例子是很有启发性的:

在电脑国际象棋中,1997年击败世界冠军卡斯帕罗夫的方法基于大量的深度搜索。当时,许多计算机国际象棋研究人员对此感到失望,他们一直致力于利用人类对国际象棋特殊结构的理解的方法。当一种更简单的基于搜索的方法,结合特殊的硬件和软件,取得了更大的成功时,这些基于人类知识的国际象棋研究人员没有虚心接受失败。他们反驳道,“粗暴的”搜索可能这次赢了,但这不是一种通用的策略,而且也不是人们玩国际象棋的方式。这些研究人员希望基于人类的行棋思路获胜,当它没有获胜时他们感到失望。

在电脑围棋中,也出现了类似的研究进展,只是比国际象棋晚了20年。最初的巨大努力是避免用蛮力搜索,而是想办法利用人类知识(一千年的棋谱),或游戏的特殊特征,但是所有这些努力都被证明是无关紧要的。更糟糕的是,一旦有效地进行了大规模搜索,这些努力都是负向的。同样重要的是使用自我对局来学习价值函数。自我游戏学习 以及 通用学习 一般来说,就像搜索一样,它能够吃掉大量的算力。在电脑围棋中,就像在电脑国际象棋中一样,研究人员最初的努力是利用人类的理解(因此不需要太多的搜索),只有在后来才通过拥抱搜索和学习取得更大的成功。

语音识别方面,20世纪70年代有一场早期的竞赛,由美国国防部高级研究计划局赞助。参赛者包括许多利用人类知识的特殊方法——知识词汇,音素,人类声道等等。另一方面是更统计学的方法,它们做了更多的计算,基于隐马尔可夫模型(HMMs)再次,统计学方法胜过基于人类知识的方法。这导致自然语言处理领域出现了一个重大变化,几十年来,统计学和计算逐渐主导了这一领域。语音识别中最近深度学习的兴起是这一持续发展的最新一步。深度学习方法甚至更少地依赖于人类知识,使用更多的计算,加上在巨大的训练集上的学习,来产生更好的语音识别系统。正如游戏中一样,研究人员总是试图制造出研究人员认为自己的大脑运作方式的系统——他们试图把这些知识放入他们的系统中——但最终证明是适得其反,是研究人员时间的巨大浪费,当摩尔定律使得大量算力变得可用,并找到了一种将其用于好处的方法。

计算机视觉/CV领域,也有类似的模式。早期的方法把视觉想象成寻找边缘,或广义柱,或以SIFT特征的形式。但今天这一切都被抛弃了。现代的深度学习神经网络仅使用卷积和某些不变性的概念,并且表现得更好。这是一个重要的教训。

纵观整个AI 人工智能领域,我们仍然没有彻底地学习到这个教训,因为我们仍在犯同样的错误。要看到这一点,并有效地抵制它,我们必须理解这些错误的吸引力。我们必须学习苦涩的教训,即把我们认为的思维方式构建到系统中是行不通的。

苦涩的教训是基于历史观察,即:

1)人工智能研究人员经常试图把知识构建到他们的代理中;

2)这在短期内总是有帮助的,并且对研究人员来说是个人满意的;

3)从长远来看,它总会达到一个瓶颈,甚至会阻碍进一步的进展;

4)突破性的进展最终是通过一种相反的方法——基于搜索和学习的大规模堆算力——而获得的。

从苦涩的教训中应该学到的一件事是通用方法的巨大力量,即随着可用算力的增加,这些方法仍然可以继续扩展。似乎可以以这种方式无限扩展的两种方法是搜索和学习。

从苦涩的教训中学到的第二个普遍点是,人类心灵的实际内容是极其复杂的,我们不应该再试图找到简单的方法来思考心灵的内容,比如简单地思考空间,物体,多个代理或对称性。所有这些都是任意的、内在复杂的外部世界的一部分。它们不应该被构建,因为它们的复杂性是无止境的;反,我们应该构建可以找到和捕获这种任意复杂性的元方法。这些方法的关键是它们可以找到良好的近似值,但算法应该是基于我们的方法(如学习),而不是我们已经学到的知识。我们希望AI Agent 能够像我们人类一样去发现,而不是在系统里集成我们已经发现的知识。

本文来自微信公众号:周喆吾(ID:maxzhou-blog),作者:Richard Sutton

关键词:

猜你喜欢

  • 过去70年人工智能领域最苦涩的教训-世界今日报
  • AI大模型闪聊会:中美顶流AI大模型的碰撞与契机-快看
  • 详解GPT-4版Office全家桶,感觉钉钉和飞书要有压力了-世界热文
  • 星空华文:预计2022年经调整净利1.1亿元-1.25亿元,同比扭亏
  • 小鹏汽车公布Q4及全年财报:全年营收269亿 同比增长28.0%
  • 容声冰箱“美学之旅”又来了!四城市将同享“无界之美”-全球今热点
  • 海信激光电视新品75L9H上市 元档全色护眼电视首选
  • 微软办公新AI有多牛,当年的大眼回形针就有多蠢-速讯
  • 老兵走了 生命以另一种方式延续-环球速看
  • 室温超导新成果或已光速证伪
  • 【Top本色】华硕灵耀14 2023评测:13代酷睿+2.8K OLED加持 超有质感的高颜商务本!
  • 【Top本色】惠普锐15大屏本评测:不只是平价大碗 3099元还能享1年上门维修
  • 感受超光影三主摄的魅力,OPPO Find X6系列将于3月21日发布-天天新动态
  • 苹果iPhone SE4新传闻:采用京东方OLED屏幕-实时焦点
  • 南大光电: 中信建投关于南大光电控股子公司实施股权激励暨关联交易的核查意见-全球热门
  • 一文探究Cosmos生态的LSD机遇-天天最新
  • dYdX的进击?了解交易奖励减少45%的来龙去脉
  • OPPO Find X6系列将采用大底长焦镜头?解决暗光长焦表现更突破-天天视讯
  • OPPO Find X6 Pro将搭载超广角、广角、长焦三枚摄像头-世界热点
  • 家用中央空调今年继续冲击家庭消费大市场-环球实时