提问：

“ChatGPT 真厉害，说得跟真人一样！”和“这大胖闺女真聪明，说得跟大人一样！”，有啥区别？

(资料图片仅供参考)

你和 AI 以后会是什么关系？a. 互为伙伴；b. 互为爱人；c. 互为奴隶；d. 互通

安全的 AI 和安全的烤面包机，有什么区别？

这些问题的答案唯一么？和个人经验有关么？你的答案又是什么呢？

我们和一位“老牌”图灵奖得主聊起了上面这些问题，被狠狠地上了一课——这个老头把我那些对于 AI 的恐慌全部打消了，但他也破灭了我关于 AI 的那些仰望和畅想。两个多小时聊下来，我对于 AI 的感情，就跟我家洗衣机电冰箱甚至马桶圈相差无几了。

祛魅，一种清爽的祛魅，大概就是这个感觉。

Joseph Sifakis丨作者供图

约瑟夫·希发基思（Joseph Sifakis），他早在2007年就成为图灵奖得主。在他最新出版的著作《理解和改变世界》中，他借由 AI 为讨论主题，描述了一套新颖的技术哲学体系——关于知识和信息、文明和智慧，在一套精妙的工程学思维之下。

长此以往，人类将丧失某些智力  

果壳：你为什么写一本这样的书？从对“知识”的分析开始，来阐释 AI 所带来的机遇和挑战。而今，大多数人则更关心 AI 如何站上“风口”，以及它的颠覆能力。

希发基斯：今天，人人谈论“智能”，声称机器已经到达了人类的智能水平，但这些人却无法精确地回答“什么是智能？”

我的确相信 AI 能用来解决一些问题，但离我们说的 AGI（通用人工智能）还远着呢——AGI目的是达成“人类智能”水平。

别怕！还远着呢！丨Giphy

“人类智能”的特点是其具备理解世界的能力。为此，人类“配备”了常识性知识（从出生起逐渐建立）——这是我们对于世界所建造的一个模型。“常识”为什么重要？我举个例子，自动驾驶将月亮认错为黄色交通灯，但人知道交通灯不可能挂在天上。

还有一点很重要，人能做从感官到思想，从思想到行动的推理。如果我给你看一个部分被雪覆盖的停车标志，你立马就知道是什么——因为你把这张图片和脑中早已对其建立的模型联系了起来。但想让神经网络识别停车标志，就需要有各种天气状况下、各种样子的停车牌供它训练。

“智能”是什么？如何实现它？作为一名计算机科学家，我想先从解释“知识”开始——知识，作为一种有用的信息，人们是用它来解决问题的。“人类智能”和“机器智能”都能开发和应用知识，区别在于刚刚所说，前者有理解世界并对内、外部刺激做出响应的能力——也叫“意识”。

所以我想试图解释这些基本概念，以及它们如何与“机器智能”产生关系。

嘿嘿～谢谢脑子～丨Giphy

果壳：你认为 AI 生成的“知识”，还能沿用我们历史上对于知识的定义吗？

希发基斯：做 AI 的人不会解释这一点。我们有不同类型的知识，依据它们的普遍性和有效性来划分。

比如，像刚说的常识性（经验）知识，因为它，人才能走路、说话。当我们做这些事时，大脑其实正在解决一个非常困难的问题，但我们却不知道其中的“工作原理”，这是经验知识泛化的结果。人不用推理，也知道父母比孩子年长。神经网络产生的知识也包含在这个类型之中，因为与人产生和应用这类知识时具有相同的性质——解决问题，不必知道为什么，还有能通过学习来产生这一类型知识。

知识金字塔：对知识类型的分类丨《理解和改变世界》

“科学和技术知识”是基于数学模型的，和“常识性知识”的区别在于，前者具备可解释性。我们为什么相信科学？当人类建桥造楼，因为了解其原理，从而确保它们不会轻易倒塌。

但我们对 ChatGPT 生产的知识半信半疑。毫无疑问，ChatGPT 能提供知识，它在一些回答上表现出色，比如你让它总结一段中国历史。但它会犯逻辑错误。我们认为它没那么可靠的原因是，没人构建来解释 ChatGPT（神经网络）行为的科学理论——但我们需要。

AI 被允许利用它的“可预测性”，解决一些我们不知道如何通过推理来解决的问题，即便我们也不清楚它是怎么做到的。但只要有一天它没有实现“可解释性”，我们都得对人工智能保持谨慎。

嗯……要保持谨慎……丨Giphy

果壳：AI 生成知识，有哪些优于人类的优势？我们应该如何利用它，帮我们解决无法通过推理来解决的问题？

希发基斯：人类思维系统中，有“意识”和“潜意识”。当人们推理、写代码时，靠的是意识思维；跳舞、打鼓时，在做潜意识行为。神经网络生成知识的方式，类似人类的潜意识。

大脑有意识能掌握的复杂关系是有限的，能关联的参数数量的上限大约是五个（一个关系与四个参数），无法同时建立起大量操作单位之间的关系。你看，人类通过建立科学来了解世界。科学理论是简单的理论。比如，很多经济学家遭人诟病，因为人们认为经济学理论无法建模人类行为，似乎在简化现实。

AI、超级计算机的出现，有可能构建我称之为“Neural Aura”——一种巨大的神经网络。它可以被用来预测复杂现象——有成千上万参数的那种，比如气象、经济、社会等。今天，我们研发用于预测地震的神经网络系统，通过不断学习，它们能够比科学理论更准确地预测地震。

AI 能帮助我们突破认知复杂度的限制，间接扩展人类智力。这就是我说的，你不需要理解，但也能通过预测获得——某种程度上，这也是有用的知识。

但是与此同时，一场计算机和人类之间的“分工之战”也拉开了——人不再掌握生产知识的特权，机器也可以了。

果壳：那么机器能生产知识到底是好是坏？

希发基斯：不能说是好是坏，我只能说“有用”，其中的不确定性在于是我们去怎么使用它。任何技术都是如此，就像核能。技术开启了可能性，应该由人类来定义它们的规则，以一种对人类利益好、对社会利益好的适当的方式。

认清形势、努力拼搏丨Giphy

果壳：像你刚刚说的，人类能理解世界是因为我们具备常识。ChatGPT 能读懂梗图，能说它有常识，能根据常识推理吗？

希发基斯：ChatGPT 为自然语言处理的难题带来一个答案，研究者们对其等待多年。传统方法是象征（主义）学派的方法，通过分离语义结构，把每一个单位，按照层级构建出概念之间关系的语义网络（模型），从而得到一段自然语言整体的意思——这种方法从未奏效。

ChatGPT 采用了不同的方法，它没有语义模型。大语言模型认为一个词的意思是由语境定义的。语境决定了这个词后面跟着哪些词。大语言模型用机器学习概率计算出下一个最有可能出现的词。ChatGPT 在没有明确（语义）模型的情况下捕捉到了一些语义——这是我还没想明白的事情，对我来说是一个惊喜。

它没有常识推理。理解世界的前提是有一个对于环境的抽象模型（不要跟神经网络模型混淆），模型之中分布符号知识，人类能把感官得到的具体知识，与符号知识对应上。拿自动驾驶举例，摄像头是来辨认分析障碍物的，想象一下如果在系统里，也有一个“知识库”，外面信息进来后，能找一个对应点，预测结果就会更好。

但是我们不知道如何去做。我认为这是对于 AI 最大的难题，联系具体知识和符号知识在一起。人在一些语义模型的控制下，推理是具备鲁棒性的。如果对 ChatGPT 进行鲁棒性测试，它并不能保证答案的一致性。

果壳：今天很多人在工作流中加入 ChatGPT 辅助，如果人们养成过于依赖用 AI 来生产知识了呢？怎么避免这种技术滥用？

希发基斯：ChatGPT 跟 Google 还不太一样，Google 只是给你信息，你得管理，用 ChatGPT 就简便多了。想象你有一个奴隶，你要求他做这做那，他按照你说的去做，实则你将越来越依赖他，成为“奴隶的奴隶”。

长此以往，人类将丧失某些方面的智力。尤其儿童更甚。我看到一些孩子不知道“乘法表”。这不是“硬背”的事儿，他们得知道数字之间的关系，那是我们用来推理世界的非常基本的关系。

17 世纪至 18 世纪的欧洲，科学理论为工业革命奠定了基础，生产力发展推动社会进步。人类是过去历史的“主角”。人类是以推理为基础认识世界的，这是人类文明的成就。随着人工智能的出现，许多人说，科技将成为世界的“主角”。知识由人工智能系统生产，系统由少数大型科技公司研发，你也不清楚知识怎么被生产出来的。人们对待知识的态度，再不像以前，反复讨论和验证科学理论的正确性。知识就像一个商品，拿来即用，别无选择。当人类别无选择的时候，就是机器在“发号施令”。面对机器的竞争，人类应该掌握知识的生产、发展。

AlphaGo之后，围棋就变成了另外一种东西丨Giphy

果壳：这让我联想到，在 AlphaGo 之后，现在很多孩子学围棋，是在“向 AI 学习定式”，判断标准也成了“谁和 AI 下得更像”，你怎么看待这种现象，未来会在哪些领域出现类似情况？

希发基斯：发现（discover）和发明（invent）之间有区别，我不知道在中文里是不是也如此。AI 发现，通过数据它总结发现“模式”；人发明，因为人有创造力。他们都有智能，但以各自方式实现。学生被 AI 训练下围棋，影响是什么？这样做多大程度上影响我们做事方式？我不好说。

人机共生 vs. AI 掌权，前者要难得多  

果壳：如你所说的话，那人类该以什么方式与机器合作？彼此之间的关系应该维持在什么样子？

希发基斯：意识主导潜意识。我也认为人类和机器的关系可以是这样的：人类来主导（机器）。

人类已经有很多“自动化系统”了。自动化系统就像“电梯系统”，你选一个楼层，电梯给你送到，一次操作解决一个目标——自动化系统一步一步执行人类编写的代码程序（如果说神经网络类比潜意识，这类系统就类似意识思维，具备可解释性）。

AI 补充了上述自动化系统，解决了一些它很难解决的问题。这是一个巨大的进步。业界训练了对话 AI、AI 来打游戏、识别分析图像——目前我们有了垂直领域的AI，解决特定问题。但“问答游戏”是简单的人和机器协作。我们想要协作更深入一些，一起执行任务。能协作多少，多深，就跟机器的自主性（autonomy）有关了。

理想状态，是我们所说的“共生自律”（Symbiotic Autonomy），一种机器与人类共生生态。但我们知道光是“人机共驾”就已经发生过很多事故了，所以让人类和机器协作，远不是那么容易的事情。

机器要是像狗狗一样就好了～丨Giphy

果壳：这种“协作”为什么那么难以达成？

希发基斯：我举个例子。如果自动驾驶通知人类驾驶员说，“我需要你的帮助”。自动驾驶需要以一种人类驾驶员能理解的方式，告知驾驶者哪儿出了问题。人类驾驶员理解了问题，也要有时间来反应。所以自动驾驶直接把驾驶权交出去是没用的，人类得反应，所以它得给一个人类能听懂的“诊断”。更好的情况是，有危险的时候，系统自己做些什么。

相反，人类驾驶员察觉不对，想接管驾驶权，但也许这时汽车或飞机处于人类无法控制的境地，人类接管反而会让其置于危险。

所谓的共生，就是人与机器一起持续地完成一些事情。相比来说，我反而认为机器“完全自主”是一个更简单的问题。

是啊，差在哪呢……丨Giphy

果壳：机器智能和人类智能差异在哪？

希发基斯：我们有用来解决特定问题的 AI。我们甚至惊讶，AI 比人类做得还好。因为论“精确地计算”，人类不可能做得比机器好，人类也不擅长于此。这跟“智能”概念相关——机器拥有“计算智能”，是指分析数据并从中学习。

人类更多依靠“象征性思维”进行推理。人类智能不是发展成用来解决特定问题的，而是协调地（综合技能、综合目标）解决一系列问题的。智慧（或元知识）是关于知识的知识。我不认为今天的机器有能力发展出元知识，组合一个个小的解决方案，形成大的。

这是一个非常大的区别。机器智能和人类智能之间有互补性。

人和机器都该是一种“自主系统”丨Giphy

果壳：你曾在公开场合表示，“自主系统”是接下来迈向 AGI 的重要一步。为什么“自主性”这么重要？

希发基斯：“人”就是一个反应系统、一个自主系统。人类能在给定的环境下发展出智能，我们生活在地球，所以发展出适应地球环境的智能；如果到了火星，就会发展出适应那里的智能。我研究自动驾驶汽车，10 年前我们认为，2020 年实现自动驾驶不过近在咫尺，但这没有发生。原因是自动驾驶系统没有“可靠地”理解周围发生了什么，可能未来很多年还不会有。

自主系统要求与环境持续互动，它必须同时管理多个目标。这很困难。一辆自动驾驶汽车，有短期目标“保持当前线路行驶”，还有中期、长期目标“开到北京”，在这些目标的“平行”追逐之中，当一个目标被更改，整体也要保持一致性，不对其他目标造成干扰。当构建一个系统时，能设置的目标是有限的，不像人类，人类可以自动创建新目标，想象将遇到的新状况，和对应的解决方案。

嗯……还差得远……丨Giphy

我认为迈向 AGI 的重要一步是自主系统。一个自主系统由子系统与代理（agent）组成。“智能代理”能自主理解、规划、执行任务，代替“人类代理”。这是物联网所设想的，举个例子，智能工厂（有许多智能机器人，或任何可以通过编程来协作的设备）、智慧电网等等。

但是“代理”会出现“自私”行为，这意味着你比起关心其他人的舒适性，更关心自己是否舒适。这就带出另一个概念，“集体智能”——所有代理都像社会中的人一样愿协作、懂协调。打个比方，每个人都是一个“自主系统”，受制于“尊重他人”的法律。但单单一个自主系统如此行为还不够，其他必须都如此行为，（社会）才能全局运行起来去完成目标。AI 自主系统还很遥远，因为“集体智能”概念没有被很好地理解。

事实上，AI 研发者应该更多地向人类学习。人类思维是基于价值观的，但这恰好是我们不太了解的：人们如何表现得合乎道德？人类如何遵循规则做出选择？法律是被强制执行的，但道德同样有效地约束着人们的行为。

果壳：跟端到端的AI解决方案，有什么不同？

希发基斯：也有一些公司通过所谓的端到端AI解决方案构建“自主系统”。典型的有NVIDIA，Waymo，他们利用端到端AI解决方案开发了自动驾驶平台。

我曾在飞机制造行业有多年工作经验，知道光有软件是不够的，你得把它们集成到飞机上，确保它们能够应对设备的所有故障。你必须解决系统工程问题。

这关乎于我们如何看待“智能”，如果智能被认为仅是一个“对话问答系统”，那我们已经做到了；如果愿景是 AGI，是实现代替人类执行不同任务的机器，那就不同了。我们想用代理，比如自动驾驶平台，代替人类开车，得把它集成入机电系统中。因为你看，人类智能也不仅是你的大脑——自主系统光AI组件好用是不够的，还是“双手”（去配合），是你所有的行为动作。

果壳：“图灵测试”还有实际意义吗？好像越来越多的大语言模型号称都能应付了。

希发基斯：我认为只是通过对话的测试并不好。现在有些系统声称和人类一样聪明，因为它们通过了“图灵测试”，这在“技术上”来讲是没有意义的。图灵测试中携带测评者的偏见和主观性。很多任务下，机器表现得比人类聪明，但是人类智能是不同的。

问题还是：你如何定义目标？如何定义智能？智能意味着什么？我在论文 Testing System Intelligence 中提出，“替代测试”——如果A能替代B执行一个任务，在该任务下，A和B一样聪明。

如果你接受这个定义，你就会发现有不同类型的智能，智能不是单一的。根据所定义的每一个任务，有对应的智能标准——智能的标准不是通用的。

AI 不会制造阴谋，也不会更守道德  

果壳：脑科学发展滞后于 AI 发展，这是一种错觉么？这种差距会成为一个拖累 AI 发展的问题么？

希发基斯：神经科学发展得没有 AI 快，这是事实。但我不认为，仅仅靠研究大脑，就能在理解人类智能上有进一步突破。我们应该把大脑中发生的和思维中发生的联系在一起。我做了大脑（brain）和思维（mind）的区分。大脑是“硬件”，思维是“软件”。哲学对此有很多讨论，法国哲学家迪卡尔讨论过著名的身心问题（mind-body problem）。举个例子，搞清楚笔记本电脑工作原理，不能只研究电路，也得研究软件，出问题了，也许是软件代码出错。今天大多数关于人类智力的重要研究都集中在大脑，当然会取得一些进展，在我看来，也会遇到瓶颈。

神经科学方面的进展可以助力 AI。人类意识是“人”这个自主系统中的一个元素，之前我们已经聊到意识起的作用。通过研究人类意识，能帮助建立自主系统，当然还有 AI。

果壳：还有什么会制约 AI 发展？

希发基斯：像我们刚说的，你不需要一个“孤零零”的大脑，你需要一个会执行任务的大脑，所以你需要解决关于系统工程的问题，以及“集体智慧”的问题。这些问题极富挑战性。我不知道能被如何解决。AI 未来很有希望，有很多开放的可能性。但无论任何一项技术，我们应该执行“如何使用它”的规则——充分利用技术的同时，保护对人类来说非常重要的东西。

规则是现成的丨Giphy

果壳：所以我们应该先为 AI 设定其适用的新规则？

希发基斯：我们不需要新的规则。我的意思是，我们对于任何“人造物”都设有规则：一台烤面包机能售卖，前提是经过安全认证的；建楼得符合施工标准，有（第三方）机构检查规则实施情况……但在不同场合下使用，风险程度是不同的。比如让 ChatGPT 帮坐在办公室的你写个文档，还是成为工厂流程里的一环。

根据“人造物”要去执行的任务的关键程度，你得需要不同的保证（Guarantee），在保证之下，它才具备“可靠性”——这就是规则。

在欧洲，有一项法律，我们称之为“预防原则”：当（一项技术使得）人类生命受到威胁，或环境遭受威胁时，毫无疑问，不要做！即便有经济利益可图——我们比美国“保守”很多。

今天的 AI 没有规则。不仅是 AI，数字系统都如此，你买了台笔记本电脑，受到网络攻击，然后呢？所以现在的问题是，如果不知道如何将系统构建得安全，在没有规则的情况下，能允许它的使用吗？在美国有一个趋势，允许自我认证——没有标准，谁生产，谁负责，比如特斯拉。

我们冒着风险使用没有标准的 AI。因为应用标准会引起巨大的讨论声音。有些人说，我们不需要标准，因为标准会阻碍创新。

也有人说，我们应该停止这，停止那。我自己也签署了一些请愿书。（一封发布于 2023 年 3 月，内容是呼吁暂停AI 大模型研发至少六个月，等待有效监管跟进；另一封发布于 6 月，内容是呼吁降低 AI 灭绝人类的风险，其风险性应该与大流行病、核战争一样被对待。两份呼吁信，希发基斯都是签署人之一。）

我们能否接受，用不审查、不受控的方式使用 AI，仅仅是为了追求效率？代价是人让渡了关键决策的控制权，这可能意味着，只有大型科技公司才知道如何使用“系统”，因为“系统”大多由他们而生。

强力监管？还是放任自由？丨Giphy

果壳：你觉得我们现实对 AI 的风险监管，会是一种对于“阿西莫夫机器人三定律”的模仿吗？

希发基斯：阿西莫夫说，机器人必须遵守三条定律，不得伤害人类；服从人类（不与 1 冲突）；保护自己（不与 1 或 2冲突）。阿西莫夫故事里机器人是邪恶的，（而在现实中）这种风险是没有理性依据的。

一些人说 ChatGPT 可以制作假视频，或指导人们如何制造炸弹，而这些的前提是，人训练了 ChatGPT。设定规则，不是因为机器会制造阴谋支配我们。我认为机器人根本没有（伤害人类）意图。反过来，我也不认为 AI 更能遵守道德规则。现在有人说，需要 AI 与人类价值观利益对齐（Alignment），我觉得是谬论的。因为遵守道德规则的前提是，有理解能力，能做出选择。AI 没有理解能力，我们在上面讨论过。

风险来自于人类本就没把系统设计好，使得对 AI 的使用增加了风险。AI（技术本身）不是对人类的威胁，而是各国政府、国际组织没有承担起规范 AI 使用的责任。如果政府决定对其无作为，那就是社会的责任，比如别太过依赖机器。

技术发展太快，社会没时间做出反应。大型科技公司推免费应用，只为了获得大量用户，他们制定了“规则”，游刃有余，没有阻力。我认为社会应该停下来思考一下。无论如何都不是不负责任应对的借口——他们早已应该做大量事情，保护数字系统中的用户。

简介：Joseph Sifakis（约瑟夫·希发基思）是中美法三国院士。他于 1946 出生于希腊，与 Edmund Clarke 和 E. Allen Emerson 一起荣获 2007 年图灵奖，因其“将模型检查（Model-Checking）理论发展为被硬件、软件业中所广泛采纳的高校验证技术”所做的贡献。模型检测技术被应用于计算机硬件、软件、通信协议、安全认证协议等领域，成为分析、验证并发系统性质的最重要的技术。

本文来自微信公众号：果壳 （ID：Guokr42），作者：沈知涵

关键词：