■ 专栏

科技必须向着合乎人类利益的方向演进。

(资料图片)

在GPT4诞生两周之际，日前一篇关于GPT4已点燃通用人工智能火花的论文热度未减，图灵奖得主约书亚·本吉奥、计算机科学家斯图尔特·罗素以及特斯拉创始人马斯克等千余名业界人士则站出来指出，鉴于最近几个月来人工智能领域已陷入一场几近失控的竞赛，巨型AI研究是时候按下暂停键。

在宇宙学家泰格马克等人创办的未来生命研究所网站上，他们贴出了一封呼吁暂停训练比GPT4更强大的AI系统的公开信。公开信指出，大量研究表明并得到顶级AI实验室的认可，具有人类竞争智能的AI系统可能对社会和人类构成深远的风险。

相称性治理思想没有得到认真对待

实际上，2017年初，在阿西洛马召开的“有益人工智能”会议上，2000余位业界人士和学者就曾联合签署过包括23条倡议的Asilomar AI原则。

其指导思想是，面对超级智能及其对地球生命史可能带来的深刻变化，要构建对人类有益的智能而不是无序的智能，必须在规划和管理上投入与这种超强的创新相对应的资源和关注力，对于人工智能可能造成的灾难性和生存风险，必须付出与其可能造成的影响相称的努力。

自那时以来，尽管世界上相继出台了一百多部人工智能原则和文件，但现在看来，这些原则及其背后的相称性治理的思想并没有得到认真对待。

或许是了解人类即便意识到巨大的生存风险依然言行不一的痼疾，这封公开信采用了两个策略。

一是诉诸人类未来的命运，对人工智能可能胜过人类智能的历史临界点的人类命运，进行了追问。二是直指OpenAI关于通用人工智能的声明中的高调表态，指出当下恰是落实其中“在开始训练未来系统之前进行独立审查很重要”主张的关键时刻。

而这两个策略背后的思想是，对于接近人类智能的人工智能的开发可能导致的人类生存风险，不能简单地从风险收益比的维度去权衡，相应的政策和监管不能完全依靠科技公司的自律和科技领袖的认知。

由此，公开信不仅明确呼吁所有AI实验室立即以公开和可检验的方式，暂停至少6个月训练比GPT-4更强大的AI系统；而且强调要在独立的外部专家的参与监督以及政府的必要监管下，通过这次必要的暂停，共同开发和实施一套用于高级人工智能的共享安全协议，以使强大的人工智能系统更加准确、安全、可解释、透明、稳健、一致，更值得信赖，对人类更为忠诚。

据此，公开信还进一步提出了构建专门和有力的人工智能监管机构和强大的审计和认证生态系统等具体建议。

慢科学策略并不是简单叫停

从科技发展史的维度来看，公开信所提出的暂停策略并非创举，至少可以追溯至1975年。彼时在最为著名的一次阿西洛马会议上，保罗·伯格等生命科学家鉴于基因研究的未知风险，主动提出暂停重组DNA。

从那时到现在的差不多半个世纪，暂停有风险科学研究背后的预防性思想，越来越成为突破性科技创新所奉行的重要原则。

值得指出的是，从预防性原则出发提出暂停并不是简单叫停，而是通过科技风险的认知和研判，探寻我们可以接受的研究和创新。

应该是基于这一寻求更加稳健的创新的思路，公开信指出，只有当我们确信它们的影响是积极的并且它们的风险是可控的时候，才应该开发强大的人工智能系统。

展望深度科技化未来，科技将越来越深地走进生命和智能等关乎人类存在的领域，这也就意味着人的价值、伦理等问题必须被视为研究和创新的内在环节，必须在关注度和资源上给予相应的投入，科技才可能向着合乎人类利益的方向演进。

只有真正认识到这一点并付诸实践，才可能改变人工智能等深度科技化前沿中科技的力量和控制科技的力量之间的不平衡。

□段伟文（中国社科院科学技术和社会研究中心）

关键词：