本文来自微信公众号:秦朔朋友圈 (ID:qspyq2015),作者:上官芸,原文标题:《ChatGPT大后方》,题图来自:《爱,死亡和机器人》
过去几周ChatGPT成为新的热点,美团联合创始人王慧文老师发出招贤榜投入中国OpenAI事业,北京迅速出台针对性政策鼓励科技龙头企业打造中国ChatGPT,香港高校命令禁止以ChatGPT辅助作业和考试作弊的行为……
(资料图片)
更有诸多花絮为人津津乐道,ChatGPT的发起人最初是基于AI不应该为大公司垄断的出发点,创立OpenAI;OpenAI引入微软投资,设计了独特的回报机制,既保护投资人利益,又保持OpenAI独立性和长期机制……
很多立场清晰的评论人士又担心起来,我们是不是又被美国带节奏了,为什么中国人工智能行业没有率先出现这样的重大突破……
这个话题很大,我们试着从一个小视角切入,用非技术的语言,来聊聊区块链、联合学习、大模型训练和ChatGPT。
西方教育体系擅长从提出一个问题出发,抽丝剥茧拆解出解决问题的一系列具体步骤、知识和方法。我国教育体系则比较擅长提出一个概念,再层层解析这个概念的内涵和外延,继而举例说明这个概念的应用范畴,再通过练习强化。
你看,这像不像技术演进中的两种思路:前者提出一个较长远的目标,分解实现这个目标的技术关隘和关键节点,集聚资源逐一突破;后者是解读当前热点和近期趋势,选定一个技术定位,围绕这个定位验证场景、复制场景、强化练习。
两种方法各有利弊,前者显然更具有前瞻性,但风险也更高;随着我们的技术迭代加速,需要逐步从后一种模式切换到前一种模式,形成引领性的技术攻关路线。
那么,这和ChatGPT有什么关系呢?
如果我们去调研一圈国内的AI公司在大模型训练上的卡点,就会发现,实际上并非算法设计和样本量上有遥不可及的差距,而是对取得这一技术点突破所需要的资源投入没有足够的信心魄力。
真正的问题在于,Sam Altman等人并没有被自身资金和资源限制,他们提出对的问题后,集聚了适合的资源(包括马斯克等一批投资人和微软这个大场景方)。并且在模型样本和训练上,OpenAI充分发挥了用户端力量,用一个直面C端的产品击穿流量,让用户愿意花钱来辅助训练。
而国内的模型训练,卡在“什么是大模型训练、如何训练、需要多少资源、投入资源的回报确定性如何”这样的概念分解困局里。这就是思维模式带来的实现架构的差别,也带来了OpenAI在“解决问题”层面的成功。
这样的例子并不是第一次发生,大家可以看看马斯克的逻辑结构,他是如何介入火箭、卫星网络、电动车、太阳能等完全不同的领域的,以及多年前Google如何用“联邦学习”调动全球用户帮他们做了哪些有趣的训练,稍微查一查资料就会发现其中的模式和方法都有迹可循。
关于思维模式和教育理念的话题,在此不作展开。但是这种协作式训练的技术架构,是非常有借鉴价值的。
在计算机相关技术出现和蓬勃发展的数十年里,我们一直在“单点计算”和“多点组网”两个维度上不断迭代。
ChatGPT和第三代区块链恰恰是这两个维度的发展里程碑。可以说,ChatGPT之于人工智能的意义,相当于蒸汽机之于工业革命,而第三代区块链之于互联网络的意义,亦可同等比拟。
人脑的有限性
从本源来说,人类一直在试图用科技创新来对抗自身的三种有限性:
身体能力的有限性
生命时间的有限性
认知体验的有限性
奥林匹克竞赛是对人类突破身体能力极限的追求的缩影,人类还不断通过生物技术、机械动力技术、人工智能技术发展代替人类,突破自身物理极限。
人类生命时间的有限性体现为两个方面:
一是寿命的有限性,导致经验和教训不可能无损传承,每一代人总要在自我论证中走进历史的峡谷;
二是生命的单维体验,人不能同时踏进两条河流,因此只能作出选择,彼此合作。
认知方面,人脑的“单机”算力其实不差的,相比超级计算机(例如我国的神威太湖之光:93.01 PFLOPS),一个人的大脑计算能力约是超级计算机的1/46,在2 petaFLOPS左右;而且在能耗方面,人脑还具有明显优势,一台超级计算机的耗能足够供给一整栋大楼,而一个人脑的耗能,约等于点亮一个灯泡。
人脑的算力=神经元个数(1011个)*单个神经元连接数(104个)*单个连接的激活速度(2OPS/个)。
人脑的短板在于存储。如果研究人类存储的需求,我们会发现类似的时帧估计。某一领域的专家掌握的知识块的数量大约是10^5个。这些块包括模式(如知识面)以及具体的知识。
在《人脑能承载多少知识》的分析中,有一些数量级可以参考——
一个世界级的国际象棋大师估计掌握了约10万局棋谱;
莎士比亚的词汇量为2.9万,但这些单词所能表达的含义总数接近10万个。
医学专家系统的开发表明,人类在某一领域可以掌握大约10万个概念。如果我们估计该“专业”知识只占人的知识的1%,那么人的整体知识块大约是7个。
在存储类似知识块的系统中,不管是基于规则的专家系统,还是自组织的模式识别系统,其中的每个知识块都需要10^6比特,这样实现人的功能存储需要1013(10万亿)比特。
为了存储连接模式和神经递质的浓度,我们可以估计每个神经连接约需要10^4比特。因此存储10^14个神经连接就需要1018比特。
基于以上分析,目前模拟人脑功能的硬件约合1000美元。具有复制功能的软件还将需要大约10年或更长的时间才会出现。不过,硬件的性价比、能力以及速度的指数级增长将在此期间一直延续,所以到2030年的时候,价值1000美元的计算机将会达到一个村庄的人(约1000人)的脑力。
而到2050年时,1000美元计算机将超过地球上所有人类大脑的处理能力,当然,也包括那些仍然只应用生物神经元的大脑。
人的认知和体验的局限在于,人脑接收的信息源极其分散,而人脑的调度机制、反馈机制和奖赏机制,仅能支撑人类原始状态下的生存和安全需要,对于近现代文明中涌现的新需求毫无天然优势。
人类有限的算力和存储很难优化配置。每个人都是他/她过往一切的综合。但是,人类的过往在基因中的显现是大大滞后的。因此我们不断通过“外脑”来辅助认知,也就是近年来人们常说的碳基生命和硅基生命的依存关系。
关于第三代区块链
再说说区块链,这个既熟悉又陌生的技术。绝大多数人知道区块链是因为“炒币”,后来又因为全国各地如火如荼的区块链应用创新示范。但很可惜,这两种区块链,都离我们普通人的生活体验很远。
有趣的是,2021-2022年海外的NFT大火,国内出现了类似的基于区块链的产品“数字藏品”,让至少数百万中国普通网民重新认识了区块链。但是这个行业仍然是良莠不齐、毁誉参半。
事实上,当前中国的区块链行业正在进入第三个阶段,我们姑且称为“第三代区块链”:
第一代主要发展于2009~2018年,以比特币、以太坊为代表,金融模型推动和虚拟货币结合的发展时期;
第二代主要是2016年至今,以蚂蚁链、趣链、长安链等为代表,政策推动的私有链和联盟链项目型推广期;
第三代则是2021年下半年至今,以BSN、光笺链等为代表,数字资产流通需求推动的区块链网络发展期。
第三代区块链以广义数字资产承载为基本功能,向上提供适合分布式架构和服务端分离的场景服务。
为什么会出现第三代区块链呢?我想有几个原因:
一是包括中国在内的大型主权国家,经过数千年大一统国家的金融体系构建和治理经验,深知主权货币的必要性不可撼动,因此无法接受某种虚拟货币危及法定货币的价值;
二是区块链技术是一种早期技术,国内开发者人才仍然供不应求,仅仅以项目交付方式提供给某个大型企业,很难被重视、被充分维护和使用,最终必然流于形式;
三是随着全社会数字化建设水平不断提高,多元的数字化资产流动成为经济活动中越来越重要的价值支撑,同时技术分工专业化,需要一种专业的、打破主体边界的底层技术,为跨域数字资产流通提供技术设施和服务。
很多人知道,公有区块链的经济系统中有个关键要素叫Token,被翻译为“通证”,或者“代币”。但是,在密码学学科语汇中,它其实还有个名字,叫“令牌”。区块链系统很巧妙地把信息传递、记录的过程用“令牌”串联起来,就好像有个领班带着“令牌”为信息开路。
拥有“令牌”越多可以传递的信息就越多,那么在信息传递的世界里,这种“令牌”就成为一般等价物,也就具备了“货币”价值。公有链正是利用这个原理,将“令牌”作为募集资金的锚定物。这种“令牌”从技术原理上来看,总量恒定、流通量可监督,不能增发只能通缩,就不需要权力机构的背书而成为一种基于技术信任的货币。
本来,央行出于维护金融秩序稳定的目的已经取缔了“令牌”的货币和募资锚定功能,区块链的激励机制失灵,失去了魔力而退化为一种普通的技术分支。但是在数字资产流通趋势的催化下,区块链体系中又生长出一种“局部令牌”。
这种局部令牌不再试图充当一般等价物,而仅仅锚定一种局部认同的具体资产价值,成为一种数字世界的“目标物”或者“商品”。这种局部令牌对主权货币和主流金融体系不再构成危害,甚至可以促进实体经济中的数字化流通,促进经济体的M1容量和活性。
例如,走入大众视野的NFT,就是一种典型的局部令牌,事实上它成为数字艺术品、品牌数字权益等有价资产的数字化表达,提高流通效率,降低流通成本,形成新的供需市场。
是不是一定需要区块链来实现这些功能呢?不一定。我们先把概念放一边,用“解决问题”的思路来分析。
一些数据或用数据表达的资源经常被使用,拥有数据的一方需要对数据定价、授权给别人使用、要求使用方付费、监督使用方的使用范围,而需要数据的一方也想确认数据的真实性、合法性,那么就需要一种网络来对数据提供确权(属于谁)、定价、溯源、流转记录等功能,这些功能组合在一起恰好是区块链,它的设计精巧、简洁、高效地实现了这些诉求。
从计算机出现至今,单机处理能力和网络协作能力一直是计算机技术介入社会经济程度的两大衡量维度,全球市值最高的计算机和互联网企业不外乎这两类能力的代表。
从硬件角度提高单机计算速度的英特尔、AMD、英伟达、高通,到提高单机软件处理能力的微软、苹果,再到提高网络协作能力的亚马逊(云计算)等,以及横空出世的马斯克系列公司,无外乎都是在单机算力(特斯拉、Neuralink)、组网能力(Paypal、星链)方面作出突破。
计算机技术发展的早期,主要聚焦于单机算力。1946年2月14日,由美国军方定制的世界上第一台电子计算机“电子数字积分计算机”(ENIAC Electronic Numerical And Calculator)在美国宾夕法尼亚大学问世,ENIAC是美国奥伯丁武器试验场为了满足计算弹道需要而研制成的,这台计算器使用了17840支电子管,功耗为170kw,其运算速度为每秒5000次的加法运算,造价约为487000美元。
ENIAC的问世具有划时代的意义,表明电子计算机时代的到来。在以后60多年里,计算机技术以惊人的速度发展。
计算机技术发展的第二阶段是在同一物理环境或同一管理主体内形成多台计算机组网能力,并逐步提高传输效率,形成较大范围的经济活动上的协作。
区块链技术的出现和发展,是网络协作能力象限内的重大转折。把尽量多的网络空闲资源充分调动,降低信任成本,形成更广大范围的经济协作和技术协作。
也就是说,前一个阶段的协作是单点或一个集中点位计算能力极大化后,再借助网络做传输。区块链的协作是把计算和存储任务本身进行分解,全网协作,还顺带处理好了协作上的分配机制等问题。
可以说,第三代区块链将是计算机技术走向下一程的重要加速器。具体而言:
其一,政策方面。随着科技的发展、数字化建设不断深化,数据价值的挖掘得到全社会的重视,整个社会的数字化智能化需要大量实时、持续、合规的数据供给。
而《数据安全法》和《个人隐私保护法》等系列法律法规陆续执行,从立法高度对数据分类分级和数据生命周期管理提出新的要求,如何在生产中调度数据、如何在使用中保护数据成为诸多智能化场景进化的症结和难点。
其二,产业方面。互联网行业和人工智能行业的发展,打破资本驱动的巨无霸式扩张模式,开放生态互联互通成为可能。例如,腾讯、阿里、商汤等多家大型科技公司主动遴选优秀的技术伙伴,为自身业务场景赋能,而多家产业巨头可以同时共用一组区块链网络。
其三,技术方面。技术分工精细化,单点技术演进的难度越高,并行和联合的效率就越高。而区块链将成为解决数据流通和数字资产交易的关键设施,专业分工的技术公司,将为分布式算法和算力提供新型网络平台,提供多点并行和联网演进的必要设施。
在过去一年多时间里,数字藏品行业已经做出了示范,第三代区块链帮助创作者的价值得到保护和快速定价,在AI训练、电子票据流通、自动合约结算、数字权益核销、文书认证等方面,区块链将发挥更广泛的支撑作用,成为承载广义数字资产确权、交割、定价的关键技术。
关于ChatGPT
ChatGPT是在人们透支了对人工智能行业的想象力之后,出现的“新宠”,实际上是自然语言处理(NLP)能力和联邦式大模型训练架构的重新诠释,其创新更多在于资源组织和产品表达方面,也可以说是一种用终端用户直接驱动的自然语言处理进化方式,是人工智能算法训练的一种新的解题思路。
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能作为计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
人工智能可以对人的意识、思维的信息过程进行模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。
ChatGPT让这种智能触手可及,成为普通用户可触及、可感知、可应用的能力,将会像5年前的图像处理和视觉识别一样逐渐成为成熟的可广泛应用的工具和组件,融入我们的各种生活场景,特别是在陪伴式对话和生成式创作领域。
最终,人工智能技术和经济系统的关系还有两个影响因子:
一是单位信息价格。过去三十年在摩尔定律指导下硬件价格不断下降、处理能力不断提高,计算终端日益普及,计算机系统带来的单位信息价值获得了社会财富的灌溉。没有任何一门其他技术可以比拟计算机,性能价格比能在30年内增长6个数量级。
二是单位信息能源效率。虽然单位信息价格中包括占用的能源成本,但是能源作为一种特殊的资源要素,又是驱动信息系统运转的必需资源,未来处理信息需要消耗的能源资源,将成为一个独立的考量。
人工智能的通常路径是结构化数据、数据标注、算法训练,而大模型训练可以在无标注情况下做自监督学习。在大模型基础上只要叠加一些局部小模型做二次训练,就可以快速新成新的能力。
为实现这种效果,ChatGPT要花费每次高达140万至1200万美金的训练成本,按月访问量1300万计算,初始投入8亿美金,每日电费达5万美金,计算资源投入达千亿美金。
面对高昂的算力成本,AI行业可能束手无策,但是区块链最不缺的恐怕就是算力了。“挖矿”是一项极其困难的任务,需要大量的电力和金钱来铺设算力才能完成,结果全球“矿友”们以各种形式寻觅能源价格洼地,发明不同算力“矿机”,旷日持久地“挖掘”。
如果将分布式冗余的算力重新组网,完全可以为AI训练提供低成本方案,反过来,AI已经被证明是优化能源消耗的有效手段,提供类似的解决方案应用在区块链。这也许会导致硬件资源方面的投资下降。
区块链能为人工智能行业带来光明的前景,反过来人工智能也可以为区块链加油助威。德勤在2016年估算区块链验证和共享交易的总运行成本大概是每年6亿美元左右。
一个智能系统或许实时计算出某个特定节点成为第一个执行特定任务的节点的可能性,让其他矿工有可以选择放弃针对该特定交易的努力,从而削减总成本,减少无用功的付出,以此提高效率。
人工智能继续演进所面临的挑战:
一是数据质量问题;
二是数据共享的机制问题;
三是算力等资源投入问题。
在数据中心化的前提下,数据的使用方式也缺乏透明度,当数据提供者无法对自己的数据进行有效管理时,很多人都选择不再进行数据分享。而区块链恰恰可以解决这一问题。
在链上,每一份数据的上传者、使用流向和成果都有迹可查。用户对数据拥有所有权和自主使用权。数据上传者还会收到使用方提供的局部令牌作为补偿,当用户能够将自己产生的数据变现,并可控制数据流向,相信会有更多的人愿意提供相关数据。
对于AI来说,安全的数据共享意味着更多高质量的数据,然后就会有更好的模型,更广泛的数据网络和创新形态。甚至可以通过区块链跟踪多数据源质量,从而给予高质量数据源以激励和自动结算。
ChatGPT和第三代区块链可以说是计算机技术发展的两个里程碑:前者是在单点能力上发力,在中心化组织的数据平台上培育去中心化的智能;另一个则是在组网能力上发力,在充分共享的数据环境下促进去中心化的应用。
但两者天然优势互补,在人工智能为区块链提供更强大拓展场景与数据分析能力的同时,区块链技术可为人工智能提供高度可信的原始数据以支持其持续的“深度学习”。
人类本身就是一种进化体。基于对物种寿命、认知、体能等各个维度的有限性的理解,我们从古早时代就学习构建协作体系。在计算机智能的世界,单点算力有限、算法进化效率有限,需要一种协作网络提升单位信息价值、降低单位信息能源消耗。
这就是第三代区块链和ChatGPT(乃至广义人工智能)的关系。
作者简介:上官芸,零幺宇宙创始人,信息安全专业出身,互联网技术和区块链行业从业者。
本文来自微信公众号:秦朔朋友圈 (ID:qspyq2015),作者:上官芸