找回密码
 立即注册

微信扫码 , 快速开始

前世今生:探寻ChatGPT的底层逻辑

2023-7-30 10:59| 发布者: admin| 查看: 2453| 评论: 0|来自: 人人都是产品经理

摘要: 我们活着只为了去发现美,其他一切都是等待的种种形式。


十    对AI路线的分歧,不过是一百多年来某类科学暗涌的延续。


相当长的岁月里,在大雪纷飞的多伦多,辛顿几乎是深度学习唯一的守夜人。

他本科在剑桥大学读生理学和物理学,其间转向哲学,拿的是心理学学士学位,后来再读了人工智能博士学位。

辛顿等人在统计力学中得到灵感,于1986 年提出的神经网络结构玻尔兹曼机,向有隐藏单元的网络引入了玻尔兹曼机器学习算法。

如下图,所有节点之间的连线都是双向的。所以玻尔兹曼机具有负反馈机制,节点向相邻节点输出的值会再次反馈到节点本身。

玻尔兹曼机在神经元状态变化中引入了统计概率,网络的平衡状态服从玻尔兹曼分布,网络运行机制基于模拟退火算法。

玻尔兹曼机。图片来自《图解人工智能》一书

从香农,再到辛顿,他们都从玻尔兹曼那里获得了巨大的灵感。

将“概率”引入物理学,看起来非常奇怪。‍‍

人类直到19世纪之后,才知道“热”是物体内部大量分子的无规则运动的表现。那么,为什么热量总从热的物体传到冷的物体?‍‍‍‍‍

玻尔兹曼说,原子(分子)完全是随机运动的。并非是热量无法从冷的物体传到热的物体,只是因为:‍

从统计学的角度看,一个快速运动的热物体的原子更有可能撞上一个冷物体的原子,传递给它一部分能量;而相反过程发生的概率则很小。在碰撞的过程中能量是守恒的,但当发生大量偶然碰撞时,能量倾向于平均分布。

这其中,没有物理定律,只有统计概率。这看起来非常荒谬。‍‍

坚定的科学主义者费曼,后来也提出“概率振幅”,用来描述物理世界的本质。

对此,费曼解释道:这是不是意味着物理学——一门极精确的学科——已经退化到“只能计算事件的概率,而不能精确地预言究竟将要发生什么”的地步了呢?是的!这是一个退却!但事情本身就是这样的:

自然界允许我们计算的只是概率,不过科学并没就此垮台。

事实上,罗素也主张因果关系的概然性,认为一切规律皆有例外,所以他也不赞成严格的决定论。‍

也许是因为都持有“自下而上”的世界观,玻尔兹曼喜欢达尔文,他在一次讲座中宣称:‍‍‍‍‍‍‍‍‍

“如果你问我内心深处的信念,我们的世纪将被称为钢铁世纪还是蒸汽或电的世纪呢?我会毫不犹豫地回答:它将被称为机械自然观的世纪,达尔文的世纪。”

对达尔文的自然选择理论,玻尔兹曼认识到,生物之间通过资源竞争展开“一种使熵最小化的战斗”,生命是通过捕获尽可能多的可用能量来使熵降低的斗争。

和生命系统一样,人工智能也是能够自动化实现“熵减”的系统。‍‍

生命以“负熵”为食,人工智能系统则消耗算力和数据。‍

杨立昆估算,需要10万个GPU才能接近大脑的运算能力。一个GPU的功率约为250瓦,而人类大脑的功率大约仅为25瓦。

这意味着硅基智能的效率是碳基智能的一百万分之一。

所以,辛顿相信克服人工智能局限性的关键,在于搭建“一个连接计算机科学和生物学的桥梁”。

十一   达·芬奇曾说过:“简单是终极的复杂。”

牛顿那一代相信上帝的科学家,认为神创造这个世界时,一定运用了规则。

他们只管去发现规则,而不必在意暂时的不可理解。例如,万有引力公式为什么长成那样?为什么要和距离的平方成反比?

另一方面,牛顿们信奉奥卡姆剃刀的原则,认为世界的模型基于某些简洁的公式。他们至少相信存在某个这样的公式,从爱因斯坦到霍金,莫不如是。

然而在不确定性时代,概率似乎比决定论派更能解释这个世界。牛顿式的确定退缩到了有限的领域。

也许费曼是对的,科学家是在用一个筛网检验这个世界,某些时刻似乎所有的现象都能通过筛孔,但如今我们知道多么完备的科学都只是暂时的解释,只是暂时未被证伪的筛网。但这并不影响我们向前。

还有一种哲学认为,世界本身就是在为自己建模。试图用一个大一统理论解释世界几乎是不可能的,更何况宇宙还在继续膨胀。

从以上有趣但略显含混的角度看,ChatGPT是用一种反爱因斯坦的方式为世界建模。它有如下特点:

  1. 是概率的,而非因果的;
  2. 尽可能地去模拟人类世界这一“大模型”,从经验中学习和进化,而非去探寻第一原理;
  3. 它信奉(至少暂时如此)“复杂是终极的简单”;
  4. 它驱逐了神。因为它自己越来越像一个神。

AI和人类别的热闹事物一样,经常会有周期性的热潮。

上一波是2016年,热起来,然后又慢慢静下来。

七年过去了,AI再次热起。Open AI照例没有打开“黑盒子”,却带来了影响力更为广泛的浪潮。

这一次,广泛性似乎战胜了专业性。人们似乎更关注那个会画画的、可能替代自己摸鱼的AI,而不是那个能战胜世界冠军、能研究蛋白质折叠解决人类顶尖难题的AI。

这其中有多少是工程的突破和技术的飞跃?有多少是商业驱动下的大力出奇迹?有多少是人类社会惯常的泡沫?

毋庸置疑,人类过往的伟大突破,不少都是在多种理性和非理性力量的交织之下实现的。

这里面的机会是:

1、卖水者。如英伟达,Scale AI等;

2、新平台的出现。会有超级应用突破微软和谷歌等巨头无敌的新瓶装老酒吗?

3、新平台既有通过生产力的提升创造的新价值空间,如各种全新的产品和服务,也有对旧有价值空间的掠夺;

4、也许会有iPhone的颠覆者,以及围绕其展开的各种应用和服务;‍‍‍

5、AI会成为基础设施

但是,水和电成为基础设施,互联网成为基础设施,与AI成为基础设施,绝非简单的类比或升级。

大概的趋势也许是,商业上的垄断与两极分化会更加残酷。职业上,或许中间阶层会更加无望;

6、因为AI极其耗电,能源领域大有可为;

7、“场景”和“应用”会有机遇。尤其是那些能够较好地利用AI平台实现人机结合的场景与应用。

8、对个体而言,我们要问的是,AI还需要人类充当新基础设施和新系统的类似于“操作员、司机、程序员、快递员”的新时代角色吗?

十二   人工智能的变迁,几乎对应着人类认知世界的变迁结构。


从确定性到不确定性,从物理定律到统计概率,物理和信息交汇于“”,并以类似的达尔文观念,进化出有生命的熵减系统

在这个愈发茫然的世界里,AI在疫情后时代获得了世人额外的关切;

诸神已被人类背弃,算法用强大而未知的相关性替代了神秘主义因果霸权,仿佛成为新神。

真实与信念,确定与随机,意识与虚无,再次于大众的狂欢之中,对峙在时代的断崖边缘。

从乐观的角度看,牛顿的信徒和达尔文的信徒也许可以携手,借助于尚不知进化边界何在的人工智能,去突破人类的智慧疆界。

哈耶克说:“一个秩序之所以可取,不是因为它让其中的要素各就其位,而是在这个秩序上能够生长出其他情况下不能生长出的新力量。”

迄今为止,我们尚不能定义什么是智能,什么是意识。‍‍‍‍‍‍

然而,却有一个黑乎乎的盒子,告诉我们可能会超越人类的智能,甚至涌现出人类的意识。

微软的报告中这样写道:

我们没有解决为什么以及如何实现如此卓越的智能的基本问题。它是如何推理、计划和创造的?

当它的核心只是简单的算法组件–梯度下降和大规模变换器与极其大量的数据的结合时,它为什么会表现出如此普遍和灵活的智能?

AI研究人员承认,智能是否可以在没有任何代理或内在动机的情况下实现,是一个重要的哲学问题

在2023年的这个并不容易的春天,我对ChatGPT的态度坦然而期待:

我希望见到它所具备的可能性,为这个混乱的世界带来某些“熵减”。‍‍

在所有预测中,我期待Kurzweil的那个“2030 年技术将使人类享受永生”的预言。

我自己对永生没兴趣,但不想失去身边的人们。我对世俗的依赖大过对“超人类主义”的担忧。

我不太相信意识的上传,因为一旦上传,就可以复制,就不是唯一的,就失去了自由意志,又谈何“意识”呢?‍

人类会洞察大脑最深层次的秘密吗?汤姆·斯托帕警告过:

“当我们发现了所有的奥秘,并失去了所有的意义时,我们将会在空荡荡的海边孤身一人。”

哥德尔的“不完备性定理”告诉我们,不确定性是人类认识的形式逻辑思维本身所固有的。

“一个计算机可以修改自身的程序,但不能违背自身的指令——充其量只能通过服从自身的指令来改变自身的某些部分。”

哥德尔算是为AI,为人类划定了边界吗?否则,人类制造超级AI,然后拜其为神,何尝不是自我奴役?‍

哥德尔又告诉我们,人类永远可以在“实在主义”中通过“直观和直觉”引入构成高一级形式系统的新东西,建立新公理系统,如此推进以至无穷。

这就是彭罗斯所持的那种“人心超过计算机”的观念。

最后


上一次,七年前,在阿尔法狗面前,人类曾经哭泣过;

这一次,无人哭泣,却有万众狂欢。

在两次AI高潮之间的7年里,我们经历了许多,失去了许多。

人们渴望拥抱某些希望,某些确定性,即使那些确定性来自一些不确定性的智慧。‍‍‍‍

就我自己而言,也遭遇了一些前所未有的艰难时刻。所谓艰难,并非指一些困难的抉择,也并非说没有选项。‍‍‍‍‍‍‍

恰恰相反,依照最优决策原理,我很容易通过期望值计算,得出最佳选项,获得所谓最大化的收益。

然而,我追溯到内心的源头,重新定义了自己的期望效用,然后据此做出了有点儿辛顿风格的“基于信仰的差异化”选择。‍‍‍‍‍‍

对任何一个人而言,不管是难是易,是聪明是愚蠢,是理性是任性,这种事儿在技术层面都只算小菜一碟。

可对AI来说,自己去定义期望效用,暂时难于登天。‍‍

所以,研究人员称,为“大型语言模型”配备代理权和内在动机是未来工作的一个迷人的重要方向。

而“代理权”与“内在动机”这两点,一个普通人类只需要一秒钟或者几个不眠之夜即可实现。‍‍

或许关键不在于得失,不在于效用函数,而在于“存在”。

如伊塔洛·卡尔维诺所言:

“随着时光流逝,我慢慢地明白了,只有存在的东西才会消失,不管是城市,爱情,还是父母。”

在本文开篇写到的传奇故事里,扫地少年皮茨和教授麦卡洛克两人之间非凡的友谊直至终生。‍‍‍

比起电影《心理捕手》里的心理学教授“威廉姆斯”,麦卡洛克对皮茨的情感更为深厚,充满了父亲般的爱,和学术上的“琴瑟和鸣”。

后来,当麦卡洛克与控制论之父维纳产生决裂,皮茨毫不犹豫地站在了麦卡洛克一边,尽管维纳是他的博士生导师,几乎能够左右他在学术界的前程。皮茨甚至为此烧掉了自己的论文。‍‍‍‍‍‍‍‍

他如街头少年般热血而冲动。

不久以后,皮茨继续遭遇了学术上的打击,有个实验表明,似乎逻辑并未如他的理论所预期般决定大脑的思维过程。

这个锅炉工的孩子再次回到命运的枷锁之中。曾经点燃他灰暗岁月的对数学和逻辑的激情,以及关于人工智能的天才般的构想,一点点被世俗的烟尘淹没了。‍‍‍‍‍‍‍‍

陨落中的天才用血脉中无法斩断的自我毁灭,来违背自己无与伦比的逻辑天赋。皮茨开始酗酒,最后在寄宿之家孤独死去,年仅46岁。‍‍‍四个月后,麦卡洛克也在同一年去世了。‍

许多年后,当人们追溯神经网络波澜起伏的发展历程,总会来到起点:麦卡洛克和皮茨共同构建的丰碑。‍‍‍‍‍‍

就像我们来到大江大河的源头,发现不过是一处小小的溪流。

哥德尔曾在哲学手稿中留下一句话:世界的意义就在于事实与愿望的分离,即事与愿违。

我更愿意用纪伯伦的话语来代替哥德尔的迷惘,尽管就底层而言也许是同一件事。诗人说:

我们活着只为了去发现美,其他一切都是等待的种种形式。

作者:孤独大脑,公众号:孤独大脑(ID:lonelybrain)

【文章来源】人人都是产品经理;特别声明:以上内容(如有图片或视频亦包括在内)来自网络,已备注来源;本平台仅提供信息和存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by user of ASKAI, which is a social media platform focused on technology of CHATGPT and only provides information storage services.

12345

路过

雷人

握手

鲜花

鸡蛋

本文导航

最新评论

QQ|手机版|小黑屋|博士驿站:连接全球智慧,共创博士人才生态圈 ( 浙ICP备2023018861号-3 )平台提供新鲜、免费、开放、共享的科技前沿资讯、博士人才招聘信息和科技成果交流空间。 平台特别声明:线上内容(如有图片或视频亦包括在内)来自网络或会员发布,均已备注来源;本站资讯仅提供信息和存储服务。Notice: The content above (including the pictures and videos if any) is uploaded and posted by user , which is a social media platform and only provides information storage services.

GMT+8, 2025-5-3 12:13

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

返回顶部