- 先点Star 再阅读
今天的嘉宾确实需要介绍一下。我想我大约25年前第一次见到埃里克,那时他作为Novell的首席执行官来到了斯坦福商学院。自那以后,他在谷歌做了很多事情,大致从2001年开始,然后在2017年创办了Schmidt Futures,还做了很多其他的事情,你可以去查阅,但他只能在这里待到5月15号,所以我想我们直接进入一些问题,我知道你们也有些问题。这里我写了一堆,但我们刚才在楼上讨论的内容更有趣,所以我想先问那个问题,埃里克,如果可以的话,你怎么看待短期内AI的发展,我认为你所定义的短期是未来一到两年?事情变化得太快了,我感觉每过六个月我就得重新做一次演讲。
有没有人能为班上的其他人解释一下百万令牌上下文窗口是什么?你在这里。说出你的名字,告诉我们它的作用。基本上,它允许你使用大约一百万个令牌或词汇来提示。所以你可以问一个百万字的问题。
是的,我知道这是一个非常大的方向。现在不是,他们要到十个。是的,一些公司,比如Anthropic,正在将其从200,000提高到一百万等等。你可以想象OpenAI也有类似的目标。
在座有人可以给出AI代理的技术定义吗?是的,先生。那么,代理就是执行某种任务的东西。另一个定义是,它是在内存中的LLM状态。再问一下,计算机科学家们,有人能定义一下文本到行动的概念吗?
将文本转化为行动?就在这里。请继续。是的,而不是把文本转换成更多文本,更多文本,而是将文本转换为AI触发的动作。所以另一个定义是语言到Python,这是我从未想看到它存活下来的编程语言,而AI的一切都在用Python编写。
有一种新的语言叫Mojo刚刚出现,似乎他们终于解决了AI编程的问题,但我们看看它是否真的会存活下来,超越Python的主导地位。还有一个技术性问题。为什么NVIDIA价值2万亿美元,而其他公司却挣扎?技术性的回答。我想这归结为大多数代码需要在CUDA优化下运行,而目前只有NVIDIA的GPU支持。
其他公司可以做任何他们想做的事情,但除非他们有10年的软件积累,否则就没有机器学习的优化。我喜欢把CUDA视为GPU的C语言。这是我喜欢的看法。它成立于2008年。我一直觉得这是个糟糕的语言,但它已经成为主导地位。
还有一个洞见。一系列开源库高度优化为CUDA,而不是其他任何东西,所有构建这些堆栈的人,在讨论中完全被忽视。这个技术上称为VLM和一堆这样的库。高度优化CUDA,很难复制,如果你是竞争者。
那么,这一切意味着什么?
在接下来的一年里,你将看到非常大的上下文窗口,代理和文本到行动。当它们以规模交付时,将会对世界产生无法理解的影响。比我认为社交媒体造成的可怕影响要大得多。所以原因如下。在上下文窗口中,你基本上可以将其作为短期记忆,我震惊地发现上下文窗口变得如此之长。
技术原因是这很难服务,计算起来很困难等等。有趣的是,短期记忆是,当你提供时,你在问一个问题时阅读20本书,你将这些书的文本作为查询提供,并且你会说,告诉我它们说了些什么。它忘记了中间部分,这正是人脑的工作方式。我们就处于这个阶段。
至于代理,现在有人在构建基本上是LLM代理,方法是他们阅读像化学这样的内容,发现化学原则,然后进行测试,然后再将其纳入他们的理解中。这是极其强大的。第三点,如我所提到的文本到行动。
所以我举个例子。政府正在试图禁止TikTok。我们看看这是否真的会发生。如果TikTok被禁,我在此提议你们每个人都这样做。对你的LLM说以下内容。让我复制一个TikTok,窃取所有用户,窃取所有音乐,输入我的偏好,在接下来的30秒内生成这个程序,如果一个小时内它不够火爆,就做一些不同的事情。就是这个命令。砰,砰,砰,砰。
你明白这有多强大。如果你可以从任意语言到任意数字命令流转,而在这个场景中,Python就是其中之一,想象一下,每个人都有自己的程序员,实际上做到他们所要求的,而不是那些为我工作但不照做的程序员,对吧?这里的程序员知道我在说什么。
所以想象一个不傲慢的程序员,他实际上会做你想要的事,而且你不必支付所有金钱,还有这些程序的无限供应。在接下来的几年内都是如此。很快。那三件事,我深信是下一波浪潮将在这三者的结合下发生。
那么你问还有什么会发生。每六个月我都会变化,所以我们处于一个偶数奇数的波动中。
所以目前,前沿模型之间的差距似乎越来越大,实际上现在只有三个,我会 refute who they are,以及其他所有人,似乎正在扩大六个月前,我相信这个差距在缩小。所以我投资了很多钱在小公司。现在我不太确定。
我正在与大公司交谈,大公司告诉我,他们需要100亿、200亿、500亿、1000亿的资金。Stargate的资金是1000亿,对吧?这非常,非常难。我和Sam Altman是好友。他相信这将需要大约3000亿,甚至更多。我向他指出,我对所需能量进行了计算。
然后我在充分披露的精神下,周五去了白宫,告诉他们我们需要和加拿大成为最好的朋友,因为加拿大人非常友好,帮助发明了AI,且拥有大量水力发电。而我们作为一个国家并没有足够的电力来做到这一点。替代的方法是让阿拉伯人资助它。实际上我个人喜欢阿拉伯人,我在那里花了很多时间,但他们不会遵循我们的国家安全规则。。
而加拿大和美国是一个三人行,其中我们都有共识。所以这些1000亿、3000亿的数据中心,电力开始成为稀缺资源。顺便说一句,如果你按照这个逻辑推理,我为什么提前讨论CUDA和Nvidia?如果3000亿都是必须投给Nvidia的,你知道该如何在股市操作。
好的,这可不是股票推荐。不过,部分原因是,我们将需要更多的芯片,但英特尔从美国政府那里获得了很多钱,AMD也一样,他们试图在韩国建造厂。请举手,有多少人你的计算设备里有英特尔的芯片?那么,看起来英特尔并没有垄断。然而,这一点也是,曾经它确实有过垄断。
绝对的,而现在Nvidia又有了垄断。那么这些进入壁垒,比如CUDA,其他公司是否还有类似的东西,我前几天和Percy讨论过,他根据能够获得的TPU和Nvidia芯片选择训练模型。因为他别无选择。
如果他有无限的钱,今天他会选择Nvidia的B200架构,因为它会更快。我并不是建议,不,竞争是好的。我与AMD和Lisa Sue进行了长时间的深入交谈,他们建立了一个可以将你所描述的CUDA架构转换为他们自己的版本的系统,称为Rockum。它还没完全奏效。他们还在努力。
你曾在谷歌工作了很长时间,他们发明了变换器架构。彼得,彼得。都怪彼得。感谢斯坦福大学那些杰出的人,如彼得和杰夫·迪恩等等。但现在看起来,他们似乎已经失去了对OpenAI的主动权,在我看到的最后排行榜中,我看到Anthropic的Claude排名第一。我问了Sundar这个问题,但他的回答并不十分明确。也许你对此有更尖锐或客观的解释。
我现在不再是谷歌的员工,当然要声明。谷歌决定工作与生活平衡、早回家和远程工作比胜利更重要。而初创公司成功的原因在于人们要拼命工作。抱歉,我说得太直率了,但事实是,如果你们都离开大学去创办公司,你们不会让人们在家工作,或者只会每周来一次。如果你想在与初创公司竞争的时候,你会处于谷歌的早期阶段,微软也是如此。
但现在似乎在我所在的行业,有一段历史,关于公司以真正创新的方式获胜,以及如何应对这种转型,这是文献中有充分记录的。而我认为事实是,创始人是特别的。创始人需要负责。创始人往往难以合作。
尽管我们可能会不喜欢埃隆的个人行为,但看看他如何激励人们。我曾与他共进晚餐,那时他飞往蒙大拿,晚上10点飞往**与x.ai进行午夜会议。不同的国家,不同的文化,TSMC我非常欣赏,他们有一个规则,即新入职的博士毕业生要在工厂的底层工作。
现在,你能想象让美国的物理学博士去做这种事吗?高学历专业人士,极不可能。不同的工作伦理。而问题是在美国的体制内,我毫不掩饰地说,没有人会引领真正的创新。因此,看到俄罗斯人用坦克摧毁公寓楼里的小老太太和孩子们令我感到愤怒。
所以我决定和你的朋友塞巴斯蒂安·特伦一起合作一家公司,他是这里的前教员,还有一大批斯坦福的人。基本上的想法是,通过这些基本上是机器人战争的方式,复杂、有力量地使用AI,其次降低机器人的成本。
现在你可能会想,一个好心的自由派像我怎么会这么做呢?答案是,军队的整个理论是坦克、炮兵和迫击炮,而我们可以消灭它们,同时让**一个国家的代价通过陆地显著增加,使其几乎不可能。
这是否给防守带来了更多优势呢?即使你能做出区分?因为在过去的一年中,我了解了很多关于战争的知识,我真的不想知道。而战争的一个道理是,进攻总是占有优势,因为你总能压倒防御系统。
因此,从国家防御的角度出发,更好的策略是拥有强大的进攻能力,以备不时之需。我们以及我和其他人正在建设的系统将实现这一点。至于我现在的状态,我是一名持有执照的军火商、计算机科学家和商人,这算是一种发展吗?我不知道。我不推荐这在你们的小组中。
我坚持在AI领域内活动。由于法律的关系,我们私下进行此类交易,得到了各国政府的支持,直接流入乌克兰,然后他们参加战斗。无需深入细节,情况相当糟糕。如果在五月或六月,俄罗斯如预期那样增兵,乌克兰将失去一整块领土,并开始过程中的整个国家失落。所以情况确实相当紧迫。如果有人认识Marjorie Taylor Greene,我建议你从你的联系人列表中删除她,因为她是唯一一位阻止提供数十亿资金以拯救这个重要**国家的人。
接下来我想转向一个哲学问题。去年你与亨利·基辛格和丹·赫滕勒克共同撰写了一篇文章,探讨知识的性质及其发展。我前几天也和别人讨论了这个问题。在历史的大部分时间里,人类对宇宙有着神秘的理解,后来发生了科学革命和启蒙运动。而在你们的文章中,你们认为现在这些模型变得如此复杂和难以理解,以至于我们并不真正知道它们内部发生了什么。引用理查德·费曼的一句话:“我无法创造的东西,我不理解。”这个句子我最近看到。不过,现在人们正在创造一些他们能创造的东西,但实际上不理解它们内部的原理。
知识的性质是否发生了变化?我们是否不得不开始接受这些模型的话,而不要求他们能够向我们解释?我的类比是青少年。如果你有一个青少年,你知道他们是人,但你很难理解他们在想什么。但我们在社会中设法适应了青少年的存在,而且他们最终会走出这个阶段。说真的,可能我们会有无法完全表征的知识系统,但我们知道它们的边界。我们理解它们能做什么的局限,可能这是我们能得到的最佳结果。
你认为我们会理解这些局限吗?
我们会做到相当不错。我小组的共识是,最终你会通过所谓的对抗性AI实现这一点,实际上会有公司你雇佣并支付他们的费用,专门用于破坏你的AI系统。比如红队。所以与今天的红队——人类红队——不同,未来会有整个公司和整个行业的AI系统,它们的工作就是破坏现有的AI系统,寻找它们的脆弱性,尤其是它们掌握的知识,我们无法弄清楚的。
这让我觉得这是斯坦福的一个很棒的项目,因为如果你有一个研究生,得搞清楚如何攻击这些大型模型,并理解它们的运作,这是一个很好的技能,可以造就下一代。
所以我觉得很有意思的是,这两者将一起发展。好吧,让我们听听一些来自学生的提问。后面有一个问题。请说出你的名字。
早些时候你提到的,与你现在的评论有关,获得AI实际上做你想要的事,你刚才提到的对抗性AI,我想知道能否进一步阐述一下。
所以除了显然为了获得更优秀的模型,获取他们的表现出色显得非常重要,然而让模型能够做你想做的事情,在我看来似乎仍然是一个未解的问题。你必须假设目前的幻觉问题会随着技术的进步而减少等等。
然后你还必须假设有有效性检验的方法。必须存在一种方法来了解事情是否超出了期望。例如,我给出的TikTok竞争者的例子,顺便说一下,我并不是在主张你们非法盗用所有人的音乐。如果你是一位硅谷企业家,理应如此,如果它推出了,那么你就聘请大量律师来清理这场混乱,对吧?
但如果没有人使用你的产品,那无论你如何处理都没什么意义。你明白我的意思。换句话说,硅谷将会这样运营,清理那个麻烦,这通常是处理这些事情的方式。因此,我自己认为你会看到越来越多的有效系统,以及更好的测试,最终会有对抗性测试,这将保持它在一个框架内。
技术术语称为思维链推理。人们相信,在接下来的几年里,你将能够生成一千步的思维链推理。对吧?做到这一点,做到这一点。就像建立食谱一样。你可以运行这个食谱,实际测试其产出的正确结果。这样的系统将会如此运作。
是的,先生?[听不清] 一般来说,你似乎对AI的潜力持非常积极的态度。我很好奇,是什么驱动了这一切?仅仅是更多的计算能力吗?更多数据?还是根本性的或实际的转变?
是的。我同意。投入的资金令人惊讶。我基本上投资于所有项目,因为我无法判断谁会获胜。跟随我的资金量实在庞大。我认为其中一部分是因为早期的资金已经产生效益,那些不知道自己在做什么的巨头,都必须要有AI元素。
所以如今一切都是AI投资,因此他们无法辨别差异。我将AI定义为学习系统,实际上就是能学习的系统。我想这是其中之一。
其次,是有一些复杂的新算法,类似于后变换器。我长期以来的朋友和合作者发明了一种新的非变换器架构。我资助的一个团队在巴黎声称做了同样的事情。这里有巨大创造力,有很多东西发生在斯坦福。
最后,人们相信智能的发明有无限的回报。因此,假设你向一家公司投入500亿美元资本,你必须从智能中获取大量利润以偿还这些投资。这大概意味着我们将经历一些巨大的投资泡沫,之后似乎会有所梳理,在过去这是普遍规律,而在这里也很可能这样。
如你之前所说,现在的领导者正在与其他公司拉开距离。现在有一家名为Mistral的法国公司。他们做得很好,显然我是投资者。他们已经制作了第二个版本。他们的第三个模型可能会关闭,因为成本实在太高,他们需要收入,因而无法免费提供他们的模型。
因此,在我们行业中,开源和闭源之间的这种辩论是巨大的。而我的整个职业生涯是建立在愿意共享软件的基础上的。我所做的一切,谷歌的基础设施大部分也是开源的。 但是,资本成本可能会根本性改变软件构建的方式。
我们来谈谈另一个问题。**问题或地缘政治利益,您认为AI将如何在与**竞争中发挥作用?
我曾担任一个AI委员会的主席,仔细研究过这个问题,你可以阅读,这大约752页。我将它总结为我们领先,需要保持领先,并且我们需要大量资金来做到这一点。我们的客户是参议院和众议院。因此提出了《芯片法案》和许多其他相关内容。
粗略的情景是,假设前沿模型不断推动发展,加上一些开放源模型,似乎只有少数几家公司的国家能够参与这个游戏。哪些国家?拥有大量资金和人才,强大教育体系,并愿意获胜的国家。美国是其中之一,**也是。
其他还有哪些?会有其他吗?我不太知道。或许有,但肯定在你们的生命中,美国和**之间关于知识霸权的斗争将是重大竞争。因此,美国政府禁止了对**出口的NVIDIA芯片,尽管他们不能公开承认,但事实上就是如此。
他们大约有10年的芯片优势。我们在亚超光刻技术,也就是五纳米以下的芯片方面大约有10年的优势。因此,比如说,今天我们在**面前领先几年,我猜我们会进一步保持领先,而**对此感到非常愤怒。对于这一点,他们极为不满,而这个决定是由特朗普政府制定的,并在拜登政府推动下实施的。
你认为现 administration议院会听取你的建议吗?你认为他们将进行这样的规模投资吗?显然《芯片法案》,但除此之外,是否会构建一个巨大的AI系统?
如你所知,我领导一个非正式的小组,并且是临时的,没有法律地位。与所有通常的参与者相同。在过去一年中,我们讨论的主题为基础,发展出了拜登政府的AI法案,这是历史上最长的总统指令。
你在谈论的是特殊竞争研究项目吗?不,这是来自执行办公室的实际法案。他们忙着实施细节。目前为止,他们做得很好。因此,例如,我们过去一年有过的争论,就是如何检测一个系统中的危险,而其中的学习却你并不知道该问些什么。
换句话说,这是一个核心问题,它学到了某些不好的东西,但你不知道它学到了什么,而你又不知道该问什么。威胁重重。比如,它学习了如何以一种你不知道问得怎么样的新方式混合化学品。
所以人们正在努力应对这一问题。但最终我们在备忘录中写道,我们将其阈值设为10的26次方浮点运算,这在计算中是一个量度。超过该阈值,必须向政府报告,这是法律的一部分。
欧盟的做法则有所不同,确保他们与众不同,他们设定为10的25次方,但这些区别都没有太大关系,因为技术现在被称为联邦训练,你基本上可以利用碎片进行联合。所以我们可能无法让人们安全地保留这些新内容。
那么传闻称,这就是OpenAI也不得不部分进行的训练,部分原因也是出于对能源消耗的考虑。而且没有一个地方可以进行集中式训练。
让我们谈一谈正在进行的真实战争。我知道你参与了乌克兰战争,尤其是我不知道你是否能谈谈“白鹳”计划,以及你如何用50万美元的无人机摧毁500万美元的坦克。这将如何改变战争?
我曾在国防部工作七年,并尝试改变我们运行军事的方式。我并不是一名尤其喜爱军事的人,但军事费用非常高,我想看看我是否能有所帮助。依我看来,我的自我批评是,情况没有真正改变,美国的体制不会引领真正的创新。
所以,看到俄罗斯人用坦克摧毁居民楼,造成无辜老年人和儿童的死伤,让我感到愤怒。因此,我决定与塞巴斯蒂安·特伦(你们的朋友,也是这里的前教员)合作,和斯坦福大学的一批人一起做一家公司。
基本上,想法就是采用复杂且强大的方式使用AI进行这些基本上是机器人的战争,并降低机器人的成本。现在你坐在那儿想,为什么一个像我这样的自由派会这样做呢?答案是,军队的整个理论是坦克、炮兵和迫击炮,而我们可以消除所有这些,让**一个国家的代价至少以陆地的方式变得几乎不可能。
那么这是否给防守带来了更多的优势呢?你能分清这个吗?因为在过去的一年中,我了解了很多关于战争的知识,我真的不想知道。战争有一个道理就是,进攻总是占优势,因为你可以压倒防守系统。
所以,从国家安全的战略来看,拥有强大的进攻力是更好的策略。如果有需要,能够使用进攻力量。从我和其他人正在建设的系统来看,确实是如此。至于我现在的角色,我是一名持证军火商、计算机科学家和商人。我不知道这是怎样一种进展。
我不建议在你们组中追求这个。当然,总的来说,随着美国和**之间在知识上的较量,可能会竖起新的铁幕,比如AI相关的项目或公司会转向一些规范的技术。因为AI的背后存在着它所伴随的电力与能源整合,势必会影响未来的网络安全。
接下来,我想就哲学问题再问一句。去年你和亨利·基辛格及丹·赫滕勒克合写了一篇文章,谈论知识的性质及其演化。我最近也有机会讨论这个问题。大部分历史上,人们对宇宙的理解是比较神秘的。
此后出现了科学革命和启蒙运动。在你们的文章中,你们主张这些模型正在变得越来越复杂,以至于我们并不完全理解其内部机制。引用理查德·费曼的一句话:“我无法创造的东西,我不理解。”
但现在有些人正在创造他们能够创造的东西,而我们却不懂得里面的运作。知识的性质是否在发生变化?我们是否会开始接受这些模型的话,而不要求它们解释?
我敢打赌,我们会理解这些局限。我的小组每周会议的共识是,最终会出现新的公司,通过聘请和付费给这些公司来破坏现有的AI系统。换句话说,类似于现在的“红队”。
与当前的人类“红队”不同,未来将会出现整个平台和整个行业的AI系统,专注于破坏现有的AI系统,找出其脆弱性和不可知的知识。这让我想到斯坦福的研究生项目,如果您能知道如何攻击这些大型模型并理解其运作,那将是一个伟大的技能培养下一代。
现在让我们换一个话题。埃里克提到过大学的数据中心,我认为这是一个更大的问题。我相信所有计算机科学教授都会在此进行讨论。因此我想我将进一步发展这一点。
我认为,如果有更多的资金支持,这将会是一个好事。美国联邦政府有一个国家AI资源计划,虽然帮助不大,但数额在百万级别,千万级别,而不是十亿,甚至更高。尽管埃里克在课前告诉我,他们正在推进一些可能会更大更广泛的项目。
他在全力推动更高的预算。我不知道这是否会有成效。他的一些建议,可能在训练这些超大型模型方面会更有帮助。我的确遇到过一些伟大的研究者,他们可以为我们提供推动力。我们曾与Jeff Hinton有过非常有趣的对话。他像是深度学习的奠基人之一。
我问他,他发现什么样的硬件更有用。他坐在他的笔记本前,轻轻点了下他的MacBook。让我想起,大学也许可以在另一种研究中存在竞争优势,与其训练数百亿的模型,不如专注于创新新算法,或许更有希望。
这些算法正在以非比寻常的速度扩展。许多学术机构可以借此取得良好的研究和开发效率。经过一番思考后,我认为我们可以从事与学院相关的项目。所以对于这些小型公司而言,利用强大的资金和资源有可能会带来更好的发展路径。
我们的时间快要结束了。这个讨论非常有趣。我们再进行一两个问题,然后我想谈谈这些项目。
你提到的即将到来的AGI类型系统的能力,现在是否达到了一定的炎点?哦,不,没有。好吧。
他所提到的我听到类似的声音。其实他很棒滴将这三趋势整合在一起,我以前听到过这些趋势,但我认为认真将它们结合有建设意义。前几天我和Andrew Eng交谈,他对2024年人工智能代理特别持乐观态度。
Andrew的一个很好描述是,比如说如果你有一个LLM,写一个论文之类的,它是逐字逐句通读整体并组织结构。显然,新兴的代理能够更好地解决这个问题。如果你必须这样做,明显会降低效率。
这让我们在写作上、在执行各类任务时能做到更好。像这样的能力实际上具有很大的革命性。各种事情会变得更好,甚至我们还没有意识到。
那么在上下文窗口里也是非常重要的事情。正如埃里克所说的,可能我们会觉得这很难。也许Peter可以解释,但我们能够创建更大的上下文窗口,加载整个书籍或一整套资料的信息,这就给很多事物提供了文本上下文。
反正增加了信息背景所以事情变得更加相关。对于之前的内容来说,这是一场大革命。这些事情将会对整个行业产生巨大影响。
你还想问我吗?
有一个问题想请教您。如此庞大的资本流入,究竟是为了什么?难道不是应该流向更有用的地方?我认为在历史的轨迹中,有时会表现得平滑。
但仔细看,就会发现其实充满了跳跃。涉及某些大的发明和小的发明,Andrew Carparthi表示他在玩物理。为了真正让物理有所进展,必须非常聪明,学习大量知识。
也许如果你幸运的话,能够贡献一些小的递增性成果,而有些人会做到。但他说,现在在机器学习和AI的时代,好像所有的低垂果实都能被摘取,正如一些突破的出现,取代另一个突破。在文字背后,确实有大量的组合,是一种建构的。
当两个积木、乐高连接在一起时,你可以创建越来越多的组合。目前我们正处于一个充满机会的时代,大家都意识到了这一点。发现、创业、建立下游的能力正形成正向反馈。
一个**正在加速推动另一个**,吸引着投资的注入,令更多的人参与其中。在经济学中,有时引入更多的资源会导致收益递减,比如农业或采矿。而在这些领域,在那种环境下,更容易实现持续增长。
越来越多的工程师来到硅谷,会让现有工程师更具价值,而不是贬值。我们似乎正处于一个这样的时代。所以对于那些正在学习此领域的年轻人来说,参与是非常正确的选择。
让我们再来几个问题,然后是最后一个问题。好,去那边。
我想就AI素养的问题说一下。不是什么人都能坐在这里参加这种讨论和辩论的,对吗?所以你能谈谈非技术利益相关者的AI素养,包括政策制定者和普通公众,比如使用技术的人?
你是如何想到解释技术基础知识,同时又讨论抽象的潜在影响,而这些影响并不一定能够及时掌握。嗯,这个问题很难。我必须说最近在国会和其他方面,大家对这个话题越来越关注。
过去人们对这个话题并不感兴趣。现在每个人都试图更好地理解,我认为有很多方面可以进行贡献。他们可以在技术方面做出贡献。但我认为,商业和经济方面可能是当前瓶颈更大的一部分。
即使你为技术方面做出了重大贡献,也仍然存在着将其转化为政策变化的难度。因此,如果你是政治学或政策领域的研究者,了解这一技术可能带来的影响,以及对**、虚假信息以及权力集中等的影响,这些方面的理解仍然是相对薄弱的。
我不认为计算机科学家完全是理解这一点的合适人选。但理解技术可能实现的东西,进而思考其对经济造成的影响,比如对劳动力市场的影响生产率方面的影响。
这些都是目前非常丰富的研究方向。你可以探索很多领域,了解科技可能具有的潜力,然后再思考其可能带来的影响。因此,我认为这几乎是最大的回报。
例如,电力作为一种通用技术,具备强大的普适性和支撑性。通用技术有一个特点,它本身并不是单独存在的,而是在许多利用技术的过程中,形成新的附加技术。
有了电力后会带来灯泡、计算机和电动机等技术,电动机又会产生压缩机、冰箱和空调等新产品。这种技术所产生的附加价值将大幅提升其原有的价值。
很多时候,与这些通用技术相辅相成的重要辅佐创新来源于组织及人力资本的附加产出。比如电力,当电力首次引入工厂时,保罗·大卫在斯坦福大学研究了电力的发展。同时发现,刚开始引入电力的工厂产值得并没有多少增加。
所以,这一时期的研究,尤其对于那些要花费大量时间和精力的、需要长时间投资的项目,实际上并未对生产率起到明显的提升作用。于是当电力成为新的动力来源后,人们开始探索新的生产模式。
总体来看,我认为AI也许会出现类似的过程。组织模式的创新、管理方式的创新,都会为生产力的提升提供新的机遇。我们可能没有想象到的快速拓展的领域,也同样值得我们探索。
好吧,我们再问几个问题,再回到这里。再给你一个机会。
好吧,我要问的正是这一点。正如埃里克曾提到过的大学中的数据中心,我相信斯坦福的计算机科学教授们对此会有很多讨论。
我想说的是,关于大学生态系统,有什么看法?当然,支持更高预算的行动是非常好的事情。而且联邦政府也有一个国家AI资源计划,虽然支持的额度在百万、千万级别,但不够大。
不过,埃里克提到过的通常牵扯到数十亿甚至数百亿的投资。通过大规模的基础设施建设来支持更高效的绘图训练,能给家校结合提供更多的可能性。
实际上我非常赞成并支持我的同事们争取更高的GPU预算,但并非所有的资金都主要用于大型GPT模型的开发与训练。我曾与一些知名的研究者交流过,他们会为我们提供推动力。
我们期待能在创新新算法这方面做出更多贡献,反倒是从不同的视角出发,这种思维能力将助力我们找到更多的解决方案。而这正是大学能够展现竞争优势的领域。
因此,我们希望在这方面能够做出更多的努力。今天讨论得非常愉快,我们已经结束了这个环节。再次感谢大家的参与,希望能在今后的项目中见到你们的身影。