查看原文
其他

【万字实录】硅仙人Jim Keller最新访谈:AI芯片与市场竞争,混乱中的创新,神经网络与尖峰理论,先审视人类智能,再谈AI!

有新 有新Newin 2023-10-09



Tenstorrent 成立于2016年,是一家加拿大AI芯片和处理器设计独角兽,Jim Keller 是原先是这家公司的早期投资人,而后在2023 年接任 CEO 职位。

Jim Keller 是硅谷非常著名的微处理器工程师,其在芯片设计领域的开创性工作而闻名,他的贡献不仅限于在以下公司的履历,他还参与了多个知名的处理器和半导体技术的研发项目,被认为是当代处理器设计领域的重要人物之一。


  • 1990s - AMD: Jim Keller最初在Advanced Micro Devices(AMD)工作,并参与了AMD K7(Athlon)处理器的开发。Athlon是AMD第一款对Intel产生真正竞争的处理器;

  • 1998-1999 - SiByte: Keller加入了SiByte,并参与了一款基于MIPS架构的高性能网络处理器的设计;

  • 1999-2004 - AMD(再次): Jim Keller重新回到AMD,并担任首席架构师的角色。他是AMD64指令集架构的主要设计师之一,并且对AMD的Hammer项目(包括Opteron和Athlon 64处理器)产生了深远的影响;

  • 2004-2008 - P.A. Semi: 在P.A. Semi工作时,Keller帮助开发了低功耗PowerPC处理器;

  • 2008-2012 - Apple: 在Apple工作期间,Keller是Apple A4和A5芯片的主要架构师,这些芯片被用于iPhone和其他Apple产品。这段时期对移动处理器的发展具有深远的影响;

  • 2012-2015 - AMD(第三次): Keller再次返回AMD,并担任首席架构师。他在此期间的一项显著成就是开发了Zen架构,这对AMD的复兴起到了关键作用;

  • 2015-2017 - Tesla: Keller加入特斯拉并担任Autopilot硬件工程副总裁,负责开发自动驾驶硬件;

  • 2017-2020 - Intel: 他在Intel担任高级副总裁,负责硅工程,包括SoC(系统芯片)开发和整体架构;

  • 2021-至今 - Tenstorrent: Keller加入了加拿大AI计算机设计初创公司Tenstorrent,担任 CTO,并在2023年成为 CEO;


5月30日,Tenstorrent宣布与韩国消费电子公司LG Electronics Inc 合作,制造驱动智能电视、汽车产品和数据中心的芯片;此外 Tenstorrent 还设计了一款使用RISC-V的处理器芯片,这是一种相对较新的开放标准芯片架构,与孙正义投资的 Arm Ltd 的 Arm 架构竞争。


本期内容来自 Jim Keller 近日在 EE Times 的独家采访,分为以下话题:

  1. Tenstorrent的探索与策略

  2. AI芯片:英伟达与其它

  3. 格鲁夫名言:混乱与秩序

  4. 数据中心的推理能力

  5. 神经网络与尖峰理论

  6. 审视人类,审视AI

  7. 如何监管计算机程序?


大家 enjoy~


Tenstorrent的探索与策略


Jim Keller:

AI的出现让人感到害怕,因为它改变了我们对智能应用和软件的理解,而且以很快的速度融入各种设备。五年后,没有人会记得没有AI的生活。


Sally Ward Foxton:

也许是这样。我们来谈谈你们的产品组合吧。你们销售芯片、主板和系统,还计划制作三联板,同时提供云服务。这是真的吗?为什么通过这么多方式进入市场有意义呢?


Jim Keller: 

有趣的是,我们是一家设计公司,专门设计AI和CPU的IP。然后我们询问客户他们想如何购买。客户的需求各不相同。一开始,我们提供芯片,可以放在主板上或者整合进系统中,非常简单。然后一些AI初创公司说,他们不再购买计算机,一切都在云端进行。


还有人说,他们想先试试再购买。于是我们建立了一个云平台。我们认为这样做可以积累经验,了解如何安装和构建这台计算机。但这是一项艰巨的任务。还有其他人建议为我们建立一个云平台,但我们认为这样我们无法学到任何东西。


所以,这是一个学习过程,虽然困难,但非常有用;当我们和客户交流时,他们会说喜欢我们所做的事情,但他们会想制作自己的芯片,于是他们问是否可以许可我们的IP。


我对RISC-V的一件令人惊讶的事情是,我相信开源会赢得胜利,一旦人们转向Linux,就不会回头了,这是单行道。


我认为随着时间的推移,RISC-V会取得胜利,因为这是一项可以自由使用的技术。你不必支付许可费用,不会受到许可费上涨的困扰,你可以继续做自己想做的事情。


令人高兴的是,有人说,这款CPU看起来很不错,我们能许可吗?我们发现,有些人对AI不确定,但喜欢CPU,然后我们许可了IP。


坦白说,我们的业务还处于初期阶段。我们在销售IP方面有一些进展,卖出了一些硬件,我们的云平台上有人使用,但我们规模还很小,我们正在解决很多技术问题。作为一名技术人员,我对与聪明人交流很感兴趣。


所以,如果有聪明人说,我想要开源访问你的硬件,这样我可以按照自己的方式对其进行编程,我为什么要拒绝呢?所以我们目前处于业务探索阶段,然后我们遇到了一些惊喜。


Sally Ward Foxton:

那么,如何避免重叠或与客户竞争,因为你们有这么多不同的产品?


Jim Keller:

短期内,这并不重要。我们目前规模很小,市场规模很大,没有人关心这个问题。在RISC-V和AI领域,存在着网络效应。虽然有一些RISC-V公司,但与英特尔架构或ARM相比,它们整体上还很小。市场需求很大,我们之间没有太多竞争。我们会很愚蠢,为了一个RISC-V插槽去竞争,而有10000个ARM和x86插槽可供选择。我们将拭目以待。当你在建立网络效应时,竞争并不重要,参与的人越多,网络就越大。在增长阶段,竞争通常并不重要。在一些整合阶段,竞争可能会变得非常重要,但那是在我们已经取得巨大成功之后的事情。所以,我对这个问题并不担心。


Sally Ward Foxton:

你们已经将你们的加速器核心106核授权给LG。我听说他们将其应用于电视。他们在寻找什么?是其他IP提供商无法提供的吗?我知道LG甚至有自己的AI IP。


Jim Keller: 

是的,首先,LG是一家出色的技术公司,我有一台他们的电视。当我与他们见面时,我们就显示器和处理器的技术进行了深入交流。他们拥有强大的工程团队,懂得如何制造芯片,并拥有IPU组合。他们是技术高手,知道自己在做什么,所以这非常有趣。他们想要的是可编程、可拥有、可修改、可满足自身需求的IP。在早期,很多公司提供的AI推理IP都是8位整数,相对狭窄且难以编程。然后在短短两年内,发生了五个重大转变。我们的一个前提是AI将会发生许多变化,推理和训练、语言和图像之间的界限将变得模糊。我们与他们讨论了这个问题。坦白说,我们并没有像销售人员那样推销,而是他们在寻找合作伙伴,然后他们说,我们想与你们合作。这太棒了。与那些懂得自己在做什么的聪明工程师合作,你会学到很多。这就是机会所在。所以,这种合作非常积极。


Sally Ward Foxton:

你们有计划制造边缘芯片或更多类似嵌入式边缘芯片吗?我知道你们现在通过IP进入这个市场。


Jim Keller:

我们没有具体的计划制造边缘芯片,或者更多的类似嵌入式边缘芯片,我们主要通过IP进入这个市场。


我们的首款产品的价格可能在一千美元到两千美元之间。所以这取决于你所说的“边缘”是什么价格点。我们有人问我们是否能达到一些有趣的价格点。例如,一个500美元的卡是可以很容易地添加到任何服务器中的附加设备。


制造电源的人则希望有一个30美元的芯片,他们可以将其放在服务器电源中。为什么呢?因为电源的控制系统变得很复杂,如果控制系统达到一定程度,AI模型实际上是一种更具成本效益的解决方案。但问题是,他们找不到以他们所需方式进行编程的IP。这很令人惊讶。


但是,AI将因为各种不同的原因出现在各个地方。然后问题是我们应该怎么做?将我们的AI IP许可给一些芯片公司是有原因的,他们擅长制造嵌入式控制器,视频,他们所谓的视频边缘服务器。他们真正需要的是一个IP或一个芯片,用于他们的下一代产品。我们正在致力于开发。目前的进展很有意思。你问为什么我们这么开放,首先,开放意味着人们可以和我们交流,提出我们是否可以做到这个或那个。而与大公司交易通常是他们告诉你交易条款、配额、价格,而且软件是专有的,可能是加密的,支持服务也较少。这对人们来说是个问题。我给你举个例子,很多年前,我在一家创业公司工作,我们使用MT服务器,并运行一些想在NT上运行的CAD工具。当时遇到了一个打印机的问题,我们报告了这个错误,一年后微软发布了更新,但没有修复这个问题。


们转向Linux,遇到了类似的问题,但我们搜索并咨询了朋友,很快就得到了补丁并修复了问题。所以,开源的迭代速度非常快。当我在特斯拉工作时,我们建立了自己的AI软件堆栈,我们对整个系统有完全的透视。我们进行了一些优化,这是使用别人的软件无法做到的。


开源的一个原因是你可以拥有它,另一个是你可以改变它,还有一个是你可以深入了解细节。我们计划开源我们的AI软件堆栈。原本我们想去年就这么做,但我们自己还没有准备好,软件太混乱,需要以正确的方式进行划分。我们的一些业内朋友建议我们在开源之前先修复它。这让我们重新思考了软件的架构。这也是开源软件的另一个魅力,它不是秘密,比如Linux,GCC,LLVM,所有的开源软件堆栈都是公开的,你可以查看它们,有些很棒,有些不怎么样。


有人可能会打电话给你,说这是一团糟,告诉你应该修复什么,我觉得这很酷。我们希望成为一家成功开源软件的公司,人们在看到它时不会觉得这是疯狂的,并且可能会给我们反馈。


Sally Ward Foxton:

这很难做到,对吧?你必须维护它,你必须致力于它。


Jim Keller:

我们正在努力。我们致力于此。魅力在于,客户可以查看它。我们已经有几个客户在研究我们的软件堆栈,并提出了很多问题。我的一名同事说,他们对我们的软件了解得比我还多,这很酷。我们正在回答所有问题,并在修复一些东西,这很棒。



AI芯片:英伟达与其它


Sally Ward Foxton:

面对数据中心和高性能计算领域的强大竞争对手,AI芯片公司如何与Nvidia竞争?


Jim Keller:

这个故事已经上演了很多次。以前没人因为购买IBM而丢掉工作,这就是世界的运作方式。当人们变得大而自信,成功的时候,他们开始专注于大公司关心的东西,比如利润率、盈利、市场,然后当世界发生变化时,情况会如何?


在接下来的几年里,这会很有趣,因为AI一直是一个非常开放的领域。很多主要的研究都是公开的。人们经常复制多个模型,有人发布,有人复制,有人改进。


这么一个开放的软件堆栈却被少数几个大玩家所主导,但另一方面,建立真正伟大的模型的成本非常高。有些人对此感到高兴,因为这创造了一个壁垒,而有些人则担心,如果只有三家公司能够负担得起建立AI,世界会变成什么样子。


我认为这为小公司创造了机会,因为人们会说,我想建立自己的计算机,我想按照我想要的方式建立,我想看到它。这为我们创造了机会。至于结果如何,我们拭目以待。


有趣的是,英特尔最早是开放架构。他们有7个许可证。8086之所以能击败Z80、6502和68000,是因为有多个参与者。而拥有AMD这样的真正竞争对手,在一定程度上使他们保持诚实。现在我认为开放源代码世界很重要,我们已经看到这种动态在发生。以前有很多计算机公司,但当它们变得成功时,它们开始忽视市场。


变革已经发生了很多次,并且会继续发生。当处于高峰时,每个人都会想“为什么会变化”,这是历史。这也是我们阅读书籍的原因,了解过去100年的技术演进真是令人惊叹。


Sally Ward Foxton: 

你刚刚提到x86,我们需要竞争生态系统来支持RISC-V,对吗?如果数据中心芯片公司制作RISC-V设计,这对你是有利的,因为这有助于积累动力,对吧?


Jim Keller: 

我相信在未来5到10年内,RISC-V将接管所有数据中心,特别是超级计算机。我们与多个超级计算机制造商交谈,他们是向量化、编译器、向量浮点性能等方面的世界级专家。他们告诉大厂商他们需要什么,但大厂商通常拒绝。


然而,这些超级计算机制造商是专家,他们知道自己需要什么。因此,超级计算机的进展可能会更快。令人惊讶的是,RISC-V的软件生态系统发展得非常快。这有两个原因:一方面,很多之前基于英特尔的数据中心软件是开源的Linux,但也有很多专有的系统管理软件。


当AMD发布了一个不错的产品时,由于没有获得英特尔的专有系统管理代码,该产品无法正常工作。很多代码必须以开源的方式编写。其次,他们本应关注的不是底层是x86还是ARM,而是软件是开源还是专有。


ARM也在发展成为服务器平台。我们与印度的一家公司开始合作,他们将制造服务器产品。不到六个月的时间,我们在RISC-V模拟器上启动了服务器软件堆栈。这让我感到惊讶,我原以为这会花费一年时间。甚至Google也将Android移植到RISC-V上。RISC-V的变革将加速,而且所有这些软件都是开源的,我们和其他人都在贡献。


起初,大数据中心可能不是首先进行转换的地方。当2P服务器开始流行时,原来的设备里有背板。我跟很多服务器的制造商谈过,他们对降低服务器成本并不感兴趣,他们想要赚更多的钱。


Sally Ward Foxton:

你如何看待超大规模数据中心制造自己的芯片?你能给我们一些关于他们是自制还是购买的决策的见解吗?


Jim Keller:

我不了解他们的制造与购买决策,但我和他们中的很多人交谈过。超大规模数据中心的公开目标是降低总体拥有成本。他们大量购买,所以可以说他们对供应商有很大的影响力。


但是,还存在一个利润问题。TSMC制造晶片,Dell制造计算机,每个人都有利润,超大规模数据中心可以直接从TSMC购买,这部分就是削减一些利润层。问题是,购买的人是否增加了足够的价值来抵消利润并补偿,如果你的量很小,你就没有能力制造自己的芯片,你会购买高通的芯片。



格鲁夫名言:混乱与秩序


Jim Keller:

乔布斯总是相信他知道如何打造最佳的技术,因此他总是想要自己动手,这是一个事实,然后你可以进行一些优化。


我敢肯定,Google、Microsoft等公司拥有海量的数据,了解他们真正需要什么,而当人们销售产品时,他们倾向于销售他们想要销售的东西。


Graviton是一个很好的例子,他们针对自己的工作负载进行优化,这可能会节省一些成本。现在有趣的部分是,当有20~40个人在制造自己的服务器时,会发生什么?


在一个单一的世界里,你做下一件事,关注一些客户,忽略其他人;在一个双头垄断的世界里,通常是一个接一个,但是当有50个人时,混乱和随机性的机会大大增加。


每当有转折点时,你会看到更多的人参与其中。所以,ARM开始推动服务器的发展,然后RISC-V出现了,它更倾向于让混乱来临。我们拭目以待。


Sally Ward Foxton: 

担心混乱?


Jim Keller:

Andy Grove有一句话,让混乱来临,然后再把混乱控制住,他是一位创造性的天才,懂得如何从混乱的世界走向执行的世界,管理者往往对这种东西感到困惑,他们看Intel非常有纪律。


在设计方面,他们是自由奔放的,但他们把伟大的设计理念转化为高度精炼的产品,这是一个非常艰难的智力过程;创新的增长是必须的,人们使用创新来达到目标,问题是你能否在成功的同时保持创新。这是一个智力挑战。


许多公司都这样做,然后世界发生变化,他们发现没有人想要他们的产品。还记得过去的旋转电话吗?你不会认为这是工程,但有成千上万的人为了建造那项技术而拼命工作。


对于大规模扩展的情况,他们更了解工作负载,因此可以为其进行更多优化。现在,低延迟内存(LLMs)的发展非常迅速;我认为,朝着LLMs发展更加专业化的硬件是可行的。


对于那些非常成功的公司来说,他们很可能会继续成功。他们可能有很多努力去做不同的事情,我们将看到会发生什么,但他们很可能会加倍投入到成功的道路上。引进技术并优化成本的路径不同于让混乱来临和进行更多实验。


在哪里没有机会让事情变得完全不同呢?无论你看到哪里,人们都会看到一些成熟的技术,认为这永远不会有所改善。我敢肯定,那些在二战中制造飞机引擎的人,他们做得非常好,但是20年后,所有的引擎都将是电动马达,人们会看着喷气发动机感到不可思议,因为它们非常复杂。


对制造工厂(fabs)我也有同样的感受,你进入制造工厂,看到的东西是如此精细,令人难以置信。



数据中心的推理能力


Sally Ward Foxton:

有一种观点认为,如果你能比Nvidia更加专注,就能更好地与Nvidia竞争。你如何看待仅针对数据中心的推理(inference)?这个市场有前景吗?


Jim Keller:

我怀疑这种做法会失败。问题是模型在不断变化。你要考虑生成模型、训练、稳定扩散模型是关于语言还是图像。所以这些都是计算平台。你不会仅通过专注就击败那些投入数十亿美元进行研究并积累数万人年经验的现有公司。


Nvidia对他们所做的一切非常专注。你必须做些不同的事情,或者找一个不同的商业模式或市场,正如Allen所说,大公司的问题是它们在很多方面赚取数十亿美元,如果你有一个伟大的创意,但一开始可能只能赚十万美元,对他们来说就很难执行。这是正常的商业过程。


伟大的公司能看到转机。例如,Jensen早在AI成为现实之前就预见到了AI的重要性,这非常了不起。他们非常努力地进入移动和其他几个行业,这是在尝试进入一些已经有专家的领域。AI对Nvidia有效,因为那是一个新市场,而移动业务已经有人主导,所以你可以回过头来看,知道为什么哪些可行,哪些不行。


Sally Ward Foxton:

在大规模计算方面,因为我在工作中研究AI芯片,我倾向于将其视为芯片级问题。但是当你扩展或扩展规模时,这是一个系统级问题还是两者的结合?当你构建越来越大的计算机时,这会如何改变?


Jim Keller:

这是一个编程问题。我们知道如何制作基本的AI运算,但是计算的未解决问题是并行计算。我在1983年遇到了一个并行编译器团队,他们有一个一年的项目,自动并行编译器,


我们知道如何制作,就像我的朋友Roger Guitars说的,直到他发现其中有很多乘法单元。AI 涉及到乘法、张量、向量运算、修正线性单元、softmax函数等。但操作并不多。


你看一看,觉得这并不难,这就是为什么有50~100个AI创业公司,都是由硬件工程师创建的,他们认为这并不难,我们可以制作一个更快的乘法器。


如果你看一个大型数据中心,那里有很多盒子、芯片、电缆和网络。我们非常擅长网络。计算的基础是存储、计算和输入/输出,我们擅长这些;然后,当出现新的应用程序时,你会说,哎呀,这里有很多这样的操作,让我们制作引擎来处理这些操作。


并行计算是计算的一个未解决的问题。我在1983年遇到一个并行编译器团队。当时,我们正在开发一台双处理器。他们有一个为期一年的项目,目的是自动并行化编译器,这样你可以写一个Fortran程序,在两个处理器上运行,实现90%的利用率,但这个项目至今还没有完成。


这已经40年了,而且很有趣的是它还没有完成。我们使用大规模并行数据中心的方式也很有趣。比如,谷歌很聪明,一方面他们有一百万用户,需要一百万台计算机,但他们实际上做了一些非常独特的事情,比如你的搜索请求会发送到一千台计算机,然后对数据库进行排序,所以你有一个非常快的计算机的体验,它不是一百万人使用一百万台计算机,而是一百万人一次使用一万台计算机。


你得到的是非常快的东西,他们建立了软件基础设施来解决这个问题。因此,对于大规模的AI问题,那些训练大模型的公司有数百人管理各种软件层。现在,你可以购买一台拥有6428个CPU的服务器。没有软件栈可以让你编写一个C程序,并让它在所有CPU上运行,操作系统知道所有的128个核心,并在所有核心上调度线程,这太神奇了。


这种情况的存在是因为我们从一个开始,然后变成指数增长,我们将看到接下来会发生什么,这是一个非常棘手的问题。


我感兴趣的一个问题是,如何编写代码,让代码看起来像人类思考的方式,然后并行运行。因为计算机是想要被构建的;有一个深层次的原因,就是你的思考方式,你的思考是一种叙述,比如我做了这个,然后我想了那个,然后我说了这个,然后他说了那个,这是线性的,对吧?


你有100亿个神经元在随机激活和振动,生成一个线性的叙述,这不是有史以来最奇怪的事情吗?这太疯狂了,然后我们建立AI计算机,我们把我们的线性叙述转换成在数千台并行计算机上运行。



神经网络与尖峰理论


Sally Ward Foxton:

说到大脑工作方式,你认为直接模仿大脑在硅片上的工作方式,模拟神经网络等是否有价值?你对这个领域有什么看法?


Jim Keller: 

我怀疑尖峰的理论是正确的。我猜想我们思考的方式和神经网络的方式更相似,比我们想象的要更接近,当你开始制作共振模型之类的东西,并观察这些卷积和模块时,你会觉得它们看起来和神经元完全不同。但是当你开始看计算的层次时,比如这是一个基本的计算,然后是对该计算结果的感知,然后是另一个计算,每一层的计算都是一种抽象,这实际上在我们的思考方式上似乎相当有趣。


我们思考时,我们会反复经历这个循环,这感觉有点像生成式。你的大脑有一个工作空间,然后你有很多子神经网络在查看工作空间并进行迭代,然后更新工作空间,我们正在构建这样的东西。这个类比有多深入,我不知道,但它很有启发性。


至于是否是脉冲式的,我不确定。我知道晶体管是如何工作的,我知道神经元是如何激发的,我知道钠离子是如何穿过膜的。我们构建计算机有很多层,底层是原子,然后是量子物理,然后是能带,然后是晶体管、逻辑门和逻辑功能。


我可以从原子到操作系统描述整个堆栈,可以在很多种晶体管上运行操作系统,你不会看着晶体管说,这将决定Linux如何工作,那是4~8个抽象层之外的事情;因此,脉冲式神经网络是否是正确的路径,我不确定。


它是某种类型的开关,对于计算机架构师来说,有很多编码方法,我们用0和1来编码,我们用run length encoding来编码,我们用PAM-2来编码,还有PAM-4,有很多编码方法,但这可能不是那么有趣。



审视人类,审视AI


Sally Ward Foxton:

在过去的几个月里, AI 在公众眼中的形象因为 ChatGPT 发生了很大变化,对吧?公众会不会错误地把聪明才智归因于一种只是擅长生成有说服力的语言的东西?你认为这有危险吗?


Jim Keller:

我认为情况正好相反。我们错误地认为我们的智能是特殊的,有趣的是,我有个朋友说,人们过去认为,要赢得国际象棋比赛,必须制作一个非常智能的系统,然后他制作了一个在国际象棋比赛中获胜的电脑,人们说,哦,那不是真正的智能,但是要赢得围棋比赛,那才是真正的智能。


然而,它能做这个,能做那个,这并不是智能。我们一直在谈论什么是智能,但是没有真正审视我们自己,我们在做什么?


我认为智能的定义是问题所在,我们以目标为导向,我们是问题解决者,我们能够设想未来,我们能够处理各种场景,我们可以制定计划,我们可以做出判断,我们可以识别事物,我们将这些组合在一个有趣的循环中,我们的头脑中有一个关于我们是谁,为什么这样做的叙述。


叙述在我们做决定之后才形成,有很多论文关于这个话题,我们在思考世界时是否有自由意志,因为我们的思想通常落后于我们的行为半秒。


不过,回到你的问题,可能是关于这个 AI 炒作周期,它是不可思议的,既有积极的一面,也有消极的一面,令人兴奋,也令人恐惧。


AI 做了很多工作,你知道,互联网、移动革命、PC革命,它们开辟了新的大门,使事情变得可能。


我有一部手机,上面有一万亿美元的技术,但屏幕有裂缝,因为我曾在苹果工作,我认为如果史蒂夫·乔布斯还活着,他会对这个不满,为什么要制造一个掉在地上就会裂开的手机呢?这很蠢。为什么要这样做?


我没有修理它,因为它提醒我人类是不完美的,为什么你会带着10000亿美元的技术?但它并不值10000亿美元,它只值1000美元。


现在,用1000美元他们就是不愿意做一个不会破裂的玻璃,我们真是奇怪的生物。个人电脑无处不在,我们只是默认电视非常棒;在50年代,每个人都是调整垂直保持和调整天线的专家,现在没人知道。


如今,AI出现了,它让我们重新审视智能应用、软件工作的方式,它也以极快的速度嵌入到各种事物中,5年后,没有人会记得它曾经是什么样子。


它发生得非常快。我们认为创新是某种神奇的东西,我有一个想法,你觉得呢?但你没有意识到你的思维中有多少层次的抽象;另一方面,我们知道很多东西,然后创造一些随机性,并通过某种方式将这种随机性转换为已知的数据,当我们无法将某些东西转换为已知时,我们就学习。


我们非常擅长通过随机化一些思维,然后创造出一些东西。这种情况发生在比你意识到的更低、更高或更深的抽象层次上。那种灵光一现的时刻并不是来自宇宙的信息,而是来自你没有意识到的抽象层的信息。


Sally Ward Foxton: 

机器能做到这一点吗?


Jim Keller: 

是的,我们可以构建比人类具有更多抽象层次的机器,就像人们常说,人类可以记住7个数字,而机器可以记住多少?只要你想记住多少就有多少。这真是个奇特的现象。我们将拭目以待。



如何监管计算机程序?


Sally Ward Foxton: 

Sam Altman在美国参议院谈论AI应该如何受到监管,你对AI的监管持什么立场?


Jim Keller: 

我不知道,他们要如何监管计算机程序?程序及其修改比人们想象的要简单。你可以监管那些拥有10000个GPU的大公司吗?


你可以数数有多少人拥有这些,然后去监管他们,但是当有一亿台计算机可以运行AI程序时,会发生什么?


我们要在每个人的手机上放置间谍软件吗?这个解决方案产生的问题比问题本身要严重得多。


Sally Ward Foxton:

我们是否必须从某个地方开始呢?


Jim Keller: 

这是个问题,没有人知道如何明智地开始。


我喜欢Elon Musk的看法,即AI将非常快速地发展。我们需要小心的是要尽可能地使其保持诚实。因为人们认为,我要偏见,因为我知道得更多,而这种思想一直是每个可怕情况的根源。这就是历史书的作用。一个开放的社会,有很多独立的实验,事物有合理的方式进行检查和平衡,成功和不成功,以及辩论,这样的社会运作得相当不错。


给某人权限去“监管”某件事情通常效果不佳,而且在任何行业都没有效果,有很多安全组织、健康组织等等。据我所知,它们变成了官僚机构,为官僚机构服务,所以我更倾向于认为世界应该是开放的,我们应该做好应对准备,拭目以待。


Reference:

https://www.eetimes.com/jim-keller-on-ai-risc-v-tenstorrents-move-to-edge-ip/


----- End -----
活动推荐👇











您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存