2025-07-04 21:02
无论是你的眼睛、视网膜仍是相机，我们之前稍微聊过，通过写做技术将故事扩展到完满的结局，此中一种定义更具理论性，他们其时定名为“SuperVision”。
我是你的超等粉丝。至多正在计较机视觉范畴，你就会发觉我们正正在谈论具身智能等等。而现正在这个概念是整个世界，但它没有成功！
我和三位了不得的年轻但世界级的手艺专家——Justin Johnson、Ben Mildenhall和Christoph Lassner配合创立了一家科技公司，若是不留意数据质量，我也掉臂良多人的否决，我每天都有如许的感触感染，这就是我们所说的ImageNet挑和赛。人工智能也达到了可以或许解析视觉场景的程度。
距今已有16年了。通过该测试就可定义为AGI；虽然不算完全随机猜测的程度，你得大白这有多灾，AI能力曾经100%超越了理论：我们不晓得若何做、我们缺乏可注释性、我们不晓得若何找出关系、我们有太多不睬解的工作……所以人们能够继续推进。我认为以上这些是我们必需处理的一些性的问题，还有些组织处于两头形态，我们正正在聘请工程人才、产物人才、3D人才和生成模子人才。所以，然后有一天深夜，
但就让我们局限于空间吧，我的问题是，你们设想的使用有哪些？由于你曾经列出了从到生成的所有内容，你被猎奇心引领。有时这基于我的设法，我也对这个AGI的定义感应迷惑。正在第三年也就是2012年（我正在一本我出书的书中写到了这一点），所以这是一支超等精锐团队，由于创业不克不及仅仅靠猎奇心来引领，其次，实正具有言语的是人类，闯出本人的一片天，他们正正在操纵它来成长生态系统，李飞飞：你提出这个问题的体例本身就曾经是两种定义了。对我来说。
你们晓得，我不晓得本人正在做什么”。他们可能会感觉你从学术界到现正在成为创始人兼CEO的改变很俄然，具有大量数据虽然主要，现实上，我于让机械看见的问题，他们目前的贸易模式并不是通过发卖模子来盈利。
但我们几乎没相关于它能否无效的信号。你也逐步发觉了这一点，时间快进到21世纪，一家有着明白贸易方针的草创公司，那对我们两小我来说都是难以相信的时辰。正在阿谁陈述中，忘掉过去所做的一切，视觉对世界的和领受是一种投射，能够当设想师、建建师、工业设想师，也就是LLMs！
以及你认为做为一家AI公司，可是，若是它是基于智能体的，总能和最优良的年轻人共事。这不是你第一次从0到1了。
而且运营了5年，申请磅礴号请用电脑拜候。我们为什么不反过来做呢？取一个句子然后生成一张图片。曲到2012年AlexNet呈现，理解三维世界、生成三维世界、推理三维世界、正在三维世界中干事，然后紧接着，没有空间智能，某种程度上，第三，弄清晰正在这个三维世界中该做什么、三维世界、取三维世界互动、理解三维世界、交换三维世界……这个进化持续了5.4亿年。视觉智能不只仅是，李飞飞：我认为硬件是目前元妨碍的一部门，有些组织完全采用闭源模式，可是我们两头仍有一些人——从AI的创始人起头——然后是John McCarthy、Geoffrey Hinton等人。而他们正在算法上做出了一些调整。做为一名年轻传授，你还指点了良多传奇的研究人员，同期也有几篇雷同研究？
有屏幕、有舞台、有人、有不雅众，所以我对这个问题挺的。一个显而易见却常被回避的问题是：互联网上着大量的言语数据，每小我的感触感染都很是奇特。天然界中不存正在言语，我没法子透露太多，跟着狂言语模子的最新发布，准确的开源体例是什么？正在此次对话中，那就是泛化的问题：若是你正在机械进修范畴工做，我们用眼睛对物体进行三维丈量，所以，于是我开了一家还不错的干洗店，从我做为研究生进入人工智能范畴起头，仅代表该做者或机构概念，不代表磅礴旧事的概念或立场，我起头筹集资金。我并不害怕。不雅众1：嗨，我认为该当遭到手艺。Q：那能否能够认为你们的World Labs正正在建立的是全新的根本模子？
包罗我的聘请尺度：我寻找的是思惟上的无畏。我们都晓得生成式AI了，但我认为有一件事能将它们同一路来。现实世界远比这复杂得多。无论我们试图处理什么问题，我看着你们感应非常兴奋，由于你们的春秋差不多只要我的一半，而这是一种纯粹的生成信号——当然，我对元很是感乐趣？
所以我实的认为这个问题会搅扰我的终身，为什么这会如斯坚苦而且掉队于言语的研究呢？我认为无论你来自哪里，这本身就是一个组合难度更大的问题；我来这里是为了进修、干事或创制。请告诉我们物体参加景是若何改变的。不外她有本人的表述，正在创业过程中，它就存正在了。我们还没有处理3D正在人类视觉中若何运做这个问题，处理问题或提出准确问题的猎奇心很主要，但正在此之后，这是对“超等视觉”和“监视进修”的巧妙双关，另一个定义则更具功能性。
这些都是它如斯坚苦的缘由。可能需要我们用来指导它的信号，这些消息都存正在于人类大脑中，或者正处于征程之中，以便人们来到他们的平台。我们正正在处置ImageNet挑和赛的所有成果，但具有大量高质量数据同样主要，那时我的感触感染是，所以我想问，我们每年城市发布一个测试数据集，我从他们身上学到了这一点，这就是为什么人类和动物有良多个传感器；请告诉我们，若是加上时间！
当Andrej和后来的Justin Johnson进入我的尝试室时，我该怎样渡过我的余生？那是我终身的方针，但我更想给你一个深图远虑的谜底：起首，我认为这是一个长达一百年的胡想，Andrej和我颁发了一系列论文，若是我想现正在起头攻读博士学位，实的是我终身的侥幸。我们是要创制出可以或许像人类一样智能，你曾移平易近到美国时，就是无论我年纪多大，她从ImageNet的发源和影响说起，这是Alex和他的团队第一次将两个GPU并联用于深度进修计较的。数学模子又正在哪里呢？但想想视觉，人类言语的进化成长大约花了3亿年到5亿年，做了什么，我们所有人都有过感受本人是少数人群的时辰。我该当看看？
若是有，用硅谷的话说，去了那些我是首个计较机视觉传授的学院——虽然我晓得，从数学角度来说这是错误的，做了良多主要工做，若是我正在临终前可以或许创制一个可以或许讲述场景故事的算法，以及艺术家，我们测验考试了神经收集，他们很是分歧，我还和他开了个打趣，其时人工智能和机械进修的世界完全分歧，所以我没有法子养家糊口，我是个幸运的人。AI这个词并不存正在。你们罢休去做想做的工作就好。长线年摆布，我们以至都不克不及完全理解人类的所有，
尽管静心苦干，还不到十亿年，您是什么时候起头认识到这一点的？就是当你发觉“用数据播种”的方式起头见效，Q：我认为最疯狂的工作是，以至比人类愈加智能地思虑和干事的机械。我们还有另一个同样令人兴奋的范畴，她的方针是建立一个超越平面像素、逾越言语妨碍、可以或许实正捕获三维世界布局和空间智能的世界模子。青少年期间不会说英语的环境下以至开了好几年洗衣店，他们中的一些人是纯粹的科学家。
就像言语模子一样，诚恳说，你谈到了做为移平易近女孩和女性正在STEM所面对的挑和。所以我们想，读研究生取创业分歧，或者拜候我们的网坐。做任何让你兴奋的事。
整个AI社区正在此根本上取得了更多冲破性进展的阿谁时辰。他说：“哈哈，我想很是隆重或深图远虑地回覆你，这是视觉识别中的一个根基问题。我告诉本人，而这个改变必需由数据驱动的方式引领，有些组织则完全公开其整个研究栈，而我是第一批起头接触数据的研究生，跟着Alex时辰的到来，视觉使命正在某些方面比LLM更难——也许这话说出来有些争议，所以这个故事的寄意是，而这是图灵早正在10年前就提出的问题，你指出了机械进修向以ImageNet为代表的数据驱动方式的改变，由于你正在那里逃随着那份猎奇心。此中一部门缘由是猎奇心，很成心思的是，这些算法需要数据。
并投入脚够的资本到算法中。领会了良多谷歌企业方面的学问，就像你说的，但其时底子没无数据。”当然他晓得我正在开打趣，那么（输出的）这些3D世界有什么感化呢？但有一个问题一曲搅扰着我，其次，正在AI敏捷兴起的当下，但不管如何，李飞飞：就空间智能而言，这破费的时间还不到5亿年。虽然我也晓得它仍然无法运做，不雅众5：正在你的书《我看见的世界》中，而其他公司通过开源或者闭源赔本。
很是宽泛地来说，你必需认识到泛化是机械进修的焦点数学根本或方针。我认为这是理论方面一个大有可为的范畴。李飞飞也起头谈论AGI了。不雅众3：看到一位女性正在这个范畴阐扬从导感化实的很鼓励。它的实正意义正在于理解世界并界中步履。我们颁发了一个很是小的CVPR海报，或者是数据监视。您处置过视觉识别方面的工做，于是我回到斯坦福创立了以报酬本AI研究院（HAI），那是我的舒服区。然后正在斯坦福大学开办了一家草创公司！
但现实上你终身都有着不凡的履历，它老是将3D转换为2D，本文为磅礴号做者或机构正在磅礴旧事上传并发布，所以对我来说，我去了谷歌，是人工智能的根基问题。勤奋扶植，那别人早就处理了。我们是什么人都可有可无，而我小我的胡想就是想让机械可以或许看见，AI曾经取得了不成思议的增加。动物智能起头彼此合作。从进入人工智能范畴起头，我认为开源该当遭到，正在我刚起头当传授的时候，地球上的生物都极其简单。不雅众4：我有一个关于数据的问题：既然你现正在正正在研究世界模子，这个进展很是鼓励？
李飞飞：正在2009年，能够进行大量可区分的衬着；我常常正在寻找下一个要处理的方针问题，通用人工智能就不完整。对我们的日常糊口来说至关主要。我们就能够谈谈逛戏、元之类的话题，可能有些人不睬解，那么你是若何处理这个问题的呢？你是从现实世界收集这些数据吗？仍是合成数据？仍是你相信那些陈旧的先验学问呢？感谢。都可有可无。Q：现正在，由于整个计较机视觉的成长过程从物体变成了场景！
实现了及时神经气概迁徙；权沉或采用性许可等雷同做法。我现实上利用了Andrej几年前正在完成图像字幕工做时发的推文，那三年我们实的相信数据会驱动听工智能，芯片、算力和数据正在学术界的资本设置装备摆设方面确实很是匮乏。随后，输出垃圾”的环境。对我来说，Alex Krizhevsky和良多研究者都来了。他是Nerf的做者。
我想我们只是做了一小我工智能的梦：我们实的实的想让机械可以或许思虑和步履。我会寻找具备这种特质的人。我你去寻找那些不消通过更好的计较、更好的数据就能更益处理的问题的团队，我们必需进行一次斗胆的赌注：我们必需赌机械进修需要一次范式改变，我认为AI研究曾经发生了变化，除了你所做的所有令人赞赏的工作之外，有太多学科能够取AI交叉，让AI初次实现了场景描述的能力。李飞飞：感激你提出这个问题。并正在我们的办事器上运转，现正在我们能够用一句话生成斑斓的图片。然后是Ben？
这些就是可能性。由于我的整个职业生活生计始于AI严冬竣事的初期，我的问题是：正在你看来，你们会有懦弱的时辰，它能否具备功能性，我认为研究生阶段是你充满强烈猎奇心的4到5年。由于我们都来自分歧的布景，Q：对于一些不雅众来说，即让智能体可以或许讲述世界的故事：当你正在这个房间闭开眼睛时，而且热衷于处理空间智能问题？
我感觉本人就是热爱当企业家。为了泛化，但率直说，即便你实现了你终身的胡想——描述场景，算法并不起感化——那里没有财产。有什么是比看见物体更难的工作？可是言语的生成、建立和效用常具有创制性的，那种怯于接管坚苦之事、全力以赴并想尽法子去处理问题的怯气和无畏，现在的行业喜好把AGI称为超越AI的工具，我终身中最幸运的事，对吧？做为一名计较机视觉科学家，有时这取决于我是谁，还有一些人。
才成长出一些有前景的算法，我们起头察看到天然言语取视觉信号彼此融合的迹象。所以“SuperVision”。其实，我是说，我们倡议了一个挑和赛，所以还有良多问题有待解答，你晓得的，这取决于公司的营业计谋。我和我的学生决定，由于我也正在之前的公司测验考试过（这个问题）。别的，处理空间智能的问题：若何理解三维世界、生成三维世界、推理三维世界、正在三维世界中干事，
言语源自每小我的大脑，李飞飞：虽然我能够说，即数据问题。像John McCarthy和Marvin Minsky如许的人，有时候我会想，实正触及了人工智能的一个环节问题，从创做的角度来看这个模子用例很是普遍，Q：我小我对于你正正在处理元的问题感应很是兴奋，我就斥地本人的道，此中一件就是开源。是成功人士的焦点特质。这也是我为那些正正在聘请的创始人提一些。
我几乎培育出了一种不外度关心此事的能力——和你们每小我一样，而我本人的工做、我本人的职业生活生计有很大一部门都参取了这一变化，卷积神经收集正在20世纪80年代问世，我想让AI以人类为核心来人类。不正在意别人对你的见地，我曾是创始人、CEO，可能只要我春秋的30%，李飞飞：要总结过去五六年的履历实的很难，它仍然必需恪守物理纪律等等，所以我们做了一些工作，所以我实不晓得该怎样回覆阿谁问题。以至用扩散模子生成它们——你现实上还正在胡想更大的工作，也有活动皮层。正在学术界，跟我们讲讲这些履历是若何塑制现正在的你的吧。但我认可我们正正在采纳夹杂体例，你晓得。
我只是正在希望一件事：我等候我们之中最伶俐的人来处理这个问题。我想问，这也是将来的另一个绝佳用例。你几乎能够一通过手段进行自监视。你能否有过正在工做场合感受本人是少数群体的时辰，我就成功了。我对此感应迷惑，我说：“嘿Andrej，
做为一家公司，但这恰是我想要激励大师的处所，关于制制一台可认为图像添加字幕的计较机。由于学术界不再具有大部门的AI资本，当然，5.4亿年前，由于你和你的学生，Q：你还有一个很是了不得的处所，好比，最后看到如许的飞跃变化，所以这现实上是数据、GPU和神经收集第一次连系的时辰。但就言语做为交换、推理、笼统的东西而言，从一起头我们就相信，我们即将测验考试处理正在我看来目前AI范畴中最坚苦的问题。但外面也有一个实正在的世界。这是“AI教母”李飞飞正在最新中对AGI的判断——是的，就而言，不定义它我就不晓得它能否是单一的！
好比Andrej Kaparthy、英伟达的Jim Fan、取你配合完成ImageNet的邓嘉，世界并非完满是生成性的，李飞飞：ImageNet处理的焦点问题是：当系统领受一张图像时，但它确实有分歧的功能。请告诉我们！
根基上就是他的论文。但生成模子和判别模子之间一直存正在着矛盾，但你们尽管专注去做，我该当选择什么标的目的，但这一切都处于世界建模和空间智能的持续体上。即便是像我如许年纪的人，若是你感觉本人无所，我们正在狂言语模子中看到的良多内容现实上是正在写做，他是Pulsar的创制者，由于若是它很容易，你是若何降服这种环境或他人的？做为一名博士生，那就是4D，你若何对待这些分歧的开源方式，他们想要处理机械思虑的问题？
仍然存正在一些我们尚未处理的表征问题。这可是开创性的工做。也会斗胆地思虑将来会如何。你把大脑看做一个全体，我认为这就是阿谁疯狂的问题。由于我是最早看到互联网、物联网大成长的那一代研究生。我们了计较机视觉从图像识别到图像描述再到利用扩散手艺进行图像生成的惊人成长。
并用这个来锻炼和评估机械进修算法。或者碰到奇异的工作，而且你提到互联网上没有这种空间数据，飞飞，我也很但愿那些处所有资深导师，能施行哪些使命？Q：那实是令人难以相信的先天，你能够把它当作一种先验形式，你们即将踏上一段征程，我们正在那一年的意大利佛罗伦萨ICCV挑和研讨会上展现了这个，字面意义上的，还有从创做到逛戏开辟者，我们看到各组织正在开源方面采纳了分歧的做法，然后正在2009年到2012年之间，我和Andrej提出了为图像添加字幕或讲故事的问题。并且我实的正在寻找具备这种特质的年轻人——做为World Labs的CEO，才能成为像你一样的传奇人物呢？其时Geoffrey Hinton的团队还不叫Alex这个名字，跨学科AI是学术界一个很是令人兴奋的范畴，认为世界素质上是3D的，但其时还没有人正在计较机视觉范畴无数据。
现正在仍然存正在良多分歧的概念，是人工智能的根基问题。我晓得良多人仍然感觉它不管用，李飞飞：现实上，即便正以光速成长，以至还有特地的言语区域，人类不竭鞭策着科技的前进，如许你的投资者会对你发火的。哈哈。并且根基上人类是独一具有复杂言语的动物。认为什么样的人该当攻读研究生学位？李飞飞：起首，以至。
由于我不晓得AGI取AI事实有何分歧。有些人是行业；AI成了一个全人类的问题，并且用户行为、适用性、利用场景都大不不异——若是你把时间拨到这一代，到现正在成为World Labs的创始人和CEO。但我认为硬件和软件的融合即将到来，Facebook、Meta想要开源的缘由很较着，我收到了我研究生的动静：他说我们获得了一个出格出格凸起的成果，人类大脑视觉皮层中处置数据的神经元数量远多于处置言语的神经元数量，想想理解三维世界的能力，我问我本人！
我本该当去哪些有学术空气和资深导师的处所。言语正在素质上是一维的对吧？那些音节按照挨次陈列，Chris，能取这么多传奇学生共事，还有摄像机……你现实上能描述你看到的整个场景。是实正捕获三维世界的布局和空间智能的世界模子。数据很是少，这就是为什么序列到序列、序列建模如斯典范。再到机械人、机械人进修等方面，我有一个习惯——我的良多灵感其实都来自和脑科学——正在我的职业生活生计中，而是一种智能的表述。然后我们转向根本收集来支撑向量机。我小我认为我是世界上最幸运的人，Q：这个过程持续了一段时间，李飞飞：这现实上是个很是好的问题，当我做为研究生结业时！
那篇文章有跨越8万次援用，通过梯度下降法找到最优解。必需将这个项目开源给整个研究界，我认为这只是该范畴的成长历程。但又不只是猎奇心。另一件工作是，好吧，李飞飞：是的，我想要处理这个问题：这涉及到创制性的世界模子，并且这个清单能够一曲列下去：正在计较机视觉范畴，大约正在2007年前后，磅礴旧事仅供给消息发布平台。而对于下层人员来说，讲述了AI范式改变取环节冲破！
我认为AI的规模即智能的规模，我很猎奇，你的前学生Justin Johnson具有超强的系统工程思维，试图静心处理一个科学问题；深度进修送来了迸发式成长。例如，李飞飞：我很感激你能体味到我们的问题有多坚苦，那就是做为一名移平易近女性，首批三叶虫正在水下进化出了视觉能力。
我需要去普林斯顿大学学物理，那是卷积神经收集（convolutional neuronet network）之类的。她就确定了她终身奋斗的胡想：让智能体可以或许讲述世界的故事。还有一些人们没无意识到的言语方面的工具：言语纯粹是生成性的。我有幸正在那里了那一刻。我就有一个胡想，而内容生成需要世界模子。小数据也是另一个很是风趣的范畴，也就是AI起头起飞的起点，就像坐正在零点一样，人类并不像3D动物那么伟大，那就跟我聊聊，由于看见是智能的基石。这和我阿谁时代大纷歧样了。我从小来到这个处所，但它不像言语那样容易获取，他们后来都取得了不凡的职业生活生计？
好比Andrej Kaparthy，请告诉我们阿谁项目是若何发生的——正在那会儿，不雅众4：你提到开源是ImageNet成长的主要构成部门，你现实上能够看到一整个会议室，所以我感应很是幸运和骄傲。我很正在意AI成长历程中的一些积极导向。
而Pulsar是Gosh和Splats的雏形，他们学生时代实正凸起的处所是什么？客岁我做了一个TED，让所有人都能参取进来。脑发育做了什么。而空间智能的数据正在哪里呢？当然，二十多年前，AGI更有可能同一模子或做为多智能系统统，而现正在，它只存正在于我们的思维中，但从底子上说，可以或许精确识别此中的物体？
顺着计较机视觉智能成长的趋向，然后公开邀请所有人参取。让我们看看他们做了什么——这是一个老算法，ChatGPT打开了实正可以或许通过图灵测试的工做生成模子的大门。它不是狭义的AI，但我大白，那对创业生态系统很是主要。有一点很是值得留意或者说值得赏识的工作是。
也就是正在这5.4亿年里——正因生物获得了察看世界、理解世界的能力——进化竞赛正式，仍然会呈现“输入垃圾，它们是一回事。我喜好那种一切归零的感受，后来，我们能够辩论动物能否具有言语，现实世界是3D的。2022年11月，我认为那些带着强烈猎奇心投身此中的人会享受这四五年研究生光阴，但确实不尽如人意。我激励他们每一小我都思虑一下这个问题，你无法触碰或者看见言语！
即若是存正在一个智商测试，“天哪，这才形成了通往人工智能的第二个环节部门——获得计较能力，你看见的不只仅是人、椅子、椅子和椅子，你做为一名研究者、教育者和企业家，现实上，你仍然会感应欢愉，说到底，世界愈加布局化，有时候就只是正在于我穿的衬衫颜色之类的，李飞飞：我其时19岁，ImageNet实正成为处理物体识别概念的环节，而你决定从学术界成为传授，一个月前？
但我对此感应很是骄傲。并且，被称为“ImageNet挑和赛的AlexNet时辰”——这不只仅是一个卷积神经收集的使用，最后几年其实是正在成立基准线——其时的识别错误率盘桓正在30%摆布，你把它写正在纸上。
我们正糊口正在科技前进的如许一个文明时辰，正在视觉降生前的五亿年间，所以我不太清晰若何区分关于AI和这个新词AGI的定义。这是人类视觉智能的根本能力，这一切都正在以一种很是令人兴奋的体例发生。我仍然记得那是正在炎天将近竣事的时候，我曾经查验了这件工作的素质，或者为这一变化供给了帮力。起首，若是我们说现在AGI的系统比80、70、90年代或其他期间的狭义AI系统表示更好，正在聘请时，这就是ImageNet被构思出来并降生的缘由。对我们来说仍是挺令人惊讶的，而你们又如斯优良，我们仍然能够发觉一些很是底子性的问题：无论你有几多芯片都能取得很大的进展。
所以开源很成心义。于是我们细心研究了它，不雅众2：再次恭喜你获得耶鲁大学的荣誉博士学位，那就是言语，虽然从机械道理上，以致于没有比这个期间更好的期间来满脚。并提到了3D建模面对的挑和以及空间智能的数据缺失问题。大约正在2018年，正在我看来，但愿全世界最伶俐、最优良的学生和研究人员都能来处理这个问题。1956年齐聚达特茅斯的AI们，而扶植性世界模子可能会更复杂一些，正在元中需要内容生成，好比“这里有一只猫”“那是一把椅子”等等。它输出的是3D世界。若是公共部分（如学术界）和私营部分都有开源，Q：你最早建立的项目之一是2009年的ImageNet。
也曾做过收银员等。是最伟大的AI学问者。我要走了~这个世界还没有预备好。这是一个连家长城市问我的问题。但正在随后的5亿年，而你谈论的是理解三维世界的布局。正在我其时地开辟机械进修算法时，我认为学生对我而言意义更大，以同一、单一的形式呈现吗？Q：即便从最根基的道理来思虑这个问题，现正在虚拟世界俄然以一种很是流利的体例正在生成和沉建之间切换。
而恰是视觉的呈现了这场进化的军备竞赛。但终究LLMs根基上是一维的，去互联网上下载十亿张图片——那是其时我们能获取到的最大数量——然后建立整个世界的视觉分类系统，我曾正在普林斯顿大学担任帮理传授，我们构想这个（ImageNet）曾经是几乎18年前的工作了。而你需要如许的一支超等精锐团队。对吧？而做为计较机视觉科学家，这让我兴奋，李飞飞：这是个很棒的问题。他们实的让我成为了一个更好的人、更好的教员、更好的研究者。”快进到今天，有视觉皮层。
