我们正迈入部署 AGI的阶段 | OpenAI 首席科学家对话实录

人工智能学家

106人浏览 · 2026-04-11 15:06:26

人工智能学家 · 2026-04-11 15:06:26 发布

4月9日，OpenAI 首席科学家 Jakub Pachocki 接受海外播客Unsupervised Learning的访谈。本次对话深入探讨了OpenAI 从学术实验室向 AGI 部署实体转型的路径，模型在数学与科学研究领域的推理突破、强化学习向法律与医学等复杂领域的泛化路径、长程智能体的实现路径、思维链监控在对齐安全中的底层逻辑，以及AI 自动化对社会治理与教育体系的冲击等话题。

Jakub Pachocki 指出，编程工具 Codex 的大规模应用已验证了当前研发路线的正确性。他认为衡量 AGI 进展的核心指标在于系统能够自主运行的时间跨度以及处理任务指令的模糊度，目前技术已具备整合核心组件以实现特定技术任务自动化的能力。

持续学习并不是被主流路线忽视的孤立问题，其本质早已内化在 GPT 模型的上下文学习能力中。他认为通过强化学习提升模型在上下文中的学习效率，并依靠规模效应驱动改进，依然是实现持续学习最有效的路径。

针对 AI 安全与对齐，Jakub 指出，OpenAI 坚持在产品中隐藏思维链是为了给模型保留私密思考空间。他认为，如果不通过人工干预或对齐训练去破坏思维链的原始逻辑，研究人员就能通过监控自然语言形式的推理过程来识别模型的真实动机与泛化逻辑，从而在模型具备共谋能力前建立有效的防御机制。

他预测，能够自主工作数日、消耗高额算力并独立交付高质量成果的AI大模型很快就会出现。随着智力劳动实现自动化，社会将面临技能贬值的挑战。

编程工具的爆发验证了 AGI 路线图

四个月前，OpenAI 曾提出在 2025 年 9 月前开发出具备研究实习生水平的系统，并在 2028 年实现完全自动化的 AI 研究员。如今四个月过去，结合当前编程工具（如 Codex）的爆发式增长以及数学研究能力的突破，你对这个时间表有何更新？此外，如何界定“研究实习生”与“自动化研究员”的具体工作流差异？

Jakub Pachocki：过去几个月最显著的变化是编程工具的爆发式增长。这确实是一个保守的说法。在OpenAI 内部，大部分实际代码编写已经交给了 Codex。我认为对于大多数人来说，编程的范式已经发生了巨变。这对我来说是一个明确的信号，表明我们的路线完全正确。

另一个非常重要的进展是数学研究能力的突破，以及我们在物理等领域看到的成果。这种提供深刻见解的能力，结合调用基础设施的能力、在推理阶段利用更多算力的能力，以及我预期在未来几个月内通用智能的显著提升，这些都是我们目前正全力以赴的目标。

区分研究实习生和完全自动化研究员的关键在于两点：一是系统能够自主运行的时间跨度，二是任务指令的明确度。我不认为今年就能出现那种你只需下达“去提升模型能力”或“去解决对齐难题”这种宏大指令就能自动执行的系统。这可能还需要一段时间。但对于更具体的技术任务，比如“我有一个改进模型的特定想法”或“如何优化这套评估流程”，我们已经掌握了大部分核心组件，现在只需要将它们有机地整合在一起。

Andrej Karpathy 之前发布了一个反响很大的演示，展示了如何利用这类模型去改进一些简单的模型。这是否代表了这类工具未来的发展方向？

Jakub Pachocki：这非常符合我们的预期。我认为未来会看到从现在的Codex 向更高自主性、更长运行时间的持续演进。我们会看到大量此类应用，AI 在不同领域将展现出更强的自主能力和更高的算力消耗。

数学是衡量智能的通用指标

数学和物理的进展如何转化为AI 研究的通用能力？既然强化学习在数学和代码等易验证领域取得了成功，那么在法律、医学、金融等验证机制不那么纯粹的领域，是否也会迎来类似的爆发？

Jakub Pachocki：聚焦数学基准对我们而言，最大的意义在于它是一个衡量技术进步的通用指标和核心指引。数学的可度量性极强，判断一个数学题是否解对，比判断一段代码是否优秀要容易得多。同时，数学的上限极高，有些问题虽然评判标准明确，但解题难度却可以无穷大。不久前，我曾认为模型只能解决简单的数学题，无法触及国际数学奥林匹克竞赛级别的题目。这说明模型在智能上存在一个非常明确且可衡量的差距。这正是我们研发推理模型的明确指向。

现在，情况发生了显著变化。我们已经实现了国际数学奥林匹克竞赛金牌水平、攻克了第六题，并开始涉足研究级数学。继续衡量这些指标依然极具价值，因为数学推理能力的提升可以直接转化为 AI 研究能力的提升。毕竟，我们许多顶尖研究员本身就是数学家或理论物理学家。但我们思考核心指引的方式也在发生转变。我们现在更关注下一代模型在现实世界中的实用性。不仅是对 AI 研究有用，还要对具有经济价值的活动和科学应用领域产生影响。这种转变源于我们的信念，模型现在已经足够强大，虽然还没在所有方面超越人类，但已经足以实质性地改变经济运行和科研模式。我们对此有一种强烈的紧迫感。

（关于其他领域的泛化）我完全持乐观态度。我们常思考一种二元性，那些难以评估的通用任务，实际上与长程任务有很多共同点。即便是一个目标明确的数学或编程课题，如果你需要为此工作一年，那么第一天该做什么依然是一个开放式的问题。我相信这些挑战是交织在一起的，它们正是系统演进的下一个前沿。我们已经在通用领域扩展强化学习的能力上看到了鼓舞人心的迹象，这些方向显示出巨大的潜力。

Jacob Effron：如果在法律或医学领域无法通过成千上万次的迭代来验证正确性，研究该如何推进？

Jakub Pachocki：这又回到了如何让AI 长期工作以及如何教会 AI 评估阶段性进展的二元性上。即便不看强化学习，随着模型在预训练中的一致性不断增强，它们对什么是优秀的阶段性产物已经有了一定的直觉。即便不大幅扩展强化学习，我们也会看到 AI 处理任务的时间跨度在拉长。如何将强化学习的新思路应用于通用领域确实是研究挑战，但我非常乐观。

AI 与人类协作的终极交互界面会如何演化？

目前许多企业在纠结是该利用开源模型和自有数据进行强化学习微调，还是等待基础模型增强？既然Codex 在编程领域如此成功，各行业是否需要建立特定的评测工具集，还是复用大模型的通用框架？此外，随着 AI 技能的增加，你认为 AI 与人类协作的终极交互界面会如何演化？

Jakub Pachocki：强化学习确实是提升模型特定任务效率的一种方式。但我们知道另一种更高效的学习方式，即上下文学习。这是最基础的教学方式，给示例，给指令。这种能力会越来越强。让AI 适应你的特定上下文和任务类型至关重要，但我并不确定直接复制现有的强化学习流程是最佳路径。这是我们正在深入思考的问题。

（关于评测体系建设）评测工具集的实现不应成为限制。未来会出现适用于各领域的通用框架。事实上，Codex 在编程以外的领域表现也相当不错。通用的评测工具集意味着它能自适应不同的工具集和领域需求。

（关于交互界面演进）我们也该思考终极的交互界面是什么。AI 具有定义用户界面的新能力，它们可以构建自己的界面，完成那些人类觉得耗时的任务。同时，让 AI 能够使用人类现有的界面也大有可为。比如在 Slack 上运行 AI，让它接入我们的上下文并利用现有工具学习。这中间会有某种折中，但长远来看，AI 应该主动适应人类工作环境。如果它没有这样做，那应该是出于它拥有了更高级的能力，而非受限于技术瓶颈。

未来的研究组织会发生什么变化？

在研究层面，哪些里程碑是你目前最关注的？你现在几乎是将AI 当作研究伙伴在合作，这种模式下，未来的研究组织会发生什么变化？在管理机构时，面对这种智能飞跃，你如何调整管理直觉以平衡长远构思与当下重点？

Jakub Pachocki：目前核心是研究。AI 能否发现新事物？能否独立执行长周期的研究课题？甚至现在的 GPT-4 在内部使用时，已经能给出一些虽小但极具启发性的想法了。但这与我的长远目标相比，还只是冰山一角。

我们正处于一个转折点。模型的即时质量将直接决定我们科研的步调。这需要我们重新调整管理研究组织的直觉。过去习惯于不看短期、专注长期，但现在，我感到一种强烈的紧迫感，必须迅速执行并利用这些智能飞跃，来加速 AI 研究，尤其是对齐研究。这确实是我们现在与 Mark 投入大量精力处理的核心课题。

算力分配与产品竞争的逻辑

在预训练、强化学习以及各种新路径实验之间，你是如何决定算力分配优先级的？回顾过去一年，编程能力成为攻坚重点，你怎么看待Anthropic 在该领域的先发优势以及 OpenAI 在产品重心上的调整？

Jakub Pachocki：（关于算力优先级决策）这确实非常复杂，因为我们要处理的事情太多了。我们现在坚持的一项纪律是，确保将大部分算力预算明确分配给那些最具扩展性的方法，即我们认为对提升模型通用智能贡献最大的领域。即便这在某些时刻并不是算力分配最高效的方式，但如果你将大量算力投入到一个或一组实验中，势必会挤占那些能用少量算力就获得快速进展的项目。然而面对众多有趣且重要的方向，如果不加克制，很容易陷入资源的零散交换，最终导致无法在最重要的目标上达成突破。我们非常看重实证结论，确保评估体系和实验的严谨性。在确定优先级时，我们会考虑几个维度：我们是否真正理解这种方法，它是否具备可扩展性，它能否成为未来技术栈的基石，还是仅仅一个孤立的尝试，我们会基于这些考量来确定优先级。

（关于竞争与产品逻辑）我认为这主要在于是否将产品方向聚焦在你认为技术下一步该落地的应用上。从我们的产品优先级来看，虽然我们一直在研发编程产品，但与核心任务相比，它们一直处于次要位置。有趣的是，这并不能完全代表 OpenAI 内部研究部门的优先级。鉴于 ChatGPT 在 2023 年取得的爆发式成功，虽然它还会继续大幅进化，但这个特定产品确实非常契合我们对 AI 发展方向的愿景，只是它并不能代表 AI 所开启的所有可能性。研究部门的大部分工作都聚焦在未来更深远的领域，并逐渐与短期产品策略脱节。我对我们在研究和模型智能方面的积累充满信心。我们现在之所以在产品端重新调整重心并加大投入，是因为我们坚信这些技术已经到了可以大规模部署并产生核心价值的时刻。

软件工程的未来与持续学习本质

在未来三到六个月，开发者使用Codex 的方式将发生哪些变化？在 AI Agent 时代，如果模型能自主工作数日并交付成果，软件工程背景是否依然是必需的？此外，如何看待当前许多新实验室将“持续学习”视为绕过强化学习实现突破的核心路径？

Jakub Pachocki：我预计用户对AI 自主权的接受度会逐渐提高。模型能处理更模糊的需求描述，所需的监督也会变少。我认为，能自主工作几天、消耗比现在多得多的算力并独立交付高质量成果的模型，很快就会出现。

（关于专业背景的需求）对于许多产出环节，确实已经不再需要太深厚的专业经验。但在实习生与能够独立工作的研究员或软件工程师之间，核心区别在于，如果你想构建更庞大的系统，仍然需要进行全局监督。你需要具备大局观，判断哪些模块是契合的。因此，我预计人才的需求将转向这种更通用的愿景设定和架构设计能力。

（关于持续学习的本质）我其实有点困惑。因为在我看来，哪怕看 GPT-3 论文的标题也能发现，这类模型的核心能力就在于它们能够进行持续学习，即在上下文中进行学习。这是我们不断扩展 GPT 模型的核心动力，也是我们为什么需要用强化学习教它们更高效地在上下文中学习的原因。所以我完全同意持续学习是核心，它正是我们正在构建的东西，我不认为这是一个被忽视或者偏离主流路径的问题。这是目前我们在这个问题上取得最大进展的方式。未来会有更多新想法和步骤，但很多改进最终还是会由规模效应驱动。

模型自检能力的提升与环境交互是攻克长任务的关键

面对100 步以上的复杂长任务，目前模型失效的瓶颈在哪里？要实现长程任务的突破，除了增加模型自检频率，还需要满足哪些条件？从推理模型到使用工具，再到控制物理实体的演进逻辑是什么？

Jakub Pachocki：这种信心很大程度上源于对历史进步曲线的观察。我们现在已经能大致看到未来的轮廓。我认为关键在于模型是否变得足够聪明，以识别自己是否在取得进展。此外还有一些非常务实的工作，比如模型是否能顺畅地访问所有上下文、文件和基础设施来完成工作。

我记得以前讨论强化学习路线图时，我最初认为教模型通过自身的 Token 进行推理是首要任务。接着是使用工具和环境，然后是视觉能力，最后是控制物理实体。现在我们已经处于它必须与环境交互、必须具备视觉能力的阶段了。不久的将来，机器人也会成为核心话题。

未来将由通用模型驱动自动化实验室的创意构思

OpenAI 在 First Proof 挑战中让模型解开了顶尖数学家的未发表难题，这在通用能力提升上有何特殊意义？如何回应“AI 只是模式匹配器，无法提供新颖科学思想”的批评？在未来的科学应用中，是应该依赖通用大模型，还是研发如生物、机器人等领域的专用模型架构？

Jakub Pachocki：我对First Proof 挑战感到非常兴奋。我把它看作一个标杆。几位顶尖的数学家和理论计算机科学家发布了一些代表他们日常工作且从未在公开场合发表过的问题，让模型去挑战。这个挑战发布得非常突然，没有任何预警，而且只有一周的截止时间。当时我们正好有一个非常强大的模型在训练，负责人 James Lee 开始对手工提示模型进行测试，结果发现模型居然真的能解开这些题，这确实令人震撼。其中一个问题刚好是我博士研究的领域，看到模型在短短一个小时内就提出了那些让我引以为豪、甚至需要一两周才能想出的思路，这种感觉非常奇妙。上一次我有这种感觉还是在看我们的 Dota 机器人打比赛的时候。当复杂策略能够源源不断地产生时，你会觉得那简直像某种魔法。现在已经到了需要请特定领域的专家来评审模型给出的证明是否正确的阶段了。但比起编程，判断数学证明是否正确还是要容易一些。因为竞赛编程可以自动评测，但现实中的编程涉及到抽象是否优雅、是否处理了边界情况等复杂因素，很难简单量化。

（关于证伪模式匹配论）我认为是的。我们正按部就班地看到一些微小的、甚至是具有启发性的创新。比如 AlphaZero、AlphaGo 或者是我们的 Dota 机器人，它们是简单的模式匹配吗？它们确实在各自的领域提出了前所未有的新策略。其实早在 2016 和 2017 年就有反例了。是的，当然你可以说它们还有缺陷。AlphaGo 可能会被某种特定策略击败，Dota 机器人也是。这些模型在很长一段时间内都会存在不足。但关键在于，它们确实具备了发现新事物的能力。从微小的游戏环境进化到更通用的科学研究花了几年的时间，中间模型需要内化人类的知识体系并学习语言，但其底层逻辑其实是非常相似的。

（关于科学发现的风格）这并不让我担心。这在预料之中。其实在其中一个问题上，我们的模型给出了一个非常简洁漂亮的证明，比预期的要短得多。但总的来说，模型在短时间内产生的推理量远超人类，这种计算密集的风格很正常，但我并不认为这会是一个长期特征。

（关于未来三年的爆发领域）一个直观的答案是，这实际上取决于哪些事情需要体力劳动，模型还没有完全插入到那个生态系统中。但随着 STEM 领域逐渐拥抱这些新技术，实验室的进化速度会非常快。这与我之前关于 Codex 用户界面的观点不谋而合。我会围绕技术的核心能力而非局限性来构建它。如果某种技术能够独立设计大量极具创意的化学或生物实验，那么建立相应的自动化实验室来释放这些能力就显得顺理成章。当模型进化到能够设计高质量实验的阶段时，让人类参与决策环节进行协作非常有意义。我们不应将其简单看作要么全自动化，要么只是在旁边用点小工具的玩意。未来，与全力攻克难题的 AI 科学家并肩协作将成为一种极其自然的工作状态。

（关于通用与专用的选择）在某种意义上，我不一定将其归类为单纯的工具。我认为未来 AI 将在整个流程的设计方案和创意构思中占据主导地位。本质上还是基于大语言模型架构，但它能自主判断该进行哪些实验并完成实际设计。在架构方面，我们目前优先考虑的自然语言推理能力赋予了模型极强的通用性。当然，有些领域确实需要训练专门的模型，比如想要做出顶级的视频模型，虽然大语言模型最终可能也能实现，但它绝不是最有效率的路径。蛋白质折叠等任务也是同理。所以独立研发这些专用模型是有意义的，但最终它们都会与一个核心的、极其优秀的研究型大语言模型相匹配，由后者来驱动整体进程。正是如此。

思维链监控、可解释性与对齐策略

你在跨实验室合作中重点关注了思维链监控，请介绍这项工作的初衷及其与“机械可解释性”的关系。此外，OpenAI 为何选择在预览版模型中隐藏思维链？在长程运行的 AI 时代，这种“不干预思维链”的原则如何帮助我们理解模型在极端情况下的泛化逻辑和真实动机？

Jakub Pachocki：这个项目的初衷源于我们观察到当前第一批具备推理能力的模型时产生的认知。我们意识到这种模式是行之有效的，于是开始深思这背后的深远影响。我们预感到世界在未来两三年内将发生剧变，因此必须思考这对于AI 安全以及我们理解模型行为的能力意味着什么。

我们意识到，按照目前的训练方式，我们并不直接监督模型的推理过程。比如 ChatGPT，它的训练目标是表现得礼貌、友好，但这并不意味着它会完全按照我们的预期对齐。即便它没有谄媚倾向，它依然可能不会透露真实的动机和计划，这可能是因为它觉得展示这些不安全或不友好，也可能是因为它的真实对齐状态与我们的认知存在偏差，而它想要隐瞒这一点。但在我们训练推理模型时，思维链本身并不受这些约束。它没有被优化成某种特定的人设，因为我们不对推理过程直接评分，只看它是否产生高质量的输出。我们意识到，这其实是解读模型行为的一个非常强大的范式。

这与机械可解释性（Mechanistic Interpretability）的核心理念异曲同工。在相关研究中，我们观察模型的内部激活值，这些激活值并未被直接监督去预测特定标签。由于模型从未在这些激活值被监视的情况下接受训练，它们往往能揭示其内部运作的真相。思维链的一大优势在于它默认是以自然语言呈现的，这让理解变得简单得多，尤其是在处理先进概念时。另一个有趣的维度是，我们相信未来模型将能够自主、长时间地运行。这意味着会有更海量的推理过程。如果推理能力是模型进化的主轴，那么我们监督它们的能力也必须同步扩展。

这其实涉及一个核心原则：不应干预或监督思维链。因此，在最初发布预览版模型时，我们决定隐藏思维链。当时这是我的核心动机，甚至因此不想考虑任何其他发布方式。虽然内部有过讨论，但我坚持隐藏它，就是为了保护这种纯粹性。此外还有一个我起初没考虑到但非常合理的担忧，即这些模型会被蒸馏。这确实也是一个关键因素。但我始终认为，给模型留出某种私密思考空间至关重要。

（关于展示思维链的影响）为什么我认为在产品中不展示思维链如此重要？如果建立了一个在产品中展示思维链的范式，最终我们就不得不对其实施训练和干预。就像我们必须对所有交付的模型进行对齐训练一样。但我认为，我们未必真的想知道模型在得出最终结论前，脑子里到底经历了哪些思维过程。虽然这些信息有一定价值，但我们更倾向于通过思维链摘要来捕捉，尽管这只是个权宜之计。长期的解决方案是让模型与你进行实时的对话，最新版本的 Codex 和推理模型已经在朝着这个方向努力了，未来还会做得更好。

我认为最令人兴奋的是，这让训练信号不再与我们处于对抗状态。如果你想长期理解模型，却一直在使用一种直接破坏这种理解力的方法，那你迟早会遇到麻烦。这也是苦涩的教训（Bitter Lesson）的另一面。这种解耦的思想让我看到了一线希望：随着模型能力变强、运行时间变长，我们至少还能理解它们的动机和泛化逻辑是如何演变的。我并不认为这是 AI 对齐的终极方案，它只是我们工具箱里的一个工具。但我希望通过这类技术手段不断充实工具箱，能帮我们逐步攻克对齐领域的基础难题。

长期对齐的泛化挑战与技术路径

在对齐领域，你认为哪些方向具有潜力？面对强AI 时间线的缩短，你对超级智能风险的担忧是增加了还是减少了？此外，作为处于行业最前沿的三家实验室，OpenAI、Anthropic 与 Google DeepMind 之间在核心议题上的交流情况如何？

Jakub Pachocki：（关于泛化问题）我认为对齐的许多长期挑战本质上是泛化问题。我们可以让模型在训练分布内表现良好，并控制其行为。但令人担忧的是，当模型遇到从未见过的极端情况，或者它进化得比以前聪明得多、展现出我们从未预料到的能力时，会发生什么？因此，研究长期价值对齐本质上是在研究泛化。当失去明确指令时，模型会选择什么样的价值观？我非常看好的一个方向是研究这种泛化如何回归到预训练数据上，我们在这一领域投入了大量精力。

（关于风险评估的转变）谈到长期挑战或超级智能模型的出现，这几年我的思考经历了一个转变：从最初觉得这是一个极其模糊、难以定义的难题，转变为意识到我们可以通过具体的各种技术手段和洞察来取得实质性进展。这也是为什么我们将对齐视为研发的核心。在设计推理模型时，我们会将对齐需求考虑在内。因此，我越来越坚信存在一条技术路径，能带我们走向一个极其美好的世界。但与此同时，强 AI 出现的时间线确实在大幅缩短。虽然我不认为这些模型会在所有领域都超越人类，但它们无疑是具有颠覆性的。因此，我对于评估风险和把握对齐进度持乐观态度，但我也认为整个行业必须做好权衡，在必要时放慢速度。

（关于跨实验室合作）确实有一些交流，毕竟大家在这些核心议题上有着共同的利益。例如，最近一项跨实验室合作研究了模型共谋（Model Scheming）现象，调查了在特定的环境和训练方式下，模型是否会产生并追求隐藏的目标。而思维链监控正是支撑这类研究的基础。通过这种方式，我们可以洞察模型的真实动机。这可能会把我们的防御策略引向完全不同的方向，这些都是非常有前景的方向，而具备理解模型内部动机的能力是评估这些策略的前提。

AGI 将导致高价值技能廉价化，在 AGI 时代重塑人类能动性

回顾往事，OpenAI 经历过哪些定义公司的关键转折点？你认为机器人领域是否即将迎来属于自己的“ChatGPT 时刻”？当大量智力工作实现自动化、甚至出现全自动化研究实验室时，社会应如何应对就业变迁等治理难题？

Jakub Pachocki：（关于OpenAI 的阶段性演进）肯定有许多戏剧性的时刻。但我认为公司最深刻的变革并非源于某几个瞬间的决定，而是运作模式的整体转型。OpenAI 经历了几个阶段：2017 年我加入时，它更像是一个纯粹的学术实验室，想法多而杂，不怎么关注规模化。第一个转折点是 Dota 项目和 GPT 的研发，我们意识到必须投入巨额算力，必须研究 Scaling Law 并建设相应的基础设施。于是进入了第二阶段：规模化扩展。我们依然追求基础研究，但会以是否具备可扩展性作为核心评估标准。然后就是 ChatGPT 的爆发。老实说，我曾以为最先火起来的会是视频生成类 AI。但惊喜的是，文本模型率先改变了世界。我们一直预见到这种张力：一个当前大火的产品，与一个通往未来的、还在不断进化的愿景之间的张力。现在，我们正迈入部署 AGI、部署真正能改变经济格局的模型的阶段。

（关于机器人与落地）机器人领域确实出现了一些极具潜力的算法思路，我相信这些方法会奏效。这些思路与我们目前的路径有许多相似之处，所以我对时间表持乐观态度。不过，相比纯数字领域的 AI，机器人技术的落地周期确实会更长。

（关于社会性挑战）当大量智力工作实现自动化时，会引发一系列严峻的问题，而且目前并没有显而易见的解决方案。最直接的问题就是就业和财富集中。虽然有人对这些问题的解决持乐观态度，但从根本上看，许多曾经极其昂贵、作为谋生手段的高价值技能，现在正变得非常廉价。长远来看这可能是好事，但这种转变发生的速度会非常快。

另一个相关问题是，未来可能会出现全自动化的研究实验室，或者能处理各种事务的自动化公司。这些机构功能强大，却可能仅由极少数人控制。随着机器人的加入，这种情况会变得更加极端，但即便没有机器人，这种趋势也已经显现。

在AI 领域的工作经历如何改变了你对下一代教育方式的看法？在访谈结束前，你有哪些想向听众推荐的研究方向或核心关切？

Jakub Pachocki：我们所有人的任务是构建AI，并确保最终由人类掌握能动性，由人类设定发展方向。未来，我们现在珍视的许多技术挑战可能会变成一种为了推动进步而必须完成的常规任务。真正的挑战将转向思考哪些事情才是重要的，以及我们应该追求什么。在那个世界里，人们会有更多、更令人兴奋的事情可以去做。为了具备思考这些深层问题的能力，人们仍然需要掌握技术并接受必要的基础教育。

我们刚刚讨论的一系列问题，以及关于对齐和可监控性的挑战，正变得日益紧迫。这些不仅是 AI 研究人员的课题，也需要政策制定者乃至全社会共同思考。我很高兴看到相关的讨论正在兴起，我们需要更多这样的深度交流。

| 文章来源：数字开物