Anthropic联合创始人：我如何思考AGI倒计时、AI安全与人类未来

2 分钟阅读

背景与引子

2025年，AI行业的发展速度已经超出了大多数人的预期。当公众还在争论GPT-5是否已经发布时，行业内部正在经历一场深刻的范式转变：大模型能力的提升不再遵循线性增长，而是呈现持续加速的态势。

最近，Meta创始人扎克伯格以1亿美元签约奖金挖角顶级AI研究人员的消息震惊了整个科技圈。这不是一场普通的人才争夺战，而是关乎人类未来走向的控制权之争。谁能吸引最优秀的人才，谁就可能在AGI（通用人工智能）的竞赛中占据先机。

但在这场狂欢中，有一个声音始终保持着清醒与警惕——Anthropic。这家由OpenAI前核心成员创立的公司，正在走一条与众不同的道路：他们将AI安全视为比技术进步更重要的使命。当其他公司忙着发布新模型、争夺市场份额时，Anthropic却在思考一个更根本的问题：如何确保AI在变得足够强大之后，仍然能够真正对齐人类的需求和价值观？

本期播客，我们邀请到Anthropic联合创始人本杰明·曼恩。他是GPT-3的核心架构师之一，亲眼见证了AI从学术研究走向商业化的全过程。是什么让他选择离开OpenAI另起炉灶？他对AGI的实现时间有什么预测？人类该如何在这个AI时代找到自己的位置？

一、嘉宾是谁

本杰明·曼恩是Anthropic的联合创始人，现任产品工程总监。他的工作重心是如何将AI安全和对齐研究真正融入到产品开发的每一个环节。

在加入Anthropic之前，本杰明是OpenAI的核心成员，全程参与了GPT-3的开发工作——他不仅是最早的论文作者之一，还负责了向微软展示技术实力的演示工作，并主导了GPT-3技术转移给Azure系统的整个过程。可以说，他对大语言模型的底层架构有着透彻的理解。

离开OpenAI后，本杰明与一群志同道合的伙伴共同创立了Anthropic。公司成立之初只有7名员工，如今已发展成为超过1000人的团队。在Anthropic期间，他几乎担任过所有你能想象的角色：安全负责人、运营团队管理者、产品团队创始人。他笑称自己经历过大约15个不同的职位，从钻在桌子底下接HDMI线缆到策划公司的整体产品战略，无所不包。

但让本杰明真正兴奋的，是一年前他创立的Labs团队（现更名为Frontiers）。这个团队的任务是将Anthropic最前沿的研究成果转化为用户可以直接使用的产品和体验。MCP（模型上下文协议）和Claude Code都诞生于这个团队。在他看来，这才是Anthropic能够在激烈竞争中脱颖而出的关键所在——用最前沿的技术创造真正安全的AI应用。

二、核心观点TOP10

  1. 50%概率在2028年实现某种形式的超级智能——这不是空穴来风，而是基于 scaling laws、模型训练的科学数据以及对全球数据中心扩张的综合判断。

  2. 离开OpenAI的核心原因：安全的优先级不够高——公司内部存在”安全派、研究派、创业派”三股力量的角力，但在关键时刻，安全并未被放在第一位。

  3. Scaling laws从未真正放缓——每六个月就会有人说模型进步遇到瓶颈，但这种说法从未成真。进步不仅在加速，而且释放频率从一年一次变成了每月或每季度一次。

  4. 全球真正从事AI安全工作的人可能不到1000人——尽管行业年资本支出已达3000亿美元，但安全研究的投入严重不足。

  5. 经济图灵测试是衡量AGI的好方法——如果你雇佣一个AI agent工作一个月，事后才发现它是机器而非人类，那么它就通过了这项工作的经济图灵测试。

  6. AI安全与商业成功并不矛盾——Anthropic的实践表明，越重视对齐研究的团队，反而越能做出有独特人格和个性的产品，比如Claude的性格特征就直接来源于安全研究。

  7. 宪法人工智能（Constitutional AI）是让AI自我对齐的核心方法——通过让模型自己批判和修正自己的输出，使其内化人类希望AI遵循的价值观。

  8. AI对就业的影响将在20年后彻底重塑资本主义——当劳动力接近免费时，资本主义本身的形态都可能发生变化。

  9. 只有约1%成功率的AI能力，六个月后将变成100%成功——内部化这种指数级的进步曲线，是做出正确战略决策的关键。

  10. AI导致灾难性后果的概率在0%到10%之间——这个数字看似不高，但在关乎人类整体未来的赌注上，即便是1%的风险也值得全力以赴地去规避。

三、关键洞察

洞察1：AI安全不是限制，而是一种竞争优势

许多公司视AI安全为发展道路上的”减速带”，但Anthropic的经验恰恰相反。当团队真正花时间思考什么是”有帮助、无害、诚实”的行为时，他们的产品反而具有了独特的个性。本杰明指出，Claude之所以是市场上”最不谄媚”的模型，正是因为他们在实际对齐上投入了大量精力，而不是简单地用”用户参与度”作为衡量标准。这说明安全研究和产品竞争力可以形成正向循环。

洞察2：Scaling laws的真正瓶颈不是算力，而是对”智能”定义的更新

很多人认为芯片性能和数据中心规模是制约AI进步的终极因素，但本杰明提出了一个更精妙的观点：Scaling laws的神奇之处在于它在多个数量级的尺度上都持续成立。他用半导体行业类比——当芯片密度达到极限时，我们需要重新定义”芯片”的含义，继续追求在新的维度上扩展算力。对AI而言，从预训练向强化学习 scaling的转变，正是这种范式转换的体现。

洞察3：儿童教育正在经历根本性范式转变

当被问及如何教育孩子应对AI未来时，本杰明选择了一所蒙特梭利学校。他的理由发人深省：在AI时代，知识的记忆将变得不那么重要，真正重要的是保持好奇心、创造力和善良。这个判断暗示了一个令人不安的未来：传统教育体系培养的很多技能——比如标准答案的背诵——可能在AGI时代变得毫无价值。而那些AI难以替代的人类特质——比如好奇心驱动的探索、与他人建立情感连接——将变得前所未有的珍贵。

四、精彩金句

“当AI真正变得强大时，它会彻底改变世界运作的方式。如果这进展顺利，它将成为人类需要创造的最后一项发明。如果不顺利，它可能意味着人类文明的永久终结。”

——本杰明阐述了他对AI的双重愿景：既有可能是通向无限繁荣的钥匙，也有可能是不归路的起点。

“我的最佳情况是在Meta赚钱，但我在Anthropic的最佳情况是影响人类的未来。这不是一个困难的选择。”

——面对扎克伯格高达1亿美元的签约奖金，Anthropic员工的选择揭示了公司文化的核心驱动力——使命导向而非利益导向。

“即使我们谈论的是1%的灾难概率，如果我告诉你下次坐飞机有1%的死亡风险，你肯定会三思而后行。”

——用日常生活中的类比解释为什么即便是低概率的极端风险也值得全力以赴地去预防。

五、实战案例

案例1：Claude Code重塑软件工程团队

Anthropic内部的软件开发团队已经达到了一个令人震惊的里程碑：95%的代码是由Claude编写的。但本杰明强调，这不是在宣扬”AI将取代程序员”的恐慌叙事，而是展示了一个截然不同的现实——团队的生产力提高了10到20倍。原本需要10个人的项目，现在2到3人就能完成，而这些人可以将精力集中在更具挑战性的问题上。

这也解释了为什么Anthropic仍在大力招聘：他们正处于指数曲线的”平坦部分”，距离未来的能力还有巨大差距，而这个差距需要最优秀的人才来填补。

案例2：宪法人工智能的实践

Anthropic开发的”宪法人工智能”技术，展示了一种全新的AI对齐方法。当模型生成一个回答后，系统会提示模型自己审视回答是否符合一系列自然语言原则（比如”人们应该友善相待”、“不应该泄露信任关系中的凭证”）。如果模型发现回答有违这些原则，它会自我批判并重写回答。整个过程中，不需要人类逐一评判每一个输出——模型学会了自主对齐。

本杰明提到，这个过程本质上是让模型递归地自我改进，同时内化人类认为”好”的价值体系。更重要的是，这个宪法是公开的——Anthropic已经将他们的宪法公开发布，他们认为AI应该遵循什么样的价值观，应该是全社会共同讨论的问题。

六、行动建议

建议1：现在就学会使用这些工具，而不是等着被淘汰

本杰明观察到，最成功的AI使用者并不是那些技术背景最强的人，而是那些愿意尝试、愿意冒险、愿意把工具用到极致的人。以Claude Code为例，使用效果好与不好的差异，取决于你是否愿意提出更大胆的要求，以及在第一次尝试失败后，是否愿意再试三四次。这些工具是随机的，同一个请求有时能成功有时会失败，关键是持续尝试。

为什么要做：因为指数增长意味着现在看起来只有20%成功率的AI能力，六个月后就会变成80%甚至100%。现在就建立使用习惯，你将在这场变革中占据先机。

如何开始：从今天起，选一个你每天都在做的重复性工作，尝试用AI辅助完成。即使只是让它帮你写邮件草稿或者检查文档，也是很好的起点。

建议2：重新定义你的工作范围，向更高价值领域移动

当AI能够自动解决82%的客户支持问题时，那些被解放出来的人可以做更复杂的事情——比如处理那些以前因为太费时而不得不放弃的复杂投诉。这意味着你需要思考：你的工作中哪些部分是最容易被自动化的？哪些部分需要真正的人类判断和创造力？

为什么要做：理解哪些工作正在被自动化，可以帮助你主动转型，而不是被动等待。

如何开始：列出一个你日常工作的清单，标注每个任务被AI替代的可能性。然后主动开始学习那些需要人际交往、复杂判断或创意的工作技能。

建议3：培养”野心勃勃”地使用AI的习惯

本杰明提到，很多人在使用AI工具时过于保守——他们只让AI做那些确定能成功的简单任务。但真正高效的用法是让AI尝试那些看起来有点超出它能力范围的事情，因为模型的能力边界每周都在扩展。

为什么要做：因为如果你只用AI做那些简单任务，你永远不会发现它的边界在哪里，也永远学不会如何与AI协作完成真正有价值的项目。

如何开始：下次你用AI辅助工作时，尝试让它完成那些你觉得”可能有点难”的任务。如果第一次失败了，问它”能不能用不同的方式再试试？“——这种迭代式的问题解决往往能带来意想不到的结果。

建议4：为孩子投资那些AI难以替代的能力

本杰明对孩子的期望很简单：快乐、善于思考、充满好奇心、善良。他特别提到孩子就读的蒙特梭利学校，因为这种教育方式强调自主学习、好奇心和创造力，而不是标准答案的记忆。

为什么要做：在劳动力接近免费的未来，那些需要人类独特性的技能——情感连接、创造力、批判性思维——将变得前所未有的重要。

如何开始：如果你有孩子，减少对成绩和标准考试的焦虑，增加对探索、提问和情感交流的重视。即使是成人，也可以开始培养自己这些方面的能力。

建议5：考虑进入AI安全领域，即便你不是AI研究员

本杰明强调，AI安全需要各种背景的人才——产品经理、财务人员、厨师、人力资源专家。一个健康的AI公司需要完整的经济引擎才能持续投入安全研究。

为什么要做：AI安全是一个被严重忽视的领域，但又是可能决定人类命运的关键方向。即便你不在安全团队，你的工作也是在为整个人类文明做出贡献。

如何开始：访问 80,000 Hours 网站获取详细的职业指导。不要认为必须成为AI研究员才能产生影响，Anthropic的产品工程团队就是由各种背景的人组成的。

七、我的总结

本期播客的核心收获，可以用三个词来概括：紧迫感、使命感、行动指南。

本杰明·曼恩让我们看到了AI行业最前沿从业者真实的想法：他预测AGI可能在2028年到来，认为Scaling laws仍在加速推进，同时坚持将安全研究作为自己的核心使命。他离开OpenAI不是因为技术路线分歧，而是因为在关键时刻，安全没有成为第一优先级。这个判断后来被证明是极其有先见之明的——正是这种对安全的执着，让Anthropic在众多AI公司中独树一帜。

但最打动我的，不是他的预测或他的技术洞见，而是他面对巨大责任时的态度。他承认这份工作的重量，也承认自己并非完全免疫于被AI替代的焦虑。但他选择用”resting in motion”——保持运动中的休息——来应对这种压力。他相信，只要与志同道合的人一起，在可持续的节奏中前行，就能在这个 marathon中坚持下来。

对于我们每一个普通人来说，这场对话的启示是明确的：AI革命不是发生在遥远未来的科幻情节，而是正在此刻发生。关键不是焦虑，而是行动——学会使用这些工具，理解它们的能力边界，然后找到那些只有人类才能贡献价值的地方。这或许是我们能为自己、也为人类未来所做的最明智的投资。

📺 播客信息

  • 发布时间：2025-07-20
  • 时长：1小时14分钟59秒
  • 播放量：108298 次观看
  • 原版视频：『YouTube』