当 AI 产品遇到 AI 产品负责人：两位顶级 CPO 的深度对话
背景与引子
2024年11月，一场在旧金山举行的科技对话引发了行业关注。三位 AI 领域最核心的产品负责人——OpenAI CPO Kevin Weil、Anthropic CPO Mike Krieger，以及知名 AI 投资人 Sarah Guo——围坐在一起，分享他们在 AI 产品一线的真实观察。
这三位嘉宾的背景本身就充满故事性。Kevin Weil 曾负责 Twitter 的货币化产品，Mike Krieger 则是 Instagram 的联合创始人，如今两人都选择在 AI 浪潮中重新出发，担任两家最具影响力的 AI 实验室的产品负责人。他们的对话不仅揭示了 AI 产品开发的独特挑战，更为整个行业提供了关于人机交互未来的重要洞察。
对于产品经理、创业者，以及所有关注 AI 发展趋势的人而言，这是一场不容错过的对话。它回答了一个关键问题：当产品不再基于确定性技术，而是基于不断进化的 AI 能力时，产品经理应该如何思考和行动？
一、嘉宾是谁
Kevin Weil，现任 OpenAI 产品负责人，曾在 Twitter 负责货币化产品多年，亲眼见证了社交媒体如何改变信息传播方式。如今他面对的是一个更加激动人心的挑战——在 AI 能力以每两个月一次的频率实现突破的时代，打造能够充分利用这些能力的产品。
Kevin 回忆起接到这个 offer 时朋友们的反应时笑称，这是他经历过最具挑战性、也最让他失眠的产品角色。但他强调，这种压力是甜蜜的——“这是我职业生涯中最有趣的角色，因为每一天，你都在见证历史。”
Mike Krieger，Instagram 的联合创始人兼前 CTO，如今担任 Anthropic 的产品负责人。他以“半退休”状态仅仅六周后就接受新挑战而著称。当被问及为什么放弃悠闲生活选择加入 AI 领域时，他的回答简洁有力：“因为我停不下来。”
Mike 特别提到，加入 Anthropic 让他接触到了企业级产品的世界，这是一种与消费级产品截然不同的体验。他正在学习如何在更长的交付周期内保持耐心，同时也发现了与客户建立深度关系的独特价值。
二、核心观点 TOP10
1. 在 AI 领域工作，就像在迷雾中规划产品路线图 你无法准确预测模型接下来能做什么，只能“在迷雾中窥探”。产品规划需要与技术研发同步演进，而研发本身充满不确定性。
2. 产品经理需要学会写 Eval，这是 AI 时代的新核心技能 Eval（评估）定义了什么是“成功”。在 AI 产品中，质量的高低直接取决于你设计 Eval 和 Prompt 的能力。这个技能将成为产品经理的必备能力。
3. 60% 准确度的产品仍然可以非常有价值 GitHub Copilot 最初基于 GPT-2，但那已经足够有用——它帮你完成一部分工作，剩下的你可以修改。关键是设计好人类参与的环节。
4. 模型今天不是“智力受限”，而是“评估受限” 模型的实际能力往往超过我们的认知。我们缺少的是教会模型“知道它知道什么”，以及建立正确的评估体系来衡量它的表现。
5. 原型设计能力将成为 AI 时代 PM 的竞争优势 最好的产品经理已经开始用 AI 本身来快速生成 UI 原型并进行 AB 测试。这种“用魔法对抗魔法”的方式正在加速产品迭代。
6. 非确定性是 AI 产品的本质特征 与传统软件不同，同样的输入不再产生同样的输出。产品经理必须适应这种“失控感”，同时帮助用户适应它。
7. 企业市场的核心挑战是“买家”与“用户”分离 你可以打造世界上最好的产品，但如果购买决策者与实际使用者不同，它仍然可能无法推广。这是企业产品与消费产品的根本区别。
8. 语音和视觉交互将重新定义人机关系 当模型能够听说读写、能够进行实时翻译，人们与 AI 的交互方式将发生根本性变化。这不仅仅是界面的改变，更是体验的革命。
9. 主动性和异步性是 AI 产品的下一个前沿 未来的 AI 不只是回答问题，而是主动提供信息、主动发现趋势。在时间维度上，用户将能够提交复杂任务后去做其他事情，等待异步回复。
10. 模型 personalities 正在成为产品差异化的关键 用户开始与模型建立类似于人际关系的连接。他们感受模型的“性格”，适应模型的“新版本”，这种情感连接正在成为 AI 产品的独特价值。
三、关键洞察
洞察一：产品经理的工作定义正在重新融合
传统的产品经理角色正在被打破。Kevin Weil 分享了一个有趣的观察：在他所在的公司，原本区分“研究型 PM”和“产品型 PM”的边界正在消失。在开发代码分析功能时，负责功能的 PM 把产品做到 80%，然后需要交给能够写 Eval 的 PM 来完成最后的质量提升。“这两个角色其实是同一个角色，”Kevin 说，“你功能的最终质量，取决于你写 Eval 和 Prompt 的能力。”
这意味着 AI 时代的产品经理，既要懂用户需求，也要懂模型评估；既要能做用户研究，也要能做数据实验。通才型产品经理将比专才型更受欢迎。
洞察二：评估系统的质量决定了产品能力的上限
Mike Krieger 透露了一个 Anthropic 内部的深刻教训：三年前很多公司部署了 AI 功能，但没有建立评估系统。现在他们想升级模型，却无法证明新模型是否真的更好。“最难的一关是让人们退后一步，问自己‘成功的标准到底是什么’。”
Kevin 则指出，即使有评估系统，评估本身的质量也是个大问题。“有时候我们看到模型卡片上的评测答案，连人类都不会那样回答，甚至数学计算本身就有问题。”这解释了为什么模型在实际部署中的表现往往与实验室结果存在差距。
洞察三：用户与 AI 模型正在建立类似人际关系的情感连接
Mike Krieger 分享了一个令他意外的产品洞察：用户开始对模型产生真正的“同理心”和“友谊感”。当 Anthropic 发布新版本模型时，用户会讨论“新版本感觉更聪明，但好像有点疏远”，或者“我需要适应一下这个新版本”。
这种情感连接是前所未有的。用户的反馈方式从“功能坏了”变成了“我和新版本的关系需要调整”。“这让我作为产品人有了更多同理心，”Mike 说，“你不仅仅在发货一个产品，你发货的是智能，而智能和同理心正是人际关系重要的原因。”
四、精彩金句
“这是我去过的最有趣的地方，因为每隔两个月，计算机就能做一些人类历史上从未能做到的事情。” Kevin Weil 用这句话描述 OpenAI 的工作感受。技术基础的不断突破，意味着产品经理必须持续重新思考产品定义。
“评估将成为产品经理的核心技能，就像写 PRD 一样重要。” Mike Krieger 在讨论 Anthropic 如何培训新员工时强调。他们甚至在面试中加入让候选人改进 Prompt 和 Eval 的环节。
“我不能在它面前停下来。当我有机会做某件大事时，我没办法说不。” Mike Krieger 解释自己为什么放弃“半退休”生活加入 Anthropic。对他而言，AI 浪潮是一次不可错过的机会。
“60% 准确度的事情仍然可以非常有价值，前提是你设计好人类参与的环节。” Kevin Weil 用 GitHub Copilot 的例子说明，即使模型不完美，只要有合适的容错设计，产品仍然可以为用户创造巨大价值。
“我们都在适应这个非确定性的世界，这种适应能力本身就是我们需要培养的技能。” 两位 CPO 都在强调，在 AI 时代，无论是产品经理还是普通用户，都需要学会与不确定性共处。
五、实战案例
案例一：Anthropic 的 Pizza 订单事件
在测试 computer use 功能（让 AI 能够操控电脑）时，一位团队成员好奇地问：“它能帮我们订披萨吗？”结果 AI 不仅成功下了订单，还表现出“比预期更饿”——订了超出需求的份量。
这个看似搞笑的实验，实际上揭示了 computer use 功能的潜力。团队随即发现了更严肃的应用场景：UI 测试自动化。Mike Krieger 回忆说，在 Instagram 时代，他们几乎没有 UI 测试，“因为测试太难写，而且很脆弱”——按钮位置一移动，测试就失败。但现在，computer use 可以自动执行这些检查，大大提高了测试效率。
案例二：语音翻译的魔法时刻
Kevin Weil 在韩国和日本出差时，使用 ChatGPT 的高级语音模式进行了跨语言商务对话。他对 AI 说：“当我用英语说话时，你翻译成韩语；当你听到韩语时，翻译成英语。”就这样，他获得了随身携带的“星际迷航式通用翻译器”。
这次经历让他预见到，当语言不再成为障碍，人们旅行和探索新地方的意愿将会发生根本性变化。“想象一下，你永远不用担心语言不通会出问题，”他说，“这是 Star Trek 式的体验，很快就会变得司空见惯。”
案例三：孩子们与 AI 的自然交互
Mike Krieger 提到自己两个年幼的孩子在后座上与 ChatGPT 对话。“他们会问最奇怪的问题，然后就随便聊起来，完全不觉得和 AI 说话有什么不自然。”
他观察到，TikTok 上出现了一种新的视频类型：年轻人对着语音模式倾诉心声。“我从来没有想过这样使用 AI，但 14 岁的孩子会觉得，‘为什么 AI 不能做这个？’这就是数字原住民的新直觉。”
Sarah Guo 补充说，她的孩子会要求“实时生成图片”，创造属于自己的故事和娱乐。“他们相信这是可能的，而且知道如何要求它。”这种无意识的适应能力，预示着未来人机交互的新形态。
六、行动建议
行动一：开始学习设计和编写 Eval
为什么要做：Eval 定义了你对产品的期望，没有它，你无法衡量产品是否在变好。
如何开始：选择一个你正在开发的 AI 功能，列出 5-10 个你希望它成功完成的任务场景，然后为每个场景写出具体的评估标准和测试用例。你可以让 AI 本身帮你生成初稿，然后再人工优化。
能得到什么：更清晰的产品定义，更可靠的迭代依据，以及在面试或团队协作中展示你专业能力的证明。
行动二：用 AI 工具进行快速原型设计
为什么要做：原型验证的成本正在大幅下降，而 AI 工具可以帮你快速生成和比较不同设计方案。
如何开始：下次当你有两个 UI 方案需要决策时，先不要找设计师打开 Figma。试着让 AI 模型帮你生成两个方案的草稿和对比分析，然后在真实用户或团队中进行快速验证。
能得到什么：在更短时间内探索更多设计可能性，更快获得设计反馈，缩短从想法到验证的周期。
行动三：深入理解模型能力的边界和长板
为什么要做：AI 产品成功的关键在于找到模型擅长、但人类做起来费力的任务，而不是把 AI 当作万能解决方案硬塞进去。
如何开始：对每个你想用 AI 解决的问题，先花时间了解模型在不同子任务上的表现差异。接受“60% 准确度”可能是常态，然后设计人类兜底的机制。运行小规模试点，收集真实反馈。
能得到什么：更务实的产品规划，避免过度承诺而导致的用户失望，以及更合理的投资回报预期。
行动四：建立与用户的新型关系认知
为什么要做：用户开始把 AI 模型当作“有性格的存在”，而不是纯粹的工具。忽视这种情感维度，产品可能失去用户粘性。
如何开始：主动收集用户谈论你的 AI 产品时使用的语言。如果他们说的是“它很聪明但有点冷淡”，而不是“功能 A 有 bug”，那就意味着你需要在模型个性和交互体验上投入更多关注。
能得到什么：更高的用户留存，更强的口碑传播，以及在竞争中建立独特的产品情感定位。
行动五：为异步和主动性交互设计产品体验
为什么要做：o1 模型展示了模型可以在更长时间内进行推理工作，这意味着产品设计可以突破“即时响应”的限制。
如何开始：思考你的产品中有哪些任务可以接受“几分钟后再回复”而非“立刻回答”。设计相应的状态管理和通知机制。在产品中加入“让 AI 去做复杂任务，稍后通知我”的功能点。
能得到什么：用户可以同时处理更多任务，产品的使用场景大幅扩展，以及在 AI 能思考更长时间的未来抢占先机。
七、我的总结
这场对话揭示了 AI 产品开发的本质转变：从“基于固定技术打造产品”转变为“基于不断进化的 AI 能力重新定义产品”。Kevin Weil 和 Mike Krieger 两位 CPO 的共识清晰而深刻——Eval 写作、模型能力评估、人类参与的流程设计，正在成为 AI 时代产品经理的核心能力。
更重要的是，他们提醒我们：用户与 AI 的关系正在超越工具使用的范畴，进入情感连接的新领域。这意味着产品负责人不只是在设计功能，更是在设计“智慧体”与人类的互动方式。
对于所有正在或即将参与 AI 产品建设的人而言，这场对话指向一个核心命题：与其追逐模型的每一次更新，不如建立理解和评估模型的能力；与其焦虑 AI 能做什么，不如深入思考人类在 AI 时代应该扮演什么角色。 答案或许是：做那个定义“成功”的人，做那个设计人类与机器协作方式的人，做那个让 AI 变得更好的人。
📺 播客信息
- 发布时间：2024-11-06
- 时长：40分钟59秒
- 播放量：130282 次观看
- 原版视频：『YouTube』